Note of Recommendation System in Action

本文主要关于项亮的《推荐系统实践》的笔记。推荐系统的评测方式以下也是一项最终能上线的推荐算法的依次测试顺序,离线评测将数据集分为训练集和测试集,离线对算法进行评测用户调查在上线之前通过调查得到用户满意度的信息在线评测进行AB测试,对比推荐算法指标推荐系统的评测指标满意度是推荐系统的最重要标准无法离线计算,只能通过用户调查和在线实验得到可通过停留时间、点击率和转化率来统计预测准确度最重要的离线测试标准主要方法是,在离线数据集内的训练集训练的结果与测试集对比,比较重合度。又分为评分预测和Top N推荐对于评分预测,有均方根误差(RMSE)和平均绝对误差(MAE)计算两种方式,相差不大,前者对于偏离项惩罚大,后者对于评分取整的情况会降低误差。对于Top N推荐,通常通过准确率和招呼率来评测假设$R(u)$和$T(u)$分别是训练集和测试集上的推荐,那么两者的交集长度除以$R(u)$的长度就是precision,交集长度除以$T(u)$就是recall。评分预测关注预测用户看了电影后会给电影什么样的评分,而Top N是找到用户最有可能感兴趣的电影覆盖率coverage粗略定义为推荐系统发掘的物品占全部物品的比率,精确定义为物品流行度与全部物品流行度的比率可通过信息熵和基尼系数来计算两者都是计算不同物品流行度之间的平衡度推荐系统一般具有马太效应:强者更强多样性要覆盖满足用户广大的兴趣,可以用不同的物品相似度度量函数来定义不同的多样性多样性和相似性是trade off的,需要达到一定的平衡,让推荐效果最好新颖性推荐用户未见过的物品,最简单的是推荐流行度低的物品难点在于不牺牲精度的前提下提高多样性和新颖性惊喜度推荐结果和用户的历史兴趣不相似,但却让用户觉得满意,那么就可以说推荐结果的惊喜度很高,而推荐的新颖性仅仅取决于用户是否听说过这个推荐结果。信任度用户对推荐系统的信任度高,能增加用户与推荐系统的交互提升用户对推荐系统的信任度的方法增加推荐系统的透明度:对用户的推荐需要进行解释提高用户的社交关系进行推荐实时性实时更新追踪用户的行为和状态的变化能够将新加入的物品推荐给用户鲁棒性反作弊性作弊方法行为注入攻击评分系统攻击:大批给某物品打高分如何对抗作弊采用作弊代价高的行为作为推荐系统采纳的数据使用数据前进行检测、清理商业目标不同利益方关注不同  

0 Comments