推荐质量评价指标
推荐质量评价指标
Precision & Recall & F1-Measure
内容过于基础,在此不作详细描述。如有兴趣,请参考以下链接:
- 准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure
- Precision and Recall - Wikipedia
MAP 平均正确率均值(Mean Average Precision, MAP)
其中的计算方法如下:
其中, 为检索结果队列中的排序位置,为前个结果的准确率, 表示位置的文档是否相关,相关为 ,不相关为 。
即是将多个对应的求平均:
为的数量。
NDCG CG
(cumulative gain,累计增益)可以用于评价基于打分/评分的个性推荐系统。假设我们推荐个物品, 这个推荐列表的计算公式如下:
表示第个物品的相关性或者评分。假设我们共推荐个电影, 可以是用户对第i部电影的评分。
比如豆瓣给用户推荐了五部电影:
该用户对这五部电影的评分分别是:
那么这个推荐列表的等于
DCG
没有考虑推荐的次序,在此基础之后我们引入对物品顺序的考虑, 就有了(Discounted CG), 折扣累积增益。公式如下:
上例中推荐列表的等于:
NDCG
没有考虑到推荐列表和每个检索中真正有效结果个数, 所以最后我们引入(Normalized discounted CG), 顾名思义就是标准化之后的 。
其中IDCG是指 ,也就是完美结果下的 。
继续上面的例子, 如果相关电影一共有7部:
该用户对这七部电影的评分分别是:
把这 7 部电影按评分排序
5, 4, 3, 2, 2, 1, 0
这个情况下的完美是
所以
是到的数,越接近说明推荐越准确。
NDCG提供了一种计算方式,当我们有其他排名类似的需求的时候, 都是值得参考的,其以及的计算的变化可以产生很多其他有价值的评价指标。
MRR 【推荐质量评价指标】平均倒数排名(Mean Reciprocal Rank, MRR), 是统计学中,依据排序的正确性,对查询请求响应结果的评估。查询响应结果的倒数排名是第一个正确答案的倒数积。平均倒数排名是多个查询结果的平均值。
平均倒数排名的倒数正好表示所有排名的调和平均值。
备注
- 如果所有结果都不正确,结果为
- 如果存在多个正确答案,考虑使用平均准确度 ()
- Evaluation_measures_(information_retrieval)
- 平均倒数排名
- 信息检索中的评价指标MAP和NDCG
- 怎么理解推荐系统中的NDCG?
推荐阅读
- 成交的种子咖啡冥想
- 历史教学书籍
- 【亲测好用】高逼格配色网站推荐
- 推荐系统论文进阶|CTR预估 论文精读(十一)--Deep Interest Evolution Network(DIEN)
- 往前跑,向前冲??——勇气读书会推荐图书《阿甘正传》
- 怎么压缩图片大小不影响质量
- 电影推荐|电影推荐|《教父》
- 三D088期
- 算法回顾(SVD在协同过滤推荐系统中的应用)
- 五年级数学上册期中考试质量分析