推荐系统研究中常用的评价指标

一、概述

最常用的推荐质量度量方法可以划分为三类：

1、对预测的评分进行评估，适用于评分预测任务

2、对预测的item集合进行评估，适用于Top-N推荐任务

3、按排名列表对推荐效果加权进行评估，既可以适用于评分预测任务也可以用于Top-N推荐任务

这三类度量方法对应的具体评价指标分别为：

（a）评分预测指标：平均绝对误差（MAE）、均方误差根(RMSE)、标准化平均误差(NMAE)、覆盖率(Coverage)

（b）集合推荐指标：精密度(Precision)、召回(Recall)、ROC和AUC

（c）排名推荐指标：half-life、discount cumulat

二、常用的评估指标

1、quality of the predictions：

1.1）平均绝对误差（Mean Absolute Error，MAE）

1.2）均方根误差（Root Mean Squared Error，RMSE）

1.3）覆盖率（Coverage）

2、quality of the set of recommendations

由于数据稀疏和冷启动问题的存在，有时直接预测用户对item的评分是困难的，为此提出了Top-N推荐方法。即不预测用户对item的评分，而是根据user-item的隐式交互（例如点击、收藏）来生成一组用户最有可能喜欢的items集合推荐给用户。

2.1）Prection：表示推荐项目总数中相关推荐项目的比例

2.2）Recall召回：表示相关推荐项目数量中相关推荐项目的比例

2.3）F1：表示精确性和召回的结合

2.4）ROC（Receiver Uperating Characteristic）和AUC（Area under curve）

2.5）HR：Hit Rate

2.6）ARHR：Average Reciprocal Hit Rank

3、quality of the list of recommendations：

当推荐项目的数量很大时，用户会更加重视推荐列表中排在前面的item。这时item中发生的错误比列表中排在后面的item中的错误更严重。按排名列表对推荐效果进行加权评估的方法考虑了这种情况。

3.1）半衰期（Haft-life）：假设当用户远离顶部的推荐时，他的兴趣指数下降

3.2）贴现积累增益（discounted cumulative gain）：衰减函数是对数函数，DCG的主要思想是用户喜欢的商品被排在列表前面比排在列表后面会更大程度上增加用户体现。

3.3）排序偏差准确率（rank-biased prection，RBP）：RBP假设用户用户往往先浏览排在推荐列表首位的商品，然后依次以固定的概率P浏览下一个，以1-P的概率不再看此推荐表。

3.4）Mean Reciprocal Rank（MRR）

3.5）Mean Average Precision（MAP）

三、其他的评估指标

1、多样性和新颖性

2、稳定性

推荐系统研究中常用的评价指标相关推荐

推荐系统研究中的九大数据集
推荐系统研究中的九大数据集原文地址 ps:对原文有所删减在这篇博客中,作者介绍了九个数据集,其中一些是推荐系统中常用到的标准数据集,也有一些是非传统意义上的数据集(non-traditional ...
分类算法中常用的评价指标
转自: 分类算法中常用的评价指标来自网络,备份勿忘! 对于分类器(分类算法),评价指标主要有:1)Precision:2)Recall:3)F-score;4)Accuracy;5)ROC;6)AU ...
机器学习中常用的评价指标（Performance Measures）
机器学习中常用的评价指标混淆矩阵混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示.具体评价指标有总体精度.制图精度.用户精度等,这些精度指标从不同的侧面反映了图像分类 ...
语义分割中常用的评价指标有哪些?
语义分割的任务就是预测输入图像每个像素点的类别.简单来说,就是做像素级分类. 图中左侧是一张输入图像,中间图像是对图像每个像素类别人工标记的Ground truth(真实标签),右侧图像是对图像每个像 ...
推荐算法中常用的几种相似度计算方法
无论在信息检索(Information retrieval,IR)或是在推荐系统(Recommendation system,RS)中,其一般思路就是先进行合理的数据处理,再计算相似度,从而得出结果. ...
【点云配准】点云配准中常用的评价指标（豪斯多夫距离/Hausdorff Distance、倒角距离/Chamfer Distance和陆地移动距离/Earth Mover‘s Distan
1.概述在点云配准问题中,我们通常会用相似性测度来评价两组点云之间的匹配程度,或作为迭代求解的代价方程(cost function),常见的相似性测度有均方误差(Root Mean Square E ...
常用精度评价指标（evaluation factors）---持续更新中
深度学习和机器学习中常用精度评价指标遇到什么写什么,有错误可以在评论中指出,非常感谢背景精度--precision 准确率--accuracy 平均像素准确率--mean pixel accur ...
机器学习中常用的分类算法总结
分类算法分类算法和回归算法是对真实世界不同建模的方法.分类模型是认为模型的输出是离散的,例如大自然的生物被划分为不同的种类,是离散的.回归模型的输出是连续的,例如人的身高变化过程是一个连续过程, ...
二分类最优阈值确定_一文搞懂分类算法中常用的评估指标
导读通常我们在解决某个问题的时候,会设计多种分类算法在训练的时候我们还会调节各种超参以及使用各种trick以获取最优的分类模型,那这时候我们应该如何来衡量这个最优呢? 分类算法的评估指标有很多种,选 ...

推荐系统研究中常用的评价指标

推荐系统研究中常用的评价指标相关推荐

最新文章

热门文章