信息检索的评价指标(Precision、Recall、F-score、MAP、ROC、AUC)

from：https://blog.csdn.net/universe_ant/article/details/70090026

一：Precision、Recall、F-score

信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate——注意统计学习方法中precision称为精确率，而准确率accuracy是分类正确的样本除以总样本的个数)，召回率也叫查全率，准确率也叫查准率，概念公式：

召回率(Recall) = 系统检索到的相关文件 / 系统所有相关的文件总数。亦即，预测为真实正例 / 所有真实正例样本的个数。

准确率(Precision) = 系统检索到的相关文件 / 系统所有检索到的文件总数。亦即，预测为真实正例 / 所有被预测为正例样本的个数。

注意：准确率和召回率是相互影响的，理想情况下肯定是做到两者都高，但是一般情况下，准确率高、召回率就低；召回率低、准确率高。当然如果两者都低，那是什么地方出问题了。一般情况，用不同的阈值，统计出一组不同阈值下的精确率和召回率，如下图：

如果是做搜索，那就是保证召回率的情况下提升准确率；如果做疾病检测、反垃圾，则是保证准确率的条件下，提升召回率。所以，在两者都要求高的情况下，可以用F1(或者称为F-score)来衡量。计算公式如下：F1 = (2 × P × R) / (P + R)。

二：MAP

MAP，全称Mean Average Precision(平均准确率)。MAP是为解决Precision、Recall、F-score的单点值局限性的，同时考虑检索效果的排名情况。计算如下：假设有两个主题，主题1有4个相关网页，主题2有5个相关网页。某系统对于主题1检索出4个相关网页，其rank分别为1,2,4,7；对于主题2检索出3个相关网页，其rank分别为1,3,5。对于主题1，平均准确率为(1/1+2/2+3/4+4/7) / 4 = 0.83。对于主题2，平均准确率为(1/1+2/3+3/5+0+0) / 5 = 2.45。则MAP=(0.83+0.45) / 2 = 0.64。

三：ROC和AUC

ROC和AUC是评价分类器的指标，上面第一个图的ABCD仍然使用，只是需要稍微变换。

用ROC curve来表示分类器的performance很直观好用。可是，人们总是希望能有一个数值来标志分类器的好坏。

于是Area Under roc Curve(AUC)就出现了。顾名思义，AUC的值就是处于ROC curve下方的那部分面积的大小。

通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的performance。

回到ROC上来，ROC的全名叫做Receiver Operating Characteristic。

ROC关注两个指标：

True Positive Rate(TPR) = TP / [ TP + FN ]，TPR代表能将正例分对的概率；

False Positive Rate(FPR) = FP / [ FP + TN ]，FRP代表将负离错分成正例的概率。

在ROC空间中，每个点的横坐标是FPR，纵坐标是TPR，这也就描绘了分类器在TP(真正的正例)和FP(错误的正例)间的trade-off。ROC的主要分析工具是一个画在ROC空间的曲线——ROC curve。我们知道，对于二值分类问题，实例的值往往是连续值，我们通过设定一个阈值，将实例分类到正类或者父类(比如大于阈值的划分为正类)。因此我们可以变化阈值，根据不同的阈值进行分类，根据分类结果计算得到ROC空间中相应的点，连接这些点就形成ROC curve。ROC curve经过(0, 0)和(1, 1)，实际上(0, 0)和(1, 1)连线形成的ROC curve实际上代表的是一个随机分类器。一般情况下，这个曲线都应该处于(0, 0)和(1, 1)连线的上方。如图所示：

AUC的值就是处于ROC下方的那部分面积的大小。通常AUC的值介于0.5到1.0之间，较大的AUC代表了较好的performance。

信息检索的评价指标(Precision、Recall、F-score、MAP、ROC、AUC)相关推荐

信息检索的评价指标(Precision, Recall, F-score, MAP)
转载自: 信息检索的评价指标(Precision, Recall, F-score, MAP) - 小村长技术blog - 博客频道 - CSDN.NET http://blog.csdn.net/l ...
AP AR mAP ROC AUC（目标检测）
目标检测之AP AR mAP ROC AUC(Evaluation metrics) 混淆矩阵中 TP.TN.FP.FN Precision查准率和Recall召回率 P-R曲线 AP mAP AR ...
分类模型性能评价指标：混淆矩阵、F Score、ROC曲线与AUC面积、PR曲线
以二分类模型为例:二分类模型最终需要判断样本的结果是1还是0,或者说是positive还是negative. 评价分类模型性能的场景: 采集一个称之为测试集的数据集: 测试集的每一个样本由特征数据及其 ...
F score和ROC
数据的真实结果和预测结果如以下二联表所示,行为真实值,列为预测值. 真实阳性真实阴性预测阳性 TP FP 预测阴性 FN TN F score Fscore是precision和recall的调和 ...
推荐系统的评价指标笔记（NDCG、MAP、AUC、HR、MRR）
NDCG Normalized Discounted Cummulative Gain 累积增益CG,CG表示每个推荐结果相关性的分数的累加, C G k = ∑ i = 1 k r ( i ) CG ...
目标检测模型的评价指标(Acc, Precision, Recall, AP, mAP, RoI)
目标检测模型的评价指标(Acc, Precision, Recall, AP, mAP, RoI) 对于一个目标检测模型的好坏,总的来说可以从以下三个方面来评估: 分类的精度如何.一般可以用准确度(A ...
深度学习基本知识（一）评价方法precision\recall\mAP
1.几种类型比如我们要做一个在一堆猫狗图片中找猫的网络,那么: TruePositive(TP):真阳性,检测出是猫(1),真实情况确实是猫(1) FalsePositive(FP):假阳性,检测出 ...
机器学习模型常用评价指标（Accuracy, Precision, Recall、F1-score、MSE、RMSE、MAE、R方）
前言众所周知,机器学习分类模型常用评价指标有Accuracy, Precision, Recall和F1-score,而回归模型最常用指标有MAE和RMSE.但是我们真正了解这些评价指标的意义吗? ...
计算深度学习评价指标Precision、Recall、F1
计算深度学习评价指标Precision.Recall.F1 对深度学习的结果进行评价是深度学习的重要一环,一般常用的评价方法有:准确率(Accuracy),精确率(Precision),召回率(Rec ...

信息检索的评价指标(Precision、Recall、F-score、MAP、ROC、AUC)

信息检索的评价指标(Precision、Recall、F-score、MAP、ROC、AUC)相关推荐

最新文章

热门文章