ROC和AUC

ROC全称是“受试者工作特征”（Receiver Operating Characteristic）。

ROC曲线的面积就是AUC（Area Under Curve）。

AUC用于衡量二分类问题机器学习算法的性能（泛化能力）。

ROC曲线，通过将连续变量设定出多个不同的临界值，从而计算出一系列正真率和假正率，再以假正率为横坐标、正真率为纵坐标绘制成曲线，曲线下面积越大，表示准确率越高。在ROC曲线上，最靠近坐标图左上方的点为真正率和假正率均较高的临界值。

如下图所示：

其中，

FPR（False Positive Rate）公式： T P / ( T P + F N ) TP / (TP + FN) TP/(TP+FN)。

TPR（True Positive Rate）公式： F P / ( F P + T N ) FP / (FP + TN) FP/(FP+TN)。

ROC曲线的四点一线：

第一个点(0,1)，即FPR=0, TPR=1，这意味着FN(False Negative)=0，并且FP(False Positive)=0。意味着这是一个完美的分类器，它将所有的样本都正确分类。
第二个点(1,0)，即FPR=1，T PR=0，意味着这是一个最糟糕的分类器，因为它成功避开了所有的正确答案。
第三个点(0,0)，即FPR=TPR=0，即FP(False Positive)=TP(True Positive)=0，可以发现该分类器预测所有的样本都为负样本(Negat ive)。
第四个点(1,1)，即FPR=T PR=1，分类器实际上预测所有的样本都为正样本。

经过以上分析，ROC曲线越接近左上角，该分类器的性能越好。

ROC曲线所覆盖的面积称为AUC(Area Under Curve)，可以更直观的判断学习器的性能，AUC越大则性能越好。

使用ROC和AUC作为评价指标的优点

ROC曲线有很好的特性：当测试集中的正负样本的分布改变的时候，ROC曲线能够保持不变。而真正率和假正率这两个指标正是ROC和AUC可以无视样本不平衡的原因。

在实际的数据集中经常会出现样本类别不均衡的情况，即正负样本比例差距较大，而且测试数据中的正负样本也可能随着时间变化。

AP

AP（Average-Precision，平均精度）：是指P-R曲线围起来的面积，通常来说一个越好的分类器，AP值越高。

AP计算：

在VOC2010以前，只需要选取当Recall >= 0, 0.1, 0.2, …, 1共11个点时的Precision最大值，然后AP就是这11个Precision的平均值。

在VOC2010及以后，需要针对每一个不同的Recall值（包括0和1），选取其大于等于这些Recall值时的Precision最大值，然后计算PR曲线下面积作为AP值。

具体计算细节阅读：mAP计算

mAP

mAP（Mean Average Precision，平均精度均值）：是把每个类别的AP都单独拿出来，然后计算所有类别AP的平均值，代表着对检测到的目标平均精度的一个综合度量。

深度学习_深度学习基础_评价指标ROC、AUC、AP、mAP详解相关推荐

深度学习之图像分类（二十八）-- Sparse-MLP(MoE)网络详解
深度学习之图像分类(二十八)Sparse-MLP(MoE)网络详解目录深度学习之图像分类(二十八)Sparse-MLP(MoE)网络详解 1. 前言 2. Mixture of Experts 2 ...
深度学习之图像分类（十九）-- Bottleneck Transformer(BoTNet)网络详解
深度学习之图像分类(十九)Bottleneck Transformer(BoTNet)网络详解目录深度学习之图像分类(十九)Bottleneck Transformer(BoTNet)网络详解 1 ...
圆形界面开启相机_「基础篇三」手机摄影拍照界面详解
[基础篇三]手机摄影拍照界面详解手机拍照对我们来说已习以为常,每天我们都会用手机相机功能或多或少的拍出几张照片.故手机拍照界面对我们来说也不陌生,但手机拍照界面上的那些按钮,那些功能你都用过吗?你 ...
python的excell库_扣丁学堂Python基础教程之Excel处理库openpyxl详解
扣丁学堂Python基础教程之Excel处理库openpyxl详解 2018-05-04 09:49:49 3197浏览 openpyxl是一个第三方库,可以处理xlsx格式的Excel文件.pipi ...
python可以处理多大的数据_科多大数据之Python基础教程之Excel处理库openpyxl详解...
原标题:科多大数据之Python基础教程之Excel处理库openpyxl详解科多大数据小课堂来啦~Python基础教程之Excel处理库openpyxl详解 openpyxl是一个第三方库,可以处 ...
离线强化学习(Offline RL)系列3: (算法篇) IQL(Implicit Q-learning)算法详解与实现
[更新记录] 论文信息:Ilya Kostrikov, Ashvin Nair, Sergey Levine: "Offline Reinforcement Learning with Im ...
神经网络学习小记录39——MobileNetV3（small）模型的复现详解
神经网络学习小记录39--MobileNetV3(small)模型的复现详解学习前言什么是MobileNetV3 代码下载 large与small的区别 MobileNetV3(small)的网络 ...
65.深度解密网络项目三：抖音起名项目整体步骤详解
网络营销推广技术.技巧深度解密(网络项目三)指南: 1.本文档适合零基础以及互联网营销推广工作者,主要讲解关于抖音起名项目的问题. 2.原创版权文档,任何抄袭或者全部.部分模仿都是侵权行为. 3.敬畏 ...
JDBC学习笔记01【JDBC快速入门、JDBC各个类详解、JDBC之CRUD练习】
黑马程序员-JDBC文档(腾讯微云)JDBC笔记.pdf:https://share.weiyun.com/Kxy7LmRm JDBC学习笔记01[JDBC快速入门.JDBC各个类详解.JDBC之CR ...
学习组合模式，转载一段有关组合模式的详解
学习组合模式,转载一段有关组合模式的详解,从定义中可以看出,组合模式用来表示部分与整体的层次结构(类似于树结构),而且也可以使用户对单个对象(叶子节点)以及组合对象( 飞 ...

深度学习_深度学习基础_评价指标ROC、AUC、AP、mAP详解

ROC和AUC

使用ROC和AUC作为评价指标的优点

AP

mAP

深度学习_深度学习基础_评价指标ROC、AUC、AP、mAP详解相关推荐

最新文章

热门文章