一、分类任务性能指标

1、混淆矩阵

2、精确度ACCURACY = 正确数/总数

3、查全率（RECALL）——真正正样本中预测正确的比例

4、查准率（precision）——预测为正样本中的预测正确的比例

5、F-score——对查准率和查全率进行结合的一个参数

6、ROC曲线与AUC

1) 真正率：TPR——RECALL

2）假正率：FPR = FP /（TN+FP）

3)AUC——由TPR-FPR曲线（ROC）包围的面积

7、P-R曲线与AP

1）P-R曲线——Precision和Recall组成的曲线

2）AP

计算map实例

二、回归任务性能指标

1、均方差（MSE）

2、均方根误差（RMSE）

3、平均绝对值误差（MAE）

4、R-误差

三、深度学习中的性能指标

1、对于分类任务来说

2、对于目标检测来说

1）IOU（交并比）

2）AP与MAP

3、FPS——检测速度

一、分类任务性能指标

参考：分类器的性能评估（Performance measure）指标 - 知乎

分类任务性能指标，主要是根据混淆矩阵进行扩展的性能指标。如正确率、错误率、查全率、查准率、ROC、AUC等

1、混淆矩阵

混淆矩阵是对验证集样本的预测情况进行统计得到的表格

上图的混淆矩阵为二分类问题的混淆矩阵。二分类问题是生活中很常见的任务之一，比如医生根据各种生理指标判断一个人是一型糖尿病还是二型糖尿病。在上图中Predicted和Actual分别表示预测值和真实值，在糖尿病检测中，predicted表示医生的诊断，actual表示患者的的真实情况。这个例子可能不是非常贴切，因为一般来说医生的诊断出错的概率并不大，不过不排除有一定的误诊率。上图中的四个象限分别表示：

TP（True Positive）：预测正确的正例
FP（False Positive）：预测错误的正例，在统计学中又叫第二类错误
FN（False Negative）：预测错误的反例，在统计学中叫做第一类错误
TN（True Negative）：预测正确的反例

2、精确度ACCURACY = 正确数/总数

3、查全率（RECALL）——真正正样本中预测正确的比例

4、查准率（precision）——预测为正样本中的预测正确的比例

5、F-score——对查准率和查全率进行结合的一个参数

6、ROC曲线与AUC

具体可以参考文章：机器学习之支持向量机SVM之python实现ROC曲线绘制（二分类和多分类）

1) 真正率：TPR——RECALL

真正率——正确预测为正样本的样本数占真正样本的比例

2）假正率：FPR = FP /（TN+FP）

假正率——错误预测为正样本的样本数占真负样本的比例

3)AUC——由TPR-FPR曲线（ROC）包围的面积

ROC曲线是通过改变分类的阈值，进而得到一系列的（TPR,FPR）的点，然后根据阈值从小到大得到的点绘制成TPR-FRP曲线，这条曲线称之为ROC曲线，然后计算曲线包围的面积，当面积越大时，说明性能越好。即AUC越大性能越好

7、P-R曲线与AP

1）P-R曲线——Precision和Recall组成的曲线

跟ROC曲线类似，改变阈值，得到一系列的RECALL和PRECISION点，绘制成的曲线。

P-R曲线包围的面积越大越好

P-R曲线包围的面积称之为AP，AP越大性能越好

2）AP

P-R曲线包围的面积称之为AP，AP越大性能越好

计算map实例

二、回归任务性能指标

参考：【机器学习实战】性能指标之回归问题_QianT-CSDN博客

回归任务性能指标主要是通过对比预测值和真实值之间的偏差程度来判断。一般有均方差（MSE）、均方根差（RMSE）、平均绝对值误差（MAE）、R-误差

1、均方差（MSE）

2、均方根误差（RMSE）

3、平均绝对值误差（MAE）

4、R-误差

三、深度学习中的性能指标

参考：睿智的目标检测20——利用mAP计算目标检测精确度_Bubbliiiing的学习小课堂-CSDN博客_睿智的目标检测

1、对于分类任务来说

和上述分类任务指标一样

2、对于目标检测来说

分类任务中也适用，目标检测实质上就是分类，只是类别多了而已

1）IOU（交并比）

2）AP与MAP

AP——在分类任务提到

AP其实就是上面说的P-R曲线的面积，变换不同的阈值，得到的RECALL和PRECISION的曲线，面积越大越好

AP事实上指的是，利用不同的Precision和Recall的点的组合，画出来的曲线下面的面积。
如下面这幅图所示。

当我们取不同的置信度，可以获得不同的Precision和不同的Recall，当我们取得置信度够密集的时候，就可以获得非常多的Precision和Recall。

此时Precision和Recall可以在图片上画出一条线，这条线下部分的面积就是某个类的AP值。

MAP——所有内的AP的均值

mAP就是所有的类的AP值求平均。如下图所示，一行就代表一个类的AP，假设有N行，则MAP计算为：

具体map的绘制参考：map绘制

3、FPS——检测速度

除了检测准确度，目标检测算法的另外一个重要性能指标是速度，只有速度快，才能实现实时检测，这对一些应用场景极其重要。评估速度的常用指标是每秒帧率（Frame Per Second，FPS），即每秒内可以处理的图片数量。当然要对比FPS，你需要在同一硬件上进行。另外也可以使用处理一张图片所需时间来评估检测速度，时间越短，速度越快。

【深度学习】——性能指标（ROC、MAP、AUC等）相关推荐

深度学习基础----ROC曲线和AUC值
这个链接里的视频就很好:[小萌五分钟]机器学习 | 模型评估: ROC曲线与AUC值_哔哩哔哩_bilibili
深度学习常用性能评价指标
深度学习常用性能评价指标前言基于准确度的指标基于排名的指标基于图数据的指标前言深度学习性能指标是用于评价深度学习模型性能的依据,是设计模型的重要依据. 基于准确度的指标对于模型而言仅统计 ...
BERT6mA：使用基于深度学习的方法预测DNA N6甲基腺嘌呤位点
<BERT6mA: prediction of DNA N6-methyladenine site using deep learning-based approaches> Sho Ts ...
目标检测的二十年发展史—从传统方法到深度学习
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货本文转载自DeepBlue深兰科技本文主要参考自文献[1]:Zhengxia Zou, Zh ...
目标检测二十年间的那些事儿——从传统方法到深度学习
本文转载自DeepBlue深兰科技. 本文主要参考自文献[1]:Zhengxia Zou, Zhenwei Shi, Member, IEEE, Yuhong Guo, and Jieping Ye, ...
自动驾驶地图中的深度学习
作者丨水管工张师傅@知乎来源丨https://zhuanlan.zhihu.com/p/488024649 编辑丨3D视觉工坊记录自己对刘兰个川大神文章的理解. 原文为:(貌似要翻墙) https ...
【推荐系统】方法论 | 数据驱动 | 深度学习RS
[前沿RS的三大问题]可扩展性.稀疏性.冷启动文章目录一.引言二.推荐算法工程师 2.1 推荐团队 2.2 中小厂中避免重复造轮子 2.3 目标思维和不确定思维三.推荐系统的轮子 3.1 内容 ...
MLP神经网络，GRNN神经网络，SVM神经网络以及深度学习神经网络对比识别人体健康非健康数据
目录一.理论基础二.案例背景 1.问题描述 2.思路流程三.部分MATLAB程序四.仿真结论分析五.参考文献一.理论基础 MLP多层感知器神经网络(Multi-layer perceptr ...
深度学习_深度学习基础_评价指标ROC、AUC、AP、mAP详解
ROC和AUC ROC全称是"受试者工作特征"(Receiver Operating Characteristic). ROC曲线的面积就是AUC(Area Under Curve ...

【深度学习】——性能指标（ROC、MAP、AUC等）

一、分类任务性能指标

1、混淆矩阵

2、精确度ACCURACY = 正确数/总数

3、查全率（RECALL）——真正正样本中预测正确的比例

4、查准率（precision）——预测为正样本中的预测正确的比例

5、F-score——对查准率和查全率进行结合的一个参数

6、ROC曲线与AUC

1) 真正率：TPR——RECALL

2）假正率：FPR = FP /（TN+FP）

3)AUC——由TPR-FPR曲线（ROC）包围的面积

7、P-R曲线与AP

1）P-R曲线——Precision和Recall组成的曲线

2）AP

计算map实例

二、回归任务性能指标

1、均方差（MSE）

2、均方根误差（RMSE）

3、平均绝对值误差（MAE）

4、R-误差

三、深度学习中的性能指标

1、对于分类任务来说

2、对于目标检测来说

1）IOU（交并比）

2）AP与MAP

3、FPS——检测速度

【深度学习】——性能指标（ROC、MAP、AUC等）相关推荐

最新文章

热门文章