导读:如上PR曲线,XY坐标中的Recall/Precision分别代表什么?Recall,翻译成“召回率”,能理解啥意思不?甚至在姿态检测任务中也用这个作为评估指标。对他们好熟悉但说不准意思?本文,试图从举例出发,理解更复杂的mAP、AR,不在话下。


一、Recall & Precision

举个栗子:盒子里有10个球,5个黑球,5个红球。你想用机器人去找黑球,抓取6次返回结果分别是:黑 | 红 | 黑 | 黑 | 红 | 黑

那么,黑球的准确率为:
Precision(黑)=46Precision(黑) = \frac{4}{6}Precision(黑)=64​
其Recall为:
Recall(黑)=45Recall(黑) = \frac{4}{5}Recall(黑)=54​

通过对比,不难发现Precision和Recall的区别在于分母,即:

  • Precision,准确率,分母是抓取的次数:6次。
  • Recall,召回率,分母是某种类的总数:5个黑球

Recall,翻译成“查全率”,似乎更合适。两者总结为:

Precision Recall
查准率:检测到某种类的总数中的正确数量的百分比 查全率:实际检测出某种类的个数占该种类总数的百分比

二、mAP

还是上述栗子,假设有一个robot 1,它查10次的结果如下:

2.1 Recall

一共有5个黑球,即recall分母是5,那么对应1—>10次的Recall,计算如下:

1/5=0.2 1/5=0.2 2/5=0.4 2/5=0.4 2/5=0.4 3/5=0.6 3/5=0.6 3/5=0.6 4/5=0.8 5/5=1.0

2.2 Precision

precision:分母是会变化的,注意是实际检测的次数总数1—>10

1/1=1.0 1/2=0.5 2/3=0.67 2/4=0.5 2/5=0.4 3/6=0.5 3/7=0.43 3/8=0.375 4/9=0.44 5/10=0.5

2.3 AP

Average precision of Robot 1,即机器人Robot1识别黑球的准确率,计算如下:
AP(case1)=(1.0+2/3+0.5+4/9+0.5)/5=0.62AP(case 1) = (1.0+2/3+0.5+4/9+0.5)/5=0.62AP(case1)=(1.0+2/3+0.5+4/9+0.5)/5=0.62

2.4 mAP

假设换了一个盒子,里面有3个黑球,7个白球。10次结果如下:

Average precision of Robot 1在当前case下的平均识别率,计算如下:
AP(case2)=(0.5+0.4+0.43)/3=0.44AP(case 2) = (0.5+0.4+0.43)/3=0.44AP(case2)=(0.5+0.4+0.43)/3=0.44

mean average precision,即计算在case1和case 2下的AP的均值,即
mAP(case1:case2)=(0.62+0.44)/2=0.53mAP(case1:case 2) = (0.62+0.44)/2=0.53mAP(case1:case2)=(0.62+0.44)/2=0.53

这里,case1 和case 2可以理解成不同阈值的情况。

三、IoU


IoU,即Intersection over Union,字面意思即可理解。交叉面积与合并面积的比值。

扩展一点,IoU不能准确反应检测框的好坏,如

IoU相等,即重叠部分相等,但不重叠部分有多种情况

重叠部分相等,不重叠也相等,但中心点不一


针对IoU中存在的不同情况,多种IoU类型可以在检测中使用,概览如下:

四、OKS (object keypoint similarity)

OKS(Object Keypoint Similarity),这个指标启发于目标检测中的IoU指标,目的就是为了计算真值和预测人体关键点的相似度。对一个人物p,OKS分数定义如下其定义如下:

did_idi​表示编号为i的关键点欧式距离。

有关OKS的详细理解,可参考博客:
https://blog.csdn.net/m0_37163827/article/details/84887811

一文扫尽检测类评估指标:AP、mAP、ReCall、OKS和IoU相关推荐

  1. ap 目标检测算法map_目标检测算法的评估指标:mAP定义及计算方式

    前面依次介绍了: 本节介绍目标检测算法的评估指标:mAP定义及计算方式 mAP:mean Average Precision,平均精度均值,即AP(Average Precision)的平均值,它是目 ...

  2. 绝对不容错过:最完整的检测模型评估指标mAP计算指南(附代码)在这里!

    点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 前言 本文翻译自Measuring Object Detectio ...

  3. 目标检测的评估指标mAP的那些事儿

    对于使用机器学习解决的大多数常见问题,通常有多种可用的模型.每个模型都有自己的独特之处,并随因素变化而表现不同. 每个模型在"验证/测试"数据集上来评估性能,性能衡量使用各种统计量 ...

  4. 一文详尽系列之模型评估指标

    点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达 在机器学习领域通常会根据实际的业务场景拟定相应的不同的业务指标,针 ...

  5. 性能评估指标(Precision, Recall, Accuracy, F1-measure)

    文章目录 一个例子 Precision 精准率 召回率 其他 Reference 一个例子 首先我们看下面的一个表格,也是经典的二分类问题,常常会看见的表格: 如上表所示,行表示预测的label值,列 ...

  6. 云脉H5文档识别的性能评估指标

    厦门云脉推出的H5文档管理系统便是一款基于OCR.图像处理及秒级全文检索等技术的企业级数据管理方案.其核心技术就是OCR,那评价OCR的性能指标又有哪些呢? 评估OCR性能指标通常有这几种: 平均编辑 ...

  7. 最完整的检测模型评估指标mAP计算指南(附代码)在这里!

    http://baijiahao.baidu.com/s?id=1605049172612184744&wfr=spider&for=pc

  8. 最新目标跟踪评估指标汇总

    前段时间接触了一些目标跟踪的场景,本文主要汇总目标跟踪的常用评估指标,主要包括下面几类: 容易理解的概念:FP.FN.TP.id switch.ML.MT 更加综合的概念:MOTA.IDF1.MOTP ...

  9. Lesson 5.分类模型决策边界与模型评估指标

    Lesson 5.分类模型决策边界与模型评估指标(上) 在逻辑回归的算法基础内容结束之后,我们还需要补充一些关于分类模型的基础知识,包括观察分类模型判别性能的决策边界基本的概念与实现方法,同时也包括对 ...

  10. 图像任务模型评估指标整理

    图像任务模型评估指标整理 图像任务 图像分类 目标检测 OCR任务 检测部分 图像分割 图像增强 视频任务 目标:由于每个图像解决方案,包括模型,都需要评估指标,来说明这个模型是否最优,可以通过指标进 ...

最新文章

  1. 使用git修复线上指定版本的问题
  2. pe修改rpc服务器不可用,ABBYY FineReader 12出现“RPC服务不可用”怎么办
  3. python调用系统api_Python调用系统底层API播放wav文件的方法
  4. 百一测评java基础答案_百一测评——《Web应用开发》选择题(含参考答案)—JavaEE基础...
  5. svn文件大小类型限制,提交必须加多少字的说明
  6. 斯特林数 java实现_斯特林数学习笔记
  7. 20170623_oracle_SQL
  8. python父类方法的装饰器_Python使用装饰器自动调用父类__init__
  9. 当一个GameObject有两个Collider组件时,Physics Material不起作用
  10. 文件存储demo,直接存储内容到本地中。
  11. web_xml 控制web行为
  12. TeamTalk服务器编译与部署
  13. LDAP 统一认证 单点登录学习
  14. linux自启动配置文件,linux 开机自启动设置
  15. 华为手撕代码+剑指offer总结 (python+c语言)
  16. Photoshop基础学习-修改图片文字
  17. 张量(一):张量基础
  18. 洛谷 P1948 [USACO08JAN]电话线Telephone Lines【NOIP模拟笨笨的电话线】
  19. java 对照 术语_JAVA的部分术语中英文对照(
  20. 【Python】Python脚本实现抢券

热门文章

  1. sql常用语句(mysql)
  2. 星际迷航7:未来之城
  3. u盘推荐知乎_市面上的U盘怎么选择?U盘那个牌子好?
  4. 12_传智播客iOS视频教程_注释和函数的定义和调用
  5. 一个自己实现的js表单验证框架。
  6. 如何实现业务流程集成
  7. 10个较好在线商业理念
  8. 供应链金融你了解多少?
  9. MT5 EA交易期货-获得持仓
  10. word里的图片用计算机画图,word绘图教程:图形工具介绍和使用方法-word技巧-电脑技巧收藏家...