1.前言

在验证集上会得到COCO的评价列表
在目标检测上常用的两个公开数据集pascal voc和coco
针对这两个数据集都有一个评判标准
目标检测与图像分类明显差距是很大的
在图像分类当中，我们通常是通过统计在验证集当中，分类正确的个数除以验证集的总样本数，就能得到准确率
在目标检测当中（如下图），绿色的框是人工标注的GT-box（Ground Truth box），红色的框是网络预测的bbox（bounding box）
我们通过计算预测边界框与人工标注的正确边界框IoU
检测正确从三个方面
第一个方面：判断IoU是否大于指定阈值
第二个方面：判断类别是否正确
第三个方面：判断confidence（置信度）是否大于指定阈值

2.mAP计算方法

TP（True Positive）预测正确的目标边界框个数：IoU>0.5的检测框数量（同一个Ground Truth只计算一次），即当预测边界框与GT box的IoU值大于0.5，就认为匹配成功，如下图cat 0.9的红色框
FP（False Positive）假阳性，不是目标却认为是目标：IoU<=0.5的检测框（或者是检测到同一个GT的多余检测框的数量），即预测边界框与GT box的IoU值小于等于0.5，如下图cat 0.3的红色框
FN（False Negative）漏检的目标个数：没有检测到的GT的数量，如右下角cat绿色框的猫，并没有检测到
Precision：TP/（TP+FP）模型预测的所有目标中，预测正确的比例——查准率
Recall：TP/（TP+FN）所有真实目标中，模型预测正确的目标比例——查全率
AP：P-R曲线下面积
P-R曲线：Precision-Recall曲线
mAP：mean Average Precision，即各类别AP的平均值（一个类别对应一个AP，多个类别取平均值就是mAP）
如下图，num_ob是指人工在图像上标注的真实目标边界框有7个
我们规定Confidence在0.66及以上的边界框就是标注成功的，下面左侧表中的OB中有一个是False，也就是FP（假阳性的），所以FN就是7-4=3
由此算出下图右表
对于Recall，如下表中，0.57重复了，所以就删除两个（保留Precision值最大的）
下图右侧图中，点外面有方框的就是Recall对应的5个点
蓝色部分就是AP的面积
下图最下方是计算公式
对于下式第一项，0.1是从0.14开始往下对对应的Precision最大的值，例如到最后一项，就是×0.71
每一项第一个乘数都是当前Recall值—上一个Recall值
最后的结果0.6694就是对应猫这个目标AP的值
使用同样方法，可以计算其他类别的AP值，最后算出所有类别AP的均值，得到mAP

3.各项指标含义

COCO官网说明,里面详细介绍了每条数据的含义

3.1 Average Precision（AP）

如下图 A P I o U = 0.50 AP^{IoU=0.50} APIoU=0.50，就是以IoU的阈值取0.5的时候，计算的AP的数值，这个数值也就是PASCAL VOC数据集所提供的评价指标
在COCO的评价指标当中主要评价指标就是第一行 A P AP AP，意思是指在IoU从0.5-0.95，间隔为0.05，一共10个IoU上，分别去计算每个IoU上对应的mAP，再将10个mAP取均值得到COCO数据集中的AP
这个AP也是COCO数据集中最主要的一个评价指标
注意，下图虽然写的是AP，但实际上是mAP，因为这里结合上下文，很明确就知道这里的AP就是mAP，所以就简写成AP
下图还有一个 A P I o U = 0.75 AP^{IoU=0.75} APIoU=0.75，也就是当IoU阈值取0.75时对应的mAP值，这是一个更加严格的标准，因为IoU值设置的越大，也就意味着目标边界框与真实边界框重合度越高

3.2 AP Across Scales

A P s m a l l AP^{small} APsmall即 A P AP AP针对小面积的，目标的像素面积 < 3 2 2 <32^2 <322
A P m e d i u m AP^{medium} APmedium即 A P AP AP针对中等面积的,目标的像素面积 > 3 2 2 并且 < 9 6 2 >32^2并且<96^2 >322并且<962
A P l a r g e AP^{large} APlarge即 A P AP AP针对大面积的，目标的像素面积 > 9 6 2 >96^2 >962
目标检测网络对于不同尺度的目标检测效果不同，比如应用场景都是相对较小的目标，那么就会更关注 A P s m a l l AP^{small} APsmall的值

3.3 Average Recall（AR）

A R m a x = 1 AR^{max=1} ARmax=1，即每张图片最多预测1个目标
A R m a x = 10 AR^{max=10} ARmax=10，即每张图片最多预测10个目标
A R m a x = 100 AR^{max=100} ARmax=100，即每张图片最多预测100个目标

3.4 AR Across Scales

A R s m a l l AR^{small} ARsmall即 A R AR AR针对小面积的，目标的像素面积 < 3 2 2 <32^2 <322
A R m e d i u m AR^{medium} ARmedium即 A R AR AR针对中等面积的,目标的像素面积 > 3 2 2 并且 < 9 6 2 >32^2并且<96^2 >322并且<962
A R l a r g e AR^{large} ARlarge即 A R AR AR针对大面积的，目标的像素面积 > 9 6 2 >96^2 >962

4.查看指标

第一行是COCO数据集的评价指标，是要看的
第二行是Pascal VOC的评价指标，也是要看的
如果对精度要求比较高，那么第三行也要看
接下来就是根据所检测目标的尺度来看相应的AP
在AR值中，主要关注检测目标取10和取100时候的值，如果这两个值相差比较小，那么我们就可以减少目标检测的个数，这样也能提供目标检测的效率

目标检测结果数据分析相关推荐

目标检测样本数据分析
目标检测样本数据分析文章目录目标检测样本数据分析 @[toc] 1. 样本格式转化 1.1 voc_to_txt 1.2 coco_to_txt 1.3 shp_to_txt 1.4 可视化vis ...
深度学习目标检测详细解析以及Mask R-CNN示例
深度学习目标检测详细解析以及Mask R-CNN示例本文详细介绍了R-CNN走到端到端模型的Faster R-CNN的进化流程,以及典型的示例算法Mask R-CNN模型.算法如何变得更快,更强! ...
51篇最新CV领域综述论文速递！涵盖14个方向：目标检测/图像分割/医学影像/人脸识别等方向...
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达本文共汇总了从2020年4月至今的计算机视觉领域综述性论文,共54篇,涵盖图像分割. 图像识别.人脸识 ...
无人驾驶中的 3D 目标检测技术
2020 年 2 月 12 日 14:33 随着全球科技的飞速发展,无论是汽车行业还是其他的各行各业,紧跟时代脚步的重要性都是不容置疑的.近年来,自动驾驶汽车得到了很高的关注,但是理想和现实的差距却犹 ...
【CV】54篇最新CV领域综述论文速递！涵盖14个方向：目标检测/图像分割/医学影像/人脸识别等方向...
文章来源于极市平台,作者CV开发者都爱看的 [导读]本文共汇总了从2020年4月至今的计算机视觉领域综述性论文,共54篇,涵盖图像分割. 图像识别.人脸识别/检测.医学影像.目标检测.3D方向(自动驾 ...
2020年计算机视觉综述论文汇总！涵盖14个方向：目标检测/图像分割/医学影像/人脸识别等方向
导读:本文共汇总了从2020年4月至今的计算机视觉领域综述性论文,共54篇,涵盖图像分割. 图像识别.人脸识别/检测.医学影像.目标检测.3D方向(自动驾驶/深度估计).GAN.文本检测与识别.姿态估 ...
如何使用Soft-NMS实现目标检测并提升准确率
用一行代码提升目标检测准确率论文摘要非最大抑制(Non-maximum suppression, NMS)是物体检测流程中重要的组成部分.它首先基于物体检测分数产生检测框,分数最高的检测框M被选中 ...
matlab背景点状,基于MATLAB的点状目标检测
中国民航飞行学院学报恤皿基于的点状目标检侧田青 ', 冯辉宗中国民航飞行学院洛阳分院河南洛阳重庆邮电大学重庆摘要对低信噪比图像的预处理 , 是运动弱小目标 ...
《南溪的目标检测学习笔记》——COCO数据集的学习笔记
1 COCO数据集 COCO数据集下载链接:COCO_download 1.1 数据概览数据集大小 train: 118287张 train+val: 123287张 val: 5000张目标数量 ...

目标检测结果数据分析

文章目录

1.前言

2.mAP计算方法

3.各项指标含义

3.1 Average Precision（AP）

3.2 AP Across Scales

3.3 Average Recall（AR）

3.4 AR Across Scales

4.查看指标

目标检测结果数据分析相关推荐

最新文章

热门文章