目标检测-损失函数Loss
文章目录
- 前言
- 范数损失函数
- IOU损失函数
- IOU loss (2016)
- GIOU loss (2019)
- DIOU loss (2020)
- CIOU loss (2020)
- EIOU loss (2021)
- Fcoal-EIOU loss (2021)
- 结果对比
前言
目标检测一直是计算机视觉中最基本的问题之一,它包括目标分类和目标定位两个子任务。 当前最先进的二阶段目标检测器(例如,Cascade R-CNN,MASk R-CNN和Dynamic R-CNN)依赖于边bbox回归(BBR)模块来定位对象;对于单阶段目标检测器(例如,YOLO,SSD)则依靠BBR来定位。
所以说,一个设计良好的损失函数对BBR的成功至关重要。到目前为止,BBR的损失函数主要分为两类:
范数损失函数
通过边框点来计算,比较多得是L1范数,例如:
- SmoothL1 loss
- Dynamic SmoothL1 Loss
- BalanceL1 loss
假定Bbox(x, y, w, h)四个变量是独立的,实际不是,故引入IOU损失
IOU损失函数
通过交并面积计算,例如:
- IOU loss
- GIOU loss(Generalized IOU )
- CIOU loss (Complete IOU)
- DIOU loss(Distance IOU )
- Pixels IOU
- EIOU loss
损失函数怎么来的,由我们需要的性质反推而来,比如我们需要:
当回归误差趋近于零时,梯度的大小应该有一个零的极限。
在回归误差较小的区域,梯度幅度应迅速增大,在回归误差较大的区域,梯度幅度应逐渐减小。
为了灵活地控制低质量实例的抑制程度,需要设置超参数。
对于不同的超参数值,梯度函数族应该有一个归一化尺度,例如(0,1),这有助于在高质量和低质量示例之间进行平衡。
IOU loss (2016)
论文:Unitbox: An advanced object detection network
- 优点:
该方法具有非负性、对称性、三角形不等式和尺度不敏感性等优点
- 缺点:
如果两个方框没有任何交集,则IOU损失将始终为零,不能正确反映两个方框之间的紧密程度。
损失的收敛速度较慢
实现代码:
import numpy as np
def Iou(box1, box2, wh=False):if wh == False:xmin1, ymin1, xmax1, ymax1 = box1xmin2, ymin2, xmax2, ymax2 = box2else:xmin1, ymin1 = int(box1[0]-box1[2]/2.0), int(box1[1]-box1[3]/2.0)xmax1, ymax1 = int(box1[0]+box1[2]/2.0), int(box1[1]+box1[3]/2.0)xmin2, ymin2 = int(box2[0]-box2[2]/2.0), int(box2[1]-box2[3]/2.0)xmax2, ymax2 = int(box2[0]+box2[2]/2.0), int(box2[1]+box2[3]/2.0)# 获取矩形框交集对应的左上角和右下角的坐标(intersection)xx1 = np.max([xmin1, xmin2])yy1 = np.max([ymin1, ymin2])xx2 = np.min([xmax1, xmax2])yy2 = np.min([ymax1, ymax2]) # 计算两个矩形框面积area1 = (xmax1-xmin1) * (ymax1-ymin1) area2 = (xmax2-xmin2) * (ymax2-ymin2)inter_area = (np.max([0, xx2-xx1])) * (np.max([0, yy2-yy1])) #计算交集面积iou = inter_area / (area1+area2-inter_area+1e-6) #计算交并比return iou
GIOU loss (2019)
论文:Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression
提出了GIoU的思想。由于IoU是比值的概念,对目标物体的scale是不敏感的。然而检测任务中的BBox的回归损失(MSE loss, l1-smooth loss等)优化和IoU优化不是完全等价的,而且 Ln 范数对物体的scale也比较敏感,IoU无法直接优化没有重叠的部分。
GIOU 损失函数
A,B分别为预测框和目标框,上面公式的意思是:先计算两个框的最小闭包区域面积公式,再计算出IoU,再计算闭包区域中不属于两个框的区域占闭包区域的比重,最后用IoU减去这个比重得到GIoU。
优点:
GIoU有对称区间,取值范围[-1,1]。在两者重合的时候取最大值1,在两者无交集且无限远的时候取最小值-1,因此GIoU是一个非常好的距离度量指标。与IoU只关注重叠区域不同,GIoU不仅关注重叠区域,还关注其他的非重合区域,能更好的反映两者的重合度。
缺点:
- 当|A∩B| = 0时,GIOU loss趋向增C的面积,使其与目标框重叠,这与减小空间位置差异的直觉相反。黑色代表锚盒,蓝色表示目标框。
- 当|A∩B| > 0时,|C−A∪B|的面积总是一个小数字或等于零(当A包含B时,这一项为零,反之亦然)。在这种情况下,GIOU损失降级为IOU损失。因此,GIOU损失的收敛速度仍然慢。
实现函数:
def Giou(rec1,rec2):#分别是第一个矩形左右上下的坐标x1,x2,y1,y2 = rec1 x3,x4,y3,y4 = rec2iou = Iou(rec1,rec2)area_C = (max(x1,x2,x3,x4)-min(x1,x2,x3,x4))*(max(y1,y2,y3,y4)-min(y1,y2,y3,y4))area_1 = (x2-x1)*(y1-y2)area_2 = (x4-x3)*(y3-y4)sum_area = area_1 + area_2w1 = x2 - x1 #第一个矩形的宽w2 = x4 - x3 #第二个矩形的宽h1 = y1 - y2h2 = y3 - y4W = min(x1,x2,x3,x4)+w1+w2-max(x1,x2,x3,x4) #交叉部分的宽H = min(y1,y2,y3,y4)+h1+h2-max(y1,y2,y3,y4) #交叉部分的高Area = W*H #交叉的面积add_area = sum_area - Area #两矩形并集的面积end_area = (area_C - add_area)/area_C #闭包区域中不属于两个框的区域占闭包区域的比重giou = iou - end_areareturn giou
DIOU loss (2020)
论文:https://arxiv.org/pdf/1911.08287.pdf
DIoU要比GIou更加符合目标框回归的机制,将目标与anchor之间的距离,重叠率以及尺度都考虑进去,使得目标框回归变得更加稳定,不会像IoU和GIoU一样出现训练过程中发散等问题。
优点:
DIoU loss可以直接最小化两个目标框的距离,因此比GIoU loss收敛快得多
对于包含两个框在水平方向和垂直方向上这种情况,DIoU损失可以使回归非常快,而GIoU损失几乎退化为IoU损失。
DIoU还可以替换普通的IoU评价策略,应用于NMS中,使得NMS得到的结果更加合理和有效。
实现代码:
def Diou(bboxes1, bboxes2):rows = bboxes1.shape[0]cols = bboxes2.shape[0]dious = torch.zeros((rows, cols))if rows * cols == 0:#return diousexchange = Falseif bboxes1.shape[0] > bboxes2.shape[0]:bboxes1, bboxes2 = bboxes2, bboxes1dious = torch.zeros((cols, rows))exchange = True# #xmin,ymin,xmax,ymax->[:,0],[:,1],[:,2],[:,3]w1 = bboxes1[:, 2] - bboxes1[:, 0]h1 = bboxes1[:, 3] - bboxes1[:, 1] w2 = bboxes2[:, 2] - bboxes2[:, 0]h2 = bboxes2[:, 3] - bboxes2[:, 1]area1 = w1 * h1area2 = w2 * h2center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2 center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2 center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:]) inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2]) out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:]) out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2])inter = torch.clamp((inter_max_xy - inter_min_xy), min=0)inter_area = inter[:, 0] * inter[:, 1]inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2outer = torch.clamp((out_max_xy - out_min_xy), min=0)outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2)union = area1+area2-inter_areadious = inter_area / union - (inter_diag) / outer_diagdious = torch.clamp(dious,min=-1.0,max = 1.0)if exchange:dious = dious.Treturn dious
CIOU loss (2020)
论文:https://arxiv.org/pdf/1911.08287.pdf
CIOU loss考虑了三个重要的几何因素,即重叠面积、中心点距离和高宽比。给定一个预测框B和一个目标框Bgt, CIOU损失定义如下。
DIoU中对anchor框和目标框之间的归一化距离进行了建模
与以前的损失函数相比,CIOU损失有了显著的改善。 由于v只反映了纵横比的差异,CIOU损失可能会以不合理的方式优化相似性, 这里,CIOU损失确实增加了宽高比的相似度,但它阻碍了模型有效降低(w, h)和(wgt, hgt)之间的真实差异。
实现代码:
def bbox_overlaps_ciou(bboxes1, bboxes2):rows = bboxes1.shape[0]cols = bboxes2.shape[0]cious = torch.zeros((rows, cols))if rows * cols == 0:return ciousexchange = Falseif bboxes1.shape[0] > bboxes2.shape[0]:bboxes1, bboxes2 = bboxes2, bboxes1cious = torch.zeros((cols, rows))exchange = Truew1 = bboxes1[:, 2] - bboxes1[:, 0]h1 = bboxes1[:, 3] - bboxes1[:, 1]w2 = bboxes2[:, 2] - bboxes2[:, 0]h2 = bboxes2[:, 3] - bboxes2[:, 1]area1 = w1 * h1area2 = w2 * h2center_x1 = (bboxes1[:, 2] + bboxes1[:, 0]) / 2center_y1 = (bboxes1[:, 3] + bboxes1[:, 1]) / 2center_x2 = (bboxes2[:, 2] + bboxes2[:, 0]) / 2center_y2 = (bboxes2[:, 3] + bboxes2[:, 1]) / 2inter_max_xy = torch.min(bboxes1[:, 2:],bboxes2[:, 2:])inter_min_xy = torch.max(bboxes1[:, :2],bboxes2[:, :2])out_max_xy = torch.max(bboxes1[:, 2:],bboxes2[:, 2:])out_min_xy = torch.min(bboxes1[:, :2],bboxes2[:, :2])inter = torch.clamp((inter_max_xy - inter_min_xy), min=0)inter_area = inter[:, 0] * inter[:, 1]inter_diag = (center_x2 - center_x1)**2 + (center_y2 - center_y1)**2outer = torch.clamp((out_max_xy - out_min_xy), min=0)outer_diag = (outer[:, 0] ** 2) + (outer[:, 1] ** 2)union = area1+area2-inter_areau = (inter_diag) / outer_diagiou = inter_area / unionwith torch.no_grad():arctan = torch.atan(w2 / h2) - torch.atan(w1 / h1)v = (4 / (math.pi ** 2)) * torch.pow((torch.atan(w2 / h2) - torch.atan(w1 / h1)), 2)S = 1 - ioualpha = v / (S + v)w_temp = 2 * w1ar = (8 / (math.pi ** 2)) * arctan * ((w1 - w_temp) * h1)cious = iou - (u + alpha * ar)cious = torch.clamp(cious,min=-1.0,max = 1.0)if exchange:cious = cious.Treturn cious
EIOU loss (2021)
论文:Focal and Efficient IOU Loss for Accurate Bounding Box Regression
针对以上问题,对CIOU损失进行了修正,提出了一种更有效的损失形式。
[公式] 和 [公式] 指覆盖两个盒子的最小的封闭盒子的宽度和高度,其他变量参考以上说明,将损失函数分为三部分:IOU损失、距离损失、方向损失。 这样,就可以保留CIOU loss特征。同时,EIOU loss 直接使目标框与锚框的宽度和高度之差最小,使得收敛速度更快,定位效果更好。
Fcoal-EIOU loss (2021)
论文:Focal and Efficient IOU Loss for Accurate Bounding Box Regression
在BBR中,也存在训练样本不平衡的问题(one-stage检测比较突出),即由于图像中目标对象的稀疏性,回归误差小的高质量样本(锚框)的数量远远少于低质量样本(离群值)。最近的研究表明,异常值会产生过大的梯度,这对训练过程有害。 因此,让高质量的样本为网络训练过程贡献更多的梯度是至关重要的。所以引入Focal loss的提出起到很大作用,因此改进的EIOU loss( Fcoal-EIOU loss ),如下:
Fcoal-EIOU 损失函数
其中IOU = |A∩B|/|A∪B|,γ为控制异常值抑制程度的参数。
结果对比
以上损失函数性能对比:
参考文章
目标检测-损失函数Loss相关推荐
- 目标检测损失函数Loss大盘点
L2, L1, smooth L1 L2 loss, L1 loss, Smooth L1 loss smooth L1 loss 相对于 L2 loss的优点: 当预测框与 ground truth ...
- 目标检测--Focal Loss for Dense Object Detection
Focal Loss for Dense Object Detection ICCV2017 https://arxiv.org/abs/1708.02002 本文算是用简单的方法解决复杂的问题了,好 ...
- 新的目标检测损失函数SIoU:速度完美超越YoloV5、YoloX
点击上方"计算机视觉工坊",选择"星标" 干货第一时间送达 作者丨ChaucerG 来源丨集智书童 编辑丨极市平台 论文链接:https://arxiv.org ...
- CVPR 2019 | 旷视提出新型目标检测损失函数:定位更精准
点击我爱计算机视觉标星,更快获取CVML新技术 52CV曾经第一时间报道过Softer-NMS:CMU&旷视最新论文提出定位更加精确的目标检测算法,当时引起了不少读者对Softer-NMS的兴 ...
- 目标检测------损失函数=类别损失+位置损失
## 损失函数 一般的目标检测模型包含两类损失函数:一类是类别损失(分类),另一类是位置损失(回归). 这两类损失函数往往用于检测模型最后一部分,根据模型输出(类别和位置)和实际标注框(类别和位置)分 ...
- 目标检测之Loss:FasterRCNN中的SmoothL1Loss
多任务损失(来自Fast R-CNN) multi-task数据结构 Fast R-CNN网络有两个同级输出层(cls score和bbox_prdict层),都是全连接层,称为multi-task ...
- 目标检测——使用loss发现噪声数据
2 备注 2.1 聚类算法中的outliers是怎么定义的呀,是按照一定半径画出决策边界,然后不属于任何一个类的点吗? 我在优图交流群中进行了提问,记录如下: 我:请问一下,聚类算法中的outlier ...
- 目标检测之Loss:Center Loss梯度更新
转载:https://blog.csdn.net/u014380165/article/details/76946339 最近几年网络效果的提升除了改变网络结构外,还有一群人在研究损失层的改进,这篇博 ...
- 边框回归的损失函数_CVPR 2019:精确目标检测的不确定边界框回归
本文由AI科技评论读者 BBuf 投稿 来稿见文末说明 大规模的目标检测数据集(例如MS-COCO)在进行Ground Truth框标注时仍然存在歧义.这篇论文提出了新的边界框回归损失针对目标框的移动 ...
最新文章
- 利用PHPExcel转Excel柱形图
- 怎样判别蓄电池的好坏?
- python爬虫 隐藏身份及设置代理
- 丹东御空服务器维修,【正式服】3月14日例行更新维护公告
- AngularJS track by $index引起的思考
- Android杂谈--ListView之ArrayAdapter的使用
- C++基础::为什么不能cout一个string?
- oracle 单表查重,Oracle如何用单字段或多字段进行查重
- 记一次VS Code崩溃的解决(Win10扫描自动回复系统文件)
- Oracle数据泵(Data Dump)错误汇集
- ERP物料信息编码体系的研究与实践
- HelloWorld
- 飞行控制PID算法——无人机飞控
- System进程的启动流程第一部分
- Django默认用户模型类和父类 AbstractUser 介绍
- 计算机显卡更新,电脑显卡升级,教您显卡怎么升级
- 黄家驹的《光辉岁月》永远流传,但IT人的光辉岁月已渐远去
- 转载(工信部):张欣 辽宁奇辉电子系统工程有限公司
- 良心安利芒种节气海报设计素材
- macunity日志目录_Mac升级10.13需谨慎,Unity不显示资源的解决办法
热门文章
- 激活函数(relu,prelu,elu,+BN)对比on cifar10
- sqrt函数原型c语言,C语言sqrt函数的实例用法讲解
- 这些机器人决定全球机器人未来趋势·Science Robotics 评选年度十大机器人
- Openflow协议
- 预约直播|3月30日下周四,应用促活大揭秘,快速提升DAU
- 这一天是这一年的第几天
- PTHREAD_PRIO_INHERIT 的翻译
- dom元素滚动条高度 js_js,jquery 获取滚动条高度和位置, 元素距顶部距离
- Element表格Table文字过长悬浮提示很长
- 火车票订票系统的几点优化思考