NMS

python实现代码:

import numpy as np
import matplotlib.pyplot as pltdef py_cpu_nms(dets, thresh):x1 = dets[:, 0]y1 = dets[:, 1]x2 = dets[:, 2]y2 = dets[:, 3]scores = dets[:, 4]areas = (x2-x1+1)*(y2-y1+1)res = []index = scores.argsort()[::-1]while index.size>0:i = index[0]res.append(i)x11 = np.maximum(x1[i],x1[index[1:]])y11 = np.maximum(y1[i], y1[index[1:]])x22 = np.minimum(x2[i],x2[index[1:]])y22 = np.minimum(y2[i],y2[index[1:]])w = np.maximum(0,x22-x11+1)h = np.maximum(0,y22-y11+1)overlaps = w * hiou = overlaps/(areas[i]+areas[index[1:]]-overlaps)idx = np.where(iou<=thresh)[0]index = index[idx+1]print(res)return resdef plot_boxs(box,c):x1 = box[:, 0]y1 = box[:, 1]x2 = box[:, 2]y2 = box[:, 3]plt.plot([x1,x2],[y1,y1],c)plt.plot([x1,x2],[y2,y2],c)plt.plot([x1,x1],[y1,y2],c)plt.plot([x2,x2],[y1,y2],c)if __name__ == '__main__':boxes = np.array([[100, 100, 210, 210, 0.72],[250, 250, 420, 420, 0.8],[220, 220, 320, 330, 0.92],[230, 240, 325, 330, 0.81],[220, 230, 315, 340, 0.9]])plt.figure()ax1 = plt.subplot(121)ax2 = plt.subplot(122)plt.sca(ax1)plot_boxs(boxes,'k')res = py_cpu_nms(boxes,0.7)plt.sca(ax2)plot_boxs(boxes[res],'r')plt.show()

soft-NMS

论文(CVPR2017): 《Improving Object Detection With One Line of Code》

Soft-NMS的优势

  • 它仅需要对传统的NMS算法进行简单的改动且不增额外的参数。该Soft-NMS算法在标准数据集PASCAL - VOC2007(较R-FCN和Faster-RCNN提升1.7%)和MS-COCO(较R-FCN提升1.3%,较Faster-RCNN提升1.1%)上均有提升。
  • Soft-NMS具有与传统NMS相同的算法复杂度,使用高效。
  • Soft-NMS不需要额外的训练,并易于实现,它可以轻松的被集成到任何物体检测流程中。

原理

见下图伪代码,整个改进只需要使用绿色虚线表示的Soft-NMS替换红色虚线表示的NMS。

B集合是检测到的所有建议框,S集合是各个建议框得分(分数是指建议框包含物体的可能性大小),Nt是指手动设置的阈值。M为当前得分最高框,bi 为待处理框。

  • f(iou(M,bi))权重函数的形式

    • 原来的NMS可以描述如下:将IoU大于阈值的窗口的得分全部置为0。

    • Soft-NMS的改进有两种形式,一种是线性加权的:

    • 一种是高斯加权的:

综上,soft-nms的核心就是降低置信度。比如一张人脸上有3个重叠的bounding box, 置信度分别为0.9, 0.7, 0.85 。选择得分最高的建议框,经过第一次处理过后,得分依次变成了0.9, 0.65, 0.55(此时将得分最高的保存在D中)。这时候再选择第二个bounding box作为得分最高的,处理后置信度分别为0.65, 0.45(这时候3个框也都还在),最后选择第三个,处理后得分不改变。最终经过soft-nms抑制后的三个框的置信度分别为0.9, 0.65, 0.45。最后设置阈值,将得分si小于阈值的去掉。

效果示例


假如还检测出了3号框,而我们的最终目标是检测出1号和2号框,并且剔除3号框,原始的nms只会检测出一个1号框并剔除2号框和3号框,而softnms算法可以对1、2、3号检测狂进行置信度排序,可以知道这三个框的置信度从大到小的顺序依次为:1-》2-》3(由于是使用了惩罚,IoU越大,得分越低,所有可以获得这种大小关系),如果我们再选择了合适的置信度阈值,就可以保留1号和2号,同时剔除3号,实现我们的功能。

但是,这里也有一个问题就是置信度的阈值如何选择,作者在这里依然使用手工设置的值,依然存在很大的局限性,所以该算法依然存在改进的空间。

参考:https://zhuanlan.zhihu.com/p/41046620

nms和soft-nms代码对比


import matplotlib.pyplot as plt
import numpy as npboxes = np.array([[100, 100, 210, 210, 0.1],[250, 250, 420, 420, 0.8],[220, 220, 320, 330, 0.92],[100, 100, 240, 240, 0.72],[230, 240, 325, 330, 0.81],[220, 230, 315, 340, 0.9]])  # (x1,y1,x2,y2,score)def nms(boxes, threshold):x1 = boxes[:, 0]y1 = boxes[:, 1]x2 = boxes[:, 2]y2 = boxes[:, 3]scores = boxes[:, 4]areas = (x2 - x1 + 1) * (y2 - y1 + 1)keep = []idxs = scores.argsort()[::-1]  # 从大到下排序,argsort函数返回从小到大的索引,[::-1]反序变成从大到小while (idxs.size > 0):i = idxs[0]keep.append(i)x11 = np.maximum(x1[i], x1[idxs[1:]])y11 = np.maximum(y1[i], y1[idxs[1:]])x22 = np.minimum(x2[i], y2[idxs[1:]])y22 = np.minimum(y2[i], y2[idxs[1:]])w = np.maximum(0, x22 - x11 + 1)h = np.maximum(0, y22 - y11 + 1)overlaps = w * hious = overlaps / (areas[i] + areas[idxs[1:]] - overlaps)idxs2 = np.where(ious < threshold)[0]  # np.where函数idxs = idxs[idxs2 + 1]  # 注意这个+1return keep#
def soft_nms(boxes, sigma=0.5, threshold1=0.7, threshold2=0.1, method=1):'''paper:Improving Object Detection With One Line of Code'''N = boxes.shape[0]pos = 0maxscore = 0maxpos = 0for i in range(N):maxscore = boxes[i, 4]maxpos = itx1 = boxes[i, 0]ty1 = boxes[i, 1]tx2 = boxes[i, 2]ty2 = boxes[i, 3]ts = boxes[i, 4]pos = i + 1# 得到评分最高的boxwhile pos < N:if maxscore < boxes[pos, 4]:maxscore = boxes[pos, 4]maxpos = pospos = pos + 1# 交换第i个box和评分最高的box,将评分最高的box放到第i个位置boxes[i, 0] = boxes[maxpos, 0]boxes[i, 1] = boxes[maxpos, 1]boxes[i, 2] = boxes[maxpos, 2]boxes[i, 3] = boxes[maxpos, 3]boxes[i, 4] = boxes[maxpos, 4]boxes[maxpos, 0] = tx1boxes[maxpos, 1] = ty1boxes[maxpos, 2] = tx2boxes[maxpos, 3] = ty2boxes[maxpos, 4] = tstx1 = boxes[i, 0]ty1 = boxes[i, 1]tx2 = boxes[i, 2]ty2 = boxes[i, 3]ts = boxes[i, 4]pos = i + 1# softNMS迭代while pos < N:x1 = boxes[pos, 0]y1 = boxes[pos, 1]x2 = boxes[pos, 2]y2 = boxes[pos, 3]s = boxes[pos, 4]area = (x2 - x1 + 1) * (y2 - y1 + 1)iw = (min(tx2, x2) - max(tx1, x1) + 1)if iw > 0:ih = (min(ty2, y2) - max(ty1, y1) + 1)if ih > 0:uinon = float((tx2 - tx1 + 1) *(ty2 - ty1 + 1) + area - iw * ih)iou = iw * ih / uinon  # 计算iouif method == 1:  # 线性更新分数if iou > threshold1:weight = 1 - iouelse:weight = 1elif method == 2:  # 高斯权重weight = np.exp(-(iou * iou) / sigma)else:  # 传统 NMSif iou > threshold1:weight = 0else:weight = 1boxes[pos, 4] = weight * boxes[pos, 4]  # 根据和最高分数box的iou来更新分数# 如果box分数太低,舍弃(把他放到最后,同时N-1)if boxes[pos, 4] < threshold2:boxes[pos, 0] = boxes[N - 1, 0]boxes[pos, 1] = boxes[N - 1, 1]boxes[pos, 2] = boxes[N - 1, 2]boxes[pos, 3] = boxes[N - 1, 3]boxes[pos, 4] = boxes[N - 1, 4]N = N - 1  # 注意这里N改变pos = pos - 1pos = pos + 1keep = [i for i in range(N)]return keep
def plot_boxs(box,c):x1 = box[:, 0]y1 = box[:, 1]x2 = box[:, 2]y2 = box[:, 3]plt.plot([x1,x2],[y1,y1],c)plt.plot([x1,x2],[y2,y2],c)plt.plot([x1,x1],[y1,y2],c)plt.plot([x2,x2],[y1,y2],c)keep1 = nms(boxes, 0.7)
keep2 = soft_nms(boxes)
print(keep1,'|||',keep2)
print("end")
plt.figure()
ax1 = plt.subplot(131)
ax2 = plt.subplot(132)
ax3 = plt.subplot(133)
plt.sca(ax1)
plot_boxs(boxes,'k')plt.sca(ax2)
plot_boxs(boxes[keep1],'k')plt.sca(ax3)
plot_boxs(boxes[keep2],'r')
plt.show()

结果

NMS和soft-NMS原理和代码实现相关推荐

  1. NMS、soft NMS、softer NMS与IOU-Guided NMS

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 NMS.soft NMS.softer NMS与IOU-Guided NMS 一.NMS 二.soft NMS 三.softer NM ...

  2. 目标检测中的NMS,soft NMS,softer NMS,Weighted Boxes Fusion

    NMS 非最大值抑制算法,诞生至少50年了. 在经典的两阶段目标检测算法中,为了提高对于目标的召回率,在anchor阶段会生成密密麻麻的anchor框. 所以在后处理的时候,会存在着很多冗余框对应着同 ...

  3. NMS与Soft NMS

    1.NMS 非最大抑制(Non-maximum suppression, NMS)是物体检测流程中重要的组成部分.NMS算法的大致思想:对于有重叠的候选框:若大于规定阈值(某一提前设定的置信度)则删除 ...

  4. nms修改为soft nms

    nms修改为soft nms 一,NMS与soft nms原理 先放一张论文中的图 在对上述图片中的目标进行检测过程中,使用非极大值抑制(NMS)进行筛选时只能获取到得分最高的框(得分0.95),对于 ...

  5. 交并比 (IoU), mAP (mean Average Precision), 非极大值抑制 (NMS, Soft NMS, Softer NMS, IoU-Net)

    目录 目标检测的评价指标 交并比 (Intersection of Union, IoU) mAP (mean Average Precision) 其他指标 非极大值抑制 (Non-Maximum ...

  6. nms,soft nms算法理解

    从上面这张图可以看出来nms和soft nms的算法原理: ** 经典nms的原理 **设定目标框的置信度阈值,常用的阈值是0.5左右 根据置信度降序排列候选框列表 选取置信度最高的框A添加到输出列表 ...

  7. Soft NMS算法笔记

    原博客地址:https://blog.csdn.net/u014380165/article/details/79502197#comments 提出问题 如下图,测算法本来应该输出两个框,但是传统的 ...

  8. 卷积在计算机中实现+pool作用+数据预处理目的+特征归一化+理解BN+感受野理解与计算+梯度回传+NMS/soft NMS

    一.卷积在计算机中实现 1.卷积 将其存入内存当中再操作(按照"行先序"): 这样就造成混乱. 故需要im2col操作,将特征图转换成庞大的矩阵来进行卷积计算,利用矩阵加速来实现, ...

  9. 【目标检测】NMS和soft-NMS详解及代码实现

    1. NMS 1.1. NMS概述 非极大值抑制(Non-Maximum Suppression, NMS),顾名思义就是抑制不是极大值的元素,用于目标检测中,就是提取置信度高的目标检测框,而抑制置信 ...

  10. Soft NMS论文笔记

    论文:Improving Object Detection With One Line of Code. Navaneeth Bodla*, Bharat Singh*, Rama Chellappa ...

最新文章

  1. Android EditText禁止复制粘贴
  2. 数据结构----数组与广义表专题
  3. java应用架构设计_java应用架构设计
  4. 在Linux下写一个自己的命令
  5. js实现HTML标题栏中新消息提示效果
  6. 用c语言写出一个榜单程序,C语言依然位居榜单前列,依然值得程序员学习
  7. SSM+easyUI(框架的搭建)
  8. 在Android中运用RxJava
  9. -bash: findstr: command not found 问题解决
  10. linux拨号上网的命令,CentOS 6.4 电信ADSL拨号上网网络配置
  11. 关于Quartz 2D绘图的简单使用
  12. MySQL server has gone away问题得解决方案
  13. 三菱a系列motion软体_三菱PLC全系列编程电缆制作方法
  14. [JavaScript] 整数金额转汉语数字大写
  15. 火狐——图片闪动 部分情况下加载不出来
  16. 用esp8266开发板制作WiFi Killer
  17. 开关电源LLC谐振变换器的工作原理
  18. mysql 改成 localhos_MySQL添加用户、删除用户与授权
  19. 屏幕背光的PWM控制
  20. 200+的AI绘画工具你值得拥有

热门文章

  1. zephir-安装和初体验
  2. 【校招VIP】Java Spring之spring boot
  3. 爬虫案例:登录V2EX
  4. 朱有鹏:对嵌入式工程师的一些小建议
  5. 计算机二级笔试题好难,计算机二级考试试题经验分享
  6. 计算机net是什么意思翻译,net是什么意思_net翻译_读音_用法_翻译
  7. 2008最火爆的十大网络流行语:
  8. 狼人杀3.0版本(自创)
  9. centos7 通过git连接GitHub仓库
  10. 在Windows系统上使用WSL和Docker