点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨S-L

来源丨CV技术指南

前言 本文提出一种基于ranking的优化算法来探索视觉跟踪不同提案之间的关系，作者引入了分类损失和IoU引导的损失这两种ranking损失作为优化约束。所提出的两个ranking损失与大多数Siamese追踪器兼容，并且不产生额外的推理计算。

论文在七个跟踪基准上进行了广泛的实验，包括OTB100、UAV123、TC128、VOT2016、NFS30、GOT-10k和LaSOT，证明了所提出的基于排名的优化算法的有效性。

论文：Ranking-Based Siamese Visual Tracking

代码：https://github.com/sansanfree/RBO

背景

近年来Siamese 网络在利用深度学习解决跟踪问题上受到广泛关注，随着网络的不断优化，其在解决追踪问题上的性能也在逐步提升。

目前基于 Siamese 的跟踪器主要将视觉跟踪分为两个独立的子任务，包括分类和定位。通过单独处理每个样本来学习分类子网络，忽略了正负样本之间的关系。此外，这种跟踪范式只将分类置信度用于最终预测，可能会产生分类和定位之间的不一致。

尽管目前基于 Siamese 的跟踪器取得了可喜的性能，但仍然存在两个限制：

1、Siamese追踪器难以区分背景干扰物。特别是在训练阶段，分类子网经过大量优化训练样本，其中存在大量无信息样本（即简单样本），易于分类而一些分散注意力的例子被淹没进而对网络优化的影响很小。在测试阶段，背景干扰器具有很强的正向置信度时，可能会严重误导跟踪器，从而导致跟踪失败。

2、存在分类和定位之间的不匹配问题，因为这两个任务是分开处理的。具体而言，分类损失指引模型区分来自背景的相关目标而不管位置信息，而回归分支旨在定位所有正样本的目标边界框不考虑分类信息。

目前有许多种样本重新加权策略来抑制目标检测中的干扰因素，然而，在视觉跟踪的背景下，硬负样本总是有与跟踪目标相同的语义类，在分类编码空间它是难以区分的干扰物。

作者将分类作为一项排名任务来处理，其中鼓励前景样本的排名高于背景样本。与原分类相比损失，所提出的排名优化服务于一个松散的约束，在该约束下，允许硬负样本只要他们的前景置信度分数低于正面的置信度分数，就被归类为前景，并且可以很好地防止跟踪器被干扰物愚弄。

受目标检测中分类和定位相关研究的启发，作者提出了 IoU 引导的排名损失在 RankDetNet 的基础上对齐前景与其对应的 IoU 值的置信度得分为如图1（b）所示，修改后的损失更合适用于跟踪任务。

贡献

为了解决上述问题，作者提出了一种基于排序的优化（RBO），包括分类损失和 IoU 引导的损失。通过用像素级相关性替代深度级相关性来修改SiamBAN-RBO进而获得了新的跟踪器版本，称为SiamPW-RBO。

论文的主要贡献为：

1、设计了一个分类排名损失来增强对前景样本和背景样本之间关系建模的辨别能力，这可以防止跟踪器被干扰物干扰。

2、提出了一个 IoU 引导的排序损失来缓解分类和定位之间的不匹配问题。它通过对齐具有相关 IoU 的分类分数连接两个独立的子任务，确保定位良好的预测可以表示为高分类置信度分数。

3、所提出的 RBO跟基线跟踪器相比在不牺牲推理速度的情况下可以显着提高三种类型的跟踪器在七个不同基准上的性能。

方法

图1 所提出的两种损失，classification ranking 损失可以确保正样本的排名高于负样本，这样跟踪器就可以成功地选择前景样本而不被干扰物所迷惑。

IoU 引导的排名损失旨在将分类置信度分数与正样本的相应定位预测Intersection over Union(IoU) 相一致，使定位良好的预测能够被高分类置信度所代表。

图2 论文的主要框架，基于Siamese追踪器的包含分类和定位两部分，提出的classification ranking 损失有助于分类优化，IoU 引导的排名损失旨在用定位预测来对齐分类的置信度。

1、分类排名损失

图3 二进制分类过程中存在的问题：一些硬负样本可能会穿过决策超平面并欺骗分类器。

论文采用logistic 损失对正负样本P+、P-进行排序：

图4 所提分类排名损失的可视化效果，可以看出高响应只反映在关心的目标上，而干扰物被显著抑制。

2、IoU引导的排名损失

损失定义为：

该损失通过将分类分数与相关的 IoU 对齐可以缩小分类和回归分支之间的差距。因此，定位良好的预测可以表示为高分类置信度

实验

表1 在OTB100、TC128、UAV123、NFS30数据集上与其他算法的AUC得分对比

表2 在GOT-10k测试集上与当前方法对比的AO与SR指标

表3 在 VOT2016数据集上与当前方法对比的A、R、EAO指标

图5 在LaSOT 测试集上与当前方法的对比

图6 置信度图的可视化

结论

在论文中，作者提出了一种基于排名的优化Siamese跟踪算法。首先，作者提出了分类排名损失，将分类优化转化为排名问题，鼓励正样本排名高于硬负样本。参与排名优化后，tracker可以选择排名靠前的正样本作为关注目标，而不会被干扰因素所干扰。

此外，为了协调分类和定位之间预测的一致性，作者提出了一个 IoU-ranking loss在离线训练阶段一起优化分类和定位任务，从而产生具有高分类置信度的目标估计和推理时的定位精度。

我们建立了一个知识星球，星球内每天都会布置一些作业，这些作业会引导大家去学一些东西。如果有人觉得自己一个学习没有动力，或想要养成一个很好的学习习惯，每天完成在知识星球内的作业是一个不错的做法。

另外，我们建立了一个交流群，群内会经常发布最近几天出来的最新顶会论文，大家可以下载这些论文去阅读，如果看完写一个解读，可以给我们投稿，我们将付稿费。既可以保持阅读最新顶会、持续输出的习惯，又能提高写作能力，日后还可以在简历上写在公众号CV技术指南上投稿几十、一百余篇文章，对于提高能力、保持学习态度、个人履历等方面会是一大作用。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~