Hard to Track Objects with Irregular Motions and Similar Appearances? Make It Easier by Buffering the Matching Space

rank：CVPR2022 SoccerNet MOT和ECCV2022 MOTComplex DanceTrack挑战中排名第二
论文链接：https://arxiv.org/pdf/2211.14317.pdf
代码：目前未开源
论文接收情况：WACV 2023

1、动机

为什么HOTA评分在DanceTrack上显著下降？
作者指出两个问题，也即本文的动机：
（i）同一目标在相邻帧中的检测和跟踪不重叠（比如快速移动）导致跟踪失败
（ii）运动估计不准确导致检测和跟踪不匹配，特别是对于做不规则运动、非线性运动的目标

2、方法

作者的贡献：
提出了一种级联缓冲联合交叉（C-BIoU）跟踪器，以跟踪具有不规则运动和不可区分外观的多个对象。

采用BIOU代替IOU，在原来box的基础上进行等比放大，增加搜索区域，使原来关联不上的det和track增加匹配机会。（作者说BIoU在两个方面减轻不规则运动的影响：一是直接匹配相邻帧中相同但不重叠的检测和轨迹，二是补偿匹配空间中的运动估计偏差）
采用级联匹配方式：首先，使用小缓冲区匹配活动轨迹和检测，然后使用大缓冲区再次匹配未匹配的轨迹和检测。（为了防止BIOU随意扩展导致误匹配）

框架

如图4，整个跟踪框架还是比较简单的，第一次匹配时将扩展因子设置为0.3，即变为原来的1.3倍，代价函数为扩展后的IOU，对于未匹配的det和track做二次匹配，这次将扩展因子设置为0.5，再次关联，此时未匹配的det初始化为track，未匹配的track根据寿命判断是否保留。

BIOU

如图2，缓冲区域（buffer）就是在原来box基础上等比扩大，通过扩展因子b控制，不改变中心点位置、box宽高比。

如图3，右下角的球员在两帧中位置偏差很大，IOU为0，采用buffer扩充后BIOU>0，就有可能匹配上了。（这个应该不是相邻两帧）

运动模型

没有采用卡尔曼滤波，采用了更简单的线性平均运动（好像只有在track失配时才用来估计位置，如果每一帧都匹配则直接用det的结果作为状态），具体式子为

其中o=(x,y,w,h)表示检测结果，s表示估计的状态，△表示失配的帧数，n是超参数（用来计算某个周期内的平均速度）。某目标在第t帧获得更新，之后连续△帧失配，则第t+△帧后的状态s为第t帧检测结果加上失配帧数△*前n帧的平均速度。

track管理方法

如图4，基本同sort一样。

3、实验

在MOT17和DanceTrack上进行比较，都取得了SOTA（私以为TBD类的MOT方法检测结果严重依赖检测器的质量，自从bytetrack开始就使用yolox-x做检测器，跟踪结果一下子就都上来了，对于JDT类的方法不太公平）
速度测试，在Intel志强CPU上跑到360+fps，比较的都是不使用网络推理的方法，这些方法更容易在工业界落地（比如百度的pp-human和pp-vehicle使用的ByteTrack和OC-SORT）
其他数据集的结果
与使用其他IOU指标的结果（验证BIOU的有效性），以及消融实验结果，其中“C.M.”和“Mo.”分别表示级联匹配和运动估计
级联匹配中两阶段扩展因子的组合，作者在表4中提到完全不使用BIOU，即第一行IOU Tracker的结果比使用BIOU差（不知道为啥不加一组b1=0的组合）
检测噪声实验（独一份的实验），因为BIOU需要对原先的box进行扩展，必然导致更多的关联（IOU=0,BIOU>0），因此非常依赖检测器的质量，当存在误检和漏检时影响很大，作者这个实验也证明了这点

4、个人总结

作者另辟蹊径，提出了一种既简单粗暴的方法改进了MOT方法。

简单是因为总体方法非常简单，感觉是在IOUTracker: High-Speed tracking-by-detection without using image information上的改进，增加了一个非常简单的运动估计模型（线性平均运动），以及非常简单的增大搜索区域的BIOU方法。
粗暴是因为当大家都在绞尽脑汁考虑怎么精确估计目标运动时，作者说“我不管啦~”，只要把搜索区域扩大，总能关联上，完全不需要考虑怎么运动，从BIOU到运动模型都是一种模糊估计的方法（类比过程噪声Q很大而观测噪声R很小的卡尔曼滤波）。

此外，随着检测器质量的提高，TBD以及无网络推理的模型表现也越来越好，如表1，SORT在yolox-x的加持下也可以取得非常好的结果，这类速度非常快的方法往往更容易落地。

【MOT】C-BIoU：Hard to Track Objects with Irregular Motions and Similar Appearances?相关推荐

【MOT】多目标跟踪通用流程方法总结
从整体框架分类: TBD(Tracking-by-Detecton),或者DBT(Detection-based-Tracking),具体来说首先使用物体检测器检测目标,然后,利用运动.位置.外观线索 ...
【python】图像映射：单应性变换与图像扭曲
[python]图像映射:单应性变换与图像扭曲单应性变换(Homography) 图像扭曲(仿射变换) 图中图分段仿射扭曲单应性变换(Homography) 单应性变换(Homography)即 ...
mysql存储base64位用什么类型_【漫画】面试现场：为什么MySQL数据库要用B+树存储索引？...
推荐阅读:MySQL最全整理(面试题+笔记+导图),面试大厂不再被MySql难倒! 小史是一个应届生,虽然学的是电子专业,但是自己业余时间看了很多互联网与编程方面的书,一心想进BAT互联网公司. 话说 ...
【转】nginx提示：500 Internal Server Error错误的解决方法
[转]nginx提示:500 Internal Server Error错误的解决方法参考文章: (1)[转]nginx提示:500 Internal Server Error错误的解决方法 (2) ...
【图像算法】图像特征：GLCM灰度共生矩阵纹理特征
[图像算法]图像特征:GLCM SkySeraph Aug 27th 2011 HQU Email:zgzhaobo@gmail.com QQ:452728574 Latest Modifie ...
【转】内存耗用：VSS/RSS/PSS/USS
[转]内存耗用:VSS/RSS/PSS/USS Terms VSS- Virtual Set Size 虚拟耗用内存(包含共享库占用的内存) RSS- Resident Set Size 实际使用物理 ...
【UEditor】自定义插件：按钮
前言 ueditor 1.4.3 [UEditor]介绍代码: https://gitee.com/mirrors/ueditor/tree/v1.4.3 官方自定义组件文档 http://fex. ...
【链接】调查显示：超20%美国大学生曾花学生贷款投
看了这则新闻之后,实在是不知道该说些什么好... 转载:[链接]调查显示:超20%美国大学生曾花学生贷款投扫描关注:热爱生活的大叔 (转载本站文章请注明作者和出处热爱生活的大叔-uniquezha ...
【word2vec】篇三：基于Negative Sampling 的 CBOW 模型和 Skip-gram 模型
系列文章: [word2vec]篇一:理解词向量.CBOW与Skip-Gram等知识 [word2vec]篇二:基于Hierarchical Softmax的 CBOW 模型和 Skip-gram 模 ...

【MOT】C-BIoU：Hard to Track Objects with Irregular Motions and Similar Appearances?