【2D目标跟踪】SIMPLE ONLINE AND REALTIME TRACKING阅读笔记（2017）
1、为什么要做这个研究（理论走向和目前缺陷） ?
之前的算法MHT或者JPDA，虽然关联效果很不错，但是在密集、遮挡严重的场景计算复杂度大幅增加，无法实时。
2、他们怎么做这个研究 （方法，尤其是与之前不同之处） ?
sort算法，：检测：faster rcnn； 状态参数：目标中心位置(u,v)，中心位置速度(u’,v’)，面积，高宽比；运动模型：匀速直线运动；状态更新：卡尔曼滤波；相似度度量：IOU；匹配算法：匈牙利匹配。
3、发现了什么（总结结果，补充和理论的关系）?
sort算法核心就是把卡尔曼滤波和匈牙利算法结合在一块。其只用于2D检测的跟踪，典型的基于检测的跟踪，且不用表观特征，仅仅使用检测框的位置和大小计算IOU作为相似度度量，最后用十分高效的匈牙利算法进行匹配，速度非常快，达到260fps。但是其过于依赖检测结果的好坏，且仅关注相邻两帧的关联，没有重识别，跟丢一帧就真的丢了。故sort算法仅仅适用于在物体状态估计较为准确的告诉场景中。
摘要：提出了一种非常实用的多目标跟踪算法，SORT，此算法主要关注如何高效关联前后帧的目标。SORT算法的核心就是匈牙利匹配算法和卡尔曼滤波算法的组合，但却达到了260fps。
1、引言
MOT问题可以视为一种数据关联问题，其主要目的就是关联连续帧的检测结果。在此之前MHT(Multiple Hypothesis Tracking)和JPDA（Joint Probabilistic Data Association）都是比较成熟的关联算法了。
SORT做跟踪时不考虑检测结果之外的表观特征，只考虑边界狂位置和尺寸来做运动估计和数据关联。而且也不考虑短期和长期的遮挡问题，因为若考虑的话跟踪算法的复杂度会大幅增加。此外，若进行目标re-id，计算复杂度也会大幅增加，不利于实时任务。
SORT算法也不会过于关注各种corner case，只关注常见情况，从而没有大量组件，非常简洁。
下图是各算法精度和速度比较：
2、相关研究
MHT和JPDA都是比较常用的跟踪算法，但是在比较密集、目标重叠、遮挡场景中时，计算量大幅增加，无法实时跟踪。
除了表观特征，运动信息也会被用来做关联。当做一对一匹配时（即二分图匹配），可以用匈牙利算法。
3、SORT
SORT算法关键组件：检测，预测，关联，生命周期管理。
3.1 检测
用的检测算法是Faster RCNN，但是尝试了两种主干网络（ZFNet和VGG16），只检测行人。
3.2 评估模型
每个被跟踪目标的状态可用如下参数描述：
从左到右分别代表在目标中心在图像上的水平像素位置和竖直像素位置，面积，高宽比，后面仨头上带点的是其速度和面积变化率（前后帧差值）。前后帧目标关联上的时候用新关联的检测结果更新速度状态（卡尔曼滤波），被跟踪目标没被跟踪上时就基于线性运动模型更新其在后一帧的状态。
3.3 数据关联
关联时要有个相似度度量，这里用的是IOU，基于此度量用匈牙利匹配算法进行匹配。此外，会设置一个IOU阈值，小于此阈值的拒绝关联。IOU度量可以较好的解决短期遮挡，因为会关联上被遮挡物，当不再被遮挡时，又正确关联上了。但是也只适用了2D图像上的这种遮挡，3D点云中没用，因为遮挡物和被遮挡物实际可能相距很远。
3.4 跟踪ID的创建与删除
目标在图像中首次出现或最终消失时，会涉及到ID的创建与删除。
创建：当出现的一个目标和任何被跟踪目标的IOU小与上文提及的IOU阈值时，为其创建跟踪器，将其速度置0，并将速度方差置位一个很大的数，标识速度不确定性很大。此外，这个新的跟踪器需要经历一个适用期，试用期内能够连续进行关联数帧才认为此目标被正确关联，这样主要是为了避免误检。
删除：连续跟丢T_lost帧后才认为此目标消失。这里T_lost=1，有两个原因：1）匀速模型往往很不准，2）本文主要关注帧帧之间的匹配，而非re-id。此外，越早删除跟丢的目标，算法越高效。
4、实验
数据集：MOTChallenge 2015，既有动态行人也有静态行人。
协方差、IOU阈值和T_lost是参考另一篇论文设置的。
4.1 度量
MOTA,MOTP，都是越大越好。
4.1 性能评估
实验结果：
相关指标解释：
4.3 运行时间
SORT算法可以达到260fps,实现了速度和准确率的平衡。
5、结论
sort算法关注连续两帧之间的关联，且非常依赖检测结果的好坏。
【2D目标跟踪】SIMPLE ONLINE AND REALTIME TRACKING阅读笔记（2017）相关推荐
- DeepSORT论文翻译（SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC）
论文地址:https://arxiv.org/pdf/1703.07402.pdf 在网上看到一些论文翻译,很多句子和专业词汇翻译都有很大问题.所以, 整理不同版本的翻译,融合成一个版本,并进行适当的 ...
- 【多目标跟踪】Deep SORT: Simple Online and Realtime Tracking with a Deep Association Metric阅读笔记
文章标题:<Simple Online and Realtime Tracking with a Deep Association Metric> 论文地址:https://arxiv.o ...
- SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC
SIMPLE ONLINE AND REALTIME TRACKING WITH A DEEP ASSOCIATION METRIC (简单的在线和实时跟踪与深度关联度量) 摘要 简单的在线和实时跟踪 ...
- 多目标跟踪之Sort:SIMPLE ONLINE AND REALTIME TRACKING
SORT:SIMPLE ONLINE AND REALTIME TRACKING Alex Bewley†, Zongyuan Ge†, Lionel Ott⋄, Fabio Ramos⋄, Ben ...
- SIMPLE ONLINE AND REALTIME TRACKING （SORT）论文阅读笔记
论文地址:https://arxiv.org/abs/1602.00763 论文题目:SIMPLE ONLINE AND REALTIME TRACKING github地址:https://gith ...
- Deep SORT: Simple Online and Realtime Tracking with a Deep Association Metric（论文阅读笔记）（2017CVPR）
论文链接:<Deep SORT: Simple Online and Realtime Tracking with a Deep Association Metric> ABSTRACT ...
- SORT论文翻译及批注（SIMPLE ONLINE AND REALTIME TRACKING）
论文地址:http://arxiv.org/pdf/1602.00763.pdf SIMPLE ONLINE AND REALTIME TRACKING -2016年 在网上看到一些论文翻译,很多句子 ...
- 【笔记】文献阅读[SORT]-SIMPLE ONLINE AND REALTIME TRACKING
SORT: SIMPLE ONLINE AND REALTIME TRACKING 引言 2 文献综述 3 方法 3.1 检测 3.2 评估模型 3.3 数据关联 4 实验 4.1 指标 4.2 性能 ...
- SORT:SIMPLE ONLINE AND REALTIME TRACKING论文翻译
概述: 多目标跟踪中SORT算法的理解 在跟踪之前,对所有目标已经完成检测,实现了特征建模过程. 1. 第一帧进来时,以检测到的目标初始化并创建新的跟踪器,标注id. 2. 后面帧进来时,先到卡尔曼滤 ...
最新文章
- 【 FPGA 】总线实现形式之三态门
- 5.13T1Send 题（send）
- 为什么有些产品不尽完美 但还是有大批用户愿意购买(转)
- python 转成摩尔斯电码_一篇文章教会你摩尔斯码
- Redis 分布式缓存 Java 框架
- bootstrap获取表格中选中行的值_这才是No.1的Excel表格核对技巧
- PHP的 preg_match_all
- CSS3学习之 animation 属性
- Spring boot 字符集编码
- C++ Primer Plus 笔记第十章
- idea下mapreduce的wordcount
- 博客属性10个非常不错的CSS技巧
- eclipse无法创建java虚拟机_2020年哪些IDE是最适合Java开发人员的？
- Apache Commons Lang StringUtils
- hibernate Restrictions 用法 查询
- JavaScript数组属性与方法
- 富士通代理4KBit I2C铁电存储器MB85RC04V
- 【电器识别】基于AlexNet网络实现电线杆、绝缘子、发电机和电容器等电器设备识别附matlab代码
- oracle 数据泵导出时间,Oracle DMP备份文件使用数据泵expdp/impdp导出导入dmp文件
- 2 会计要素和会计科目