BoT-SORT: Robust Associations Multi-Pedestrian Tracking

论文：arxiv

code: github

数据：还未找到

文章贡献
- 运动相机的补偿和卡尔曼状态向量的选择
- IOU与reid余弦距离融合方案
总流程
探索创新
- 更换了卡尔曼的状态量，以及Q，R矩阵。
  - 状态量由【xc, yc, s, a, ˙xc, ˙yc, ˙】、【xc, yc, a, h, ˙xc, ˙yc, ˙a, ˙h】到【xc(k), yc(k), w(k), h(k),˙xc(k), ˙yc(k), ˙w(k), ˙h(k)】
  - Q R选择跟状态向量有关，有利于预测长时间丢失的目标。
- 运动相机补偿
  - 相机的运动可以概括为相机姿态变化的刚性运动以及图像中目标变化的非刚性运动。
    - 在没有额外信息（惯导设备，IMU设备，相机的内参矩阵）情况下，采用两个相邻帧进行映射出相机的刚性运动。
    - 采用opencv中视频稳定模块进行转化，实现这个视频补偿。（该方法是适合背景运动的情况）
      1. 提取关键点
      2. 局部异常点去除的稀疏光流跟踪
      3. 用RANSAC方法求取出仿射矩阵 A k − 1 k A_{k-1}^k Ak−1k
        
        KaTeX parse error: Undefined control sequence: \matrix at position 20: …k-1}^k= \left[ \̲m̲a̲t̲r̲i̲x̲{ M_{2*2} \mid …
      4. 采用稀疏配准技术可忽略场景中的动态运动目标
  - 首先利用光流计算出转化矩阵
  - 再通过转化矩阵进行调整状态向量X
  - 再进行卡尔曼预测进行跟踪
- IOU与reid进行融合
  - reid 首先进行指数平滑：
    - e i k = α e i k − 1 + ( 1 − α ) f i k e_i^k=\alpha e_i^{k-1}+(1-\alpha)f_i^k eik=αeik−1+(1−α)fik
    - f i k f_i^k fik是指现在求解出来的轨迹 α \alpha α设置0.9
  - 常规的外观特征 A a A_a Aa与运动特征 A m A_m Am融合方法
    - C = λ A a + ( 1 − λ ) A m C=\lambda A_a+(1-\lambda)A_m C=λAa+(1−λ)Am
    - 其中 λ \lambda λ通常设置为0.98
  - 新的关联矩阵C
    - d ^ i , j c o s = { 0.5 ⋅ d i , j c o s , ( d i , j c o s < θ e m b ) ⋀ ( d i , j i o u < θ i o u ) 1 , o t h e r w i s e \hat{d}_{i,j}^{cos}= \begin{cases} 0.5 \cdot d_{i,j}^{cos},(d_{i,j}^{cos}<\theta _{emb})\bigwedge(d_{i,j}^{iou}<\theta _{iou})\\ 1,\rm{otherwise} \end{cases} d^i,jcos={0.5⋅di,jcos,(di,jcos<θemb)⋀(di,jiou<θiou)1,otherwise
    - C i , j = m i n { d i , j i o u , d ^ i , j c o s } C_{i,j}=min\{d_{i,j}^{iou},\hat{d}_{i,j}^{cos}\} Ci,j=min{di,jiou,d^i,jcos}
    - 其中 C i , j C_{i,j} Ci,j是C矩阵中的i，j的位置的值
实验部分
1. 检测网络使用YOLOX
2. 特征提取采用SBS-50模型，自己训练的
3. cMOTA被提出使用
疑惑点
- 这个解释为更加容易跟踪，但是也是不一定对的，这样有可能增加误差。
疑惑点
- [外链图片转存中…(img-EnWvHjaa-1658459159605)]
- 这个解释为更加容易跟踪，但是也是不一定对的，这样有可能增加误差。

BoT-SORT: Robust Associations Multi-Pedestrian Tracking相关推荐

【论文-目标追踪】BoT-SORT: Robust Associations Multi-Pedestrian Tracking
基本信息 BoT-SORT: Robust Associations Multi-Pedestrian Tracking paper code(论文基于YOLOX.代码还增加了YOLOv7) 原rep ...
【论文阅读5】BoT-SORT：Robust Associations Multi-Pedestrian Tracking
[论文阅读5]BoT-SORT:Robust Associations Multi-Pedestrian Tracking 和OC-SORT类似,BoT-SORT也是对Kalman滤波进行改进.OCS ...
BoT-SORT: Robust Associations Multi-Pedestrian Tracking 论文详细解读
BoT-SORT: Robust Associations Multi-Pedestrian Tracking 论文详细解读文章目录 BoT-SORT: Robust Associations Mu ...
多目标追踪——【两阶段】BoT-SORT: Robust Associations Multi-Pedestrian Tracking
目录文章侧重点流程框架运动模型卡尔曼滤波模型相机建模文章链接:BoT-SORT: Robust Associations Multi-Pedestrian Tracking提取码:qqzd ...
多目标跟踪之Sort:SIMPLE ONLINE AND REALTIME TRACKING
SORT:SIMPLE ONLINE AND REALTIME TRACKING Alex Bewley†, Zongyuan Ge†, Lionel Ott⋄, Fabio Ramos⋄, Ben ...
Deep SORT: Simple Online and Realtime Tracking with a Deep Association Metric（论文阅读笔记）（2017CVPR）
论文链接:<Deep SORT: Simple Online and Realtime Tracking with a Deep Association Metric> ABSTRACT ...
Robust Scale-Adaptive Mean-Shift for Tracking
目录核密度估计KDE: Mean Shift: ASMS: [ Robust Scale-Adaptive Mean-Shift for Tracking]论文阅读笔记背景:基于均值偏移的目标跟踪 ...
【笔记】文献阅读[SORT]-SIMPLE ONLINE AND REALTIME TRACKING
SORT: SIMPLE ONLINE AND REALTIME TRACKING 引言 2 文献综述 3 方法 3.1 检测 3.2 评估模型 3.3 数据关联 4 实验 4.1 指标 4.2 性能 ...
【文献阅读笔记】BoT-SORT: Robust Associations Multi-Pedestrian Tracking
BoT-SORT论文阅读摘要这篇文章提出一种新的鲁棒性前端跟踪器,结合了运动motion和外观appearance信息的优势,加入了相机运动补偿,以及更准确的卡尔曼滤波状态向量. 1.introd ...

BoT-SORT: Robust Associations Multi-Pedestrian Tracking

BoT-SORT: Robust Associations Multi-Pedestrian Tracking

BoT-SORT: Robust Associations Multi-Pedestrian Tracking相关推荐

最新文章

热门文章