SINT++论文笔记

SINT++是cvpr2018的一篇关于深度学习在目标跟踪的应用的论文，在这篇文论中，作者认为深度学习在实际目标追踪中存在训练数据不足的问题，由此提出基于SINT的优化算法SINT++。深度学习开始引入目标跟踪领域时，无论是在Success plot of OPE还是Precision plot of OPE结果图上都取得可观的实验结果，之后得到很多人的关注。近年来，目标跟踪比较主流的两个方向是基于相关滤波的目标跟踪方法和基于深度学习的目标跟踪方法，相较于传统的追踪方法，相关滤波在实际的视觉跟踪中速度得到很大幅度的提升，而深度学习得到的深度特征比传统的手工特征更加精确，所以也有人后继将两者结合，比如ECO等。但是训练数据的不足是深度学习在目标跟踪领域的应用中一直在攻克的难题，在这方面，研究者们不断提出新的策略。

SINT++认为单纯的扩大数据集并不能有效提高跟踪器的鲁棒性，原因是即使数据集足够大也很难包含非常稀少的目标遮挡的情况，这个稀少的情况在A-Fast-RCNN一文中有提及。因此，SINT++提出如何让强化学习来丰富训练数据提高追踪的鲁棒性。该文整体上分为三个主要框架：

1）Positive sample generation(PSGN)

2)Hard positive transformation generation network(HPTN)

3)Siamese instance search network（SINT）

该文搭建的第一个网络是PSGN，作者假设目标是在流行结构中，基于这个情况，采用VAE方法，生成多样化的正样本。在HPTN网络中，针对实际目标跟踪过程中出现的遮挡和形变问题，使用强化学习来生成hard positive sample，设计这个网络的主要目的就是增加整个SINT++算法中追踪器的鲁棒性。HPTN具体需要解决的两个问题就是，如何决定遮挡目标的区域和用于遮挡目标的区域补丁该取自背景的哪个区域，此过程涉及到马尔可夫决策过程和深度Q网络（DNQ），马尔可夫决策过程则是基于代理的自身状态和环境采取动作，并根据反馈找出最优策略，此过程是理论上使用贝尔曼最优方程组，其中包括状态价值函数和动作价值函数；直到反馈值为0时，终止动作产生，指明找到了我们需要的遮挡区域。而训练hard positive sample生成网络采用的算法就是DQN,其中在为每个状态选择一个执行动作所采用的方法是贪心策略。

SINT++是基于SINT算法的基础上实现的，与对抗网络相比，SINT++有两个优点，第一，提出了基于结构流遍历而产生多样性的正样本，这在目前已有的扩增训练数据方法中首次出现。并通过VAE产生模糊样本，这有助于在训练模型的过程中增加跟踪器对目标产生运动模糊情况的鲁棒性。第二，文中指出强化学习产生的hard positive sample 比对抗网络的dropout产生的hard positive sample更加符合现实中目标跟踪出现的遮挡情况。

但是SINT++整个实现过程比较复杂，这与VITAL相比，计算的复杂性较大，VITAL目前是继ECO以来在实际目标跟踪中更优的方法。

以上如有什么不妥之处，欢迎大家指正。

SINT++论文笔记相关推荐

ORB-SLAM3 论文笔记
ORB-SLAM3 论文笔记这篇博客 ORB-SLAM3系统相机模型的抽象(Camera Model) 重定位的问题图片矫正的问题视觉惯性SLAM的工作原理相关公式 IMU初始化跟踪和建图 ...
【论文笔记】 LSTM-BASED DEEP LEARNING MODELS FOR NONFACTOID ANSWER SELECTION
一.简介这篇论文由IBM Watson发表在2016 ICLR,目前引用量92.这篇论文的研究主题是answer selection,作者在这篇论文基础上[Applying Deep Learnin ...
最新图神经网络论文笔记汇总（附pdf下载）
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货 [导读]近年来,图神经网络变得非常火热,每年顶会在该领域内都会出现大量的研究论文,本文为大家提 ...
[论文笔记] Fast Quality Driven Selection of Composite Web Services (ECOWS, 2006)
Time: 4.0 hours Jae-Ho Jang, Dong-Hoon Shin, Kyong-Ho Lee, "Fast Quality Driven Selection of Co ...
论文笔记之：Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning
论文笔记之:Action-Decision Networks for Visual Tracking with Deep Reinforcement Learning 2017-06-06 21: ...
光流速度_[论文笔记] FlowNet 光流估计
[论文笔记] FlowNet: Learning Optical Flow with Convolutional Networks 说在前面个人心得: 1. CNN的光流估计主要是速度上快,之后的v ...
论文笔记《Maxout Networks》《Network In Network》
原文出处:http://zhangliliang.com/2014/09/22/paper-note-maxout-and-nin/ 论文笔记 <Maxout Networks> & ...
论文笔记：HKMF-T: Recover From Blackouts in TaggedTime Series With Hankel Matrix Factorization
论文笔记:Hankel Matrix Factorization for Tagged Time Series to Recover Missing Values during Blackouts_U ...
论文笔记 A Spatial-Temporal Decomposition Based Deep Neural Network for TimeSeries Forecasting
0 abstract 空间时间序列预测问题出现在广泛的应用中,如环境和交通问题.由于存在特定的空间.短期和长期模式,以及维度的诅咒,这些问题具有挑战性. 在本文中,我们提出了一个用于大规模空间时间序列 ...
论文笔记：Autoregressive Tensor Factorizationfor Spatio-temporal Predictions
0 摘要张量因子tensor factorization分解方法在时空数据分析领域很受欢迎,因为它们能够处理多种类型的时空数据,处理缺失值,并提供计算效率高的参数估计程序. 然而,现有的张量因子分解 ...

SINT++论文笔记

SINT++论文笔记相关推荐

最新文章

热门文章