【目标跟踪】|SiamFC

2024-07-02 11:09:34

论文：Fully-Convolutional Siamese Networks for Object Tracking
代码：https://github.com/huanglianghua/siamfc-pytorch

我们训练了一个孪生网络以在更大的搜索图像中定位示例图像。进一步的贡献是相对于搜索图像完全卷积的新颖孪生体系结构：通过计算其两个输入的互相关性的双线性层实现了密集而有效的滑动窗口评估。

Z模板，x搜索区域，ϕ变换函数特征映射操作，g是简单距离或相似性度量

*代表卷积操作，得到一个17^17的score map，代表着search region中各个位置与模板相似度值。
将17×17的得分图进行双三次插值生成272×272的图像，来确定物体的位置。

算法本身是比较搜索区域与目标模板的相似度，最后得到搜索区域的score map。其实从原理上来说，这种方法和相关性滤波的方法很相似。其在搜索区域中逐个的对目标模板进行匹配，将这种逐个平移匹配计算相似度的方法看成是一种卷积，然后在卷积结果中找到相似度值最大的点，作为新的目标的中心。

上图所画的ϕ其实是CNN中的一部分，并且两个ϕ的网络结构是一样的，这是一种典型的孪生神经网络，并且在整个模型中只有conv层和pooling层，因此这也是一种典型的全卷积（fully-convolutional）神经网络。

离线提取每帧的示例图像和搜索图像，以避免在训练过程中调整图像大小。

特征提取网络 φ

φ所对应的特征提取网络采用的是AlexNet

输入

对于z
图像裁切方式为选取紧密边界框 ( w x h ) ，并多选取四周一定范围的像素 p 作为上下文边界， p 的计算方式为 p = ( w + h ) / 4 ，在乘上一个比例参数，变成 A ( 127 x 127 )

对于x
会从整张图片中裁剪出255×255的图片，裁剪的中心为上一帧预测的bounding-box的中心。

当模板图像 z 和搜索图像 x 不够裁剪时，缺少的部分将用平均RGB值填充。

损失函数

【目标跟踪】|SiamFC相关推荐

(一)Siamese目标跟踪——SiamFC训练和跟踪过程：从论文细节角度出发
SiamFC 简单介绍 SiamFC基于深度学习的方法在速度上已经超过传统的相关滤波算法,实时性极强.SiamFC基于孪生网络,该网络有两个输入,一个是模板样本Z,另一个搜索样本X.而在单目标跟踪任务 ...
智慧交通day04-特定目标车辆追踪03：siamese在目标跟踪中的应用-SiamFC(2016)
目标追踪任务是指在一个视频中给出第一帧图像的bbox的位置,在后续的帧中追踪该物体的任务. 目标追踪不同于目标检测的是: 1.需要给出首帧的标定框. 2.只需要给出标定框,后续的搜索范围往往在上一帧图 ...
SiamFC++，90 fps的单目标跟踪SOTA
点击我爱计算机视觉标星,更快获取CVML新技术本文源自知乎,经作者授权转载. https://zhuanlan.zhihu.com/p/93888180 AAAI 2020的审稿刚刚出炉,本文讨论一 ...
【目标跟踪 SOT】SiamFC -用于对象跟踪的全卷积孪生网络
SiamFC - 全卷积孪生网络 $背景知识 SOT(单目标跟踪)和MOT(多目标跟踪)的思想是,在视频中的某一帧中框出你需要跟踪目标的bounding box,在后续的视频帧中,无需你再检测出物体的 ...
目标跟踪论文（一）：SiamFC孪生网络
Fully-Convolutional Siamese Networks for Object Tracking 项目网页 http://www.robots.ox.ac.uk/~luca/siame ...
【CV】SiamFC：用于目标跟踪的全卷积孪生网络
论文名称:Fully-Convolutional Siamese Networks for Object Tracking 论文下载:https://arxiv.org/abs/1605.07648 ...
MAML-Tracker: 目标跟踪分析：CVPR 2020(Oral)
MAML-Tracker: 目标跟踪分析:CVPR 2020(Oral) Tracking by Instance Detection: A Meta-Learning Approach 论文链接:h ...
CVPR 2020目标跟踪多篇开源论文（下）
CVPR 2020目标跟踪多篇开源论文(下) Cooling-Shrinking Attack: Blinding the Tracker with Imperceptible Noises 作者团队 ...
MAML-Tracker：用目标检测思路做目标跟踪？小样本即可得高准确率丨CVPR 2020
来源 | 微软研究院AI头条(ID: MSRAsia) 编者按:目标检测与目标跟踪这两个任务有着密切的联系.针对目标跟踪任务,微软亚洲研究院提出了一种通过目标检测技术来解决的新视角,采用简洁.统一而高 ...
352万帧标注图片，1400个视频，亮风台推最大单目标跟踪数据集
CVPR 2019期间,专注于AR技术,整合软硬件的人工智能公司亮风台公开大规模单目标跟踪高质量数据集LaSOT,包含超过352万帧手工标注的图片和1400个视频,这也是目前为止最大的拥有密集标注的单 ...

最新文章

热门文章