关于Siamese FC 的理解

摘要

1.传统上的目标跟踪解决：使用单一视频学习外观模型，（目标在视频会改变，特征也在改变特征提取太单一了）进行目标在线更新，这限制了学习模型的丰富性。2.决定采用深度学习的表达能力，但是深度学习在线更新时采用SGD更新权重，影响目标跟踪的速度。3.于是采用离线训练，即在测试的过程中，权重不会更新，训练就把它训练好，并且采用端到端方式（从输入一张图片到输出结果，不必借助中间的特征环节，方便，速度快），还采用了全卷积（就算搜索图片和目标图片大小不一致，也没有关系）和Siamese网络（共享权重，特征处理方式相同）

结构

Z:在测试中表示目标样本的第一帧，训练的话就是第T帧
X：搜索区域，它是以在scone map预测的最大分数为中心，映射到图片上还是255×255，如果超过图片，则需要用平均像素填充（可否考虑二者调过来，即训练的时候视频X的帧数不一定要在Z之后）
φ：代表相同的卷积操作，对应最后的卷积核。baseline的Alexnet(去掉padding）
*：代表目标样本的卷积核在模板样本图片上进行相似度量，结果输出为score map，相似度量函数：

                       f(z,x)=φ(z)∗φ(x)+b1

具体f如何度量未知，b1为score map的每个位置的具体值（没懂），不知道为什么加上去，分数都上升了？加强loss计算么？

假设（局限性）

1.Siamese全卷积假设：应该满足这样的变换，L(T)是变化操作，u代表搜索图片的各个位置，x代表搜索图片区域，
L(Tx)[u]=x[u-T]
代表着目标在搜索区域的平移操作假设
2.函数h是特征h(Lkτx)=L τ h(x）代表分数图与原图的操作
（这一块不太明白）
3.

训练损失函数

损失函数设计：
L(y,v)=log(1+exp(-yv))
其中y代表真实标签，v代表预测得到的分数，y只取1 和 -1，即是不是真实目标，判断的标准为

          Y=1,当k|U-C|<=RY=-1,others

公式U代表分数图上的位置，C代表标签在score map的位置，K代表着步伐，即下采样的步伐，R是一个固定参数，通过设计会使损失函数最小。当然平均损失函数应该等于总的损失函数除以score map上的各个位置。

固定的图片大小尺寸

在训练的时候，对于目标模板，只需要以目标点为中心，裁剪127127的图片大小，而对于搜索样板，则之后的帧以目标为中心，裁剪255×255的图片大小，若超出图片范围，则用平均像素来填充。
s(w+2p)×s(h+2p)=A
上式代表了如何填充与缩放的细节,s为缩放细节，w\h分别为宽度和高度，p为padding，A为设计面积，准则是保持目标长宽比不变。

实验细节

1.梯度下降采用SGD
2.用高斯分布初始化参数（w）
3.训练50组，每个组有50,000个样本对(目标与对象对）
4.mini-batch等于8，每批有8对
5.学习率从10−2 衰减到 10−8 ，四次大循环
Tracking
1.初始目标的特征提取 φ(z) 只计算一次
2.用双三次插值将score map从 17×17 上采样到 272×272
3.对目标进行5种尺度来搜索（1.025{−2,−1,0,1,2} ）（应对目标变化太大的一个措施，相当于提取anchor 的操作）
4.目标图像在线不更新，因为对于CNN提取的是高层语义特征，不会像HOG或CN这些浅层特征苛求纹理相似度。（如跟踪目标是人，不论躺着或站着，CNN都能“认出来”这是人，而纹理特征如HOG或conv1可能完全无法匹配）
5.跟踪效率：3尺度86fps，5尺度58fps （NVIDIA GeForce GTX Titan X and an Intel Core i7-4790K at 4.0GHz）
————————————————
版权声明：本文为CSDN博主「六月的雨唯你」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/u013187057/article/details/84893307

数据准备

构建的样本对是目标区域和搜索区域，会使许多搜索区域U被判定为负样本。造成训练样本不平衡。导致学习到东西有偏差。训练的数据集为ILSVRC15,

余玄窗

本质是弱化边缘效应，突出目标中心（具体还不了解），作用在score map 上面。

双插值

Siamese FC相关推荐

单目标跟踪算法：Siamese RPN论文解读和代码解析
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者:周威 | 来源:知乎 https://zhuanlan.zhihu.com/p/16198364 ...
超实时性单目标跟踪网络——Siamese RPN(CVPR2018 spotlight论文)
今年sensetime在CVPR上的表现力压国内其他科研机构,直逼谷歌.以44篇论文(3oral,11spotlight,28poster)在国内一骑绝尘.其中有一篇北航大四学生李博为一作的论文Sia ...
【CV夏季划】告别入门，提升眼界，从掌握最有价值的那些CV方向开始
有三AI CV夏季划是言有三亲自一对一带领的深度学习和计算机视觉学习计划,目标是在新手入门的基础之上,掌握最有价值的若干CV方向,同时提升工程代码经验.学习不限时间,答疑永久有效,2021年农历年后截 ...
基于孪生网络的跟踪算法汇总
目录 1 SINT--[论文链接](https://arxiv.org/pdf/1605.05863.pdf)--[项目链接](https://taotaoorange.github.io/proje ...
siamese网络_CVPR 2019手写签名认证的逆鉴别网络
点击我爱计算机视觉标星,更快获取CVML新技术本文简要介绍CVPR2019论文"Inverse Discriminative Networks for Handwritten Signat ...
Siamese Network (应用篇5) ：孪生网络用于跟踪 CVPR2016
参看论文:Tao R, Gavves E, Smeulders A W, et al. Siamese Instance Search for Tracking[J]. computer vision ...
论文解读：ChangeFormer | A TRANSFORMER-BASED SIAMESE NETWORK FOR CHANGE DETECTION
论文地址:https://arxiv.org/pdf/2201.01293.pdf 项目代码:https://github.com/wgcban/ChangeFormer 发表时间:2022 本文提出 ...
Siamese+LSTM+Distance(abs)
Siamese+LSTM 网络结构模块孪生网络首先要理解什么是孪生网络模块,我们在词嵌入和编码(LSTM)过程中使用的是相同的参数,比如说我下面的代码中,在编码阶段,对于两个句子的输入,我都使用了 ...
Learning Attentions: Residual Attentional Siamese Network for High Performance Online Visual Track笔记
该文是注意力机制应用的巅峰.简单的说本文就是:Siamese+CSR-DCF 该文首先对SRDCF.CSR-DCF等使用了特征加权的非深度学习方法和SimaseFC等的深度学习方法进行了介绍,指出非深 ...

Siamese FC