CVPR-2016-SINT:Siamese Instance Search for Tracking阅读笔记
SINT阅读笔记
- 一、 动机
- 二、 贡献
- 三、 主要内容
- 四、 实验结果
- 五、 结论
论文地址: https://arxiv.org/pdf/1605.05863.pdf
论文代码地址: https://github.com/taotaoorange/SINT
一、 动机
建议学习匹配机制,而不是明确地为特定的行为建模
二、 贡献
① 建议从外部视频数据中学习一个用于跟踪的通用匹配函数,以稳健地处理一个对象在视频序列中可能经历的常见外观变化。学习到的函数可以不需要任何调整,直接应用到新的跟踪视频中。这些视频中的目标对象是之前没有看到过的目标对象。
② 在学习到的泛型匹配函数的基础上,提出了一种跟踪器,该跟踪器达到了最先进的跟踪性能。所提出的跟踪器与最先进的跟踪器有根本的不同。不使用模型更新,不使用遮挡检测,不使用跟踪器的组合,不使用几何匹配等。在每一帧中,跟踪器通过学习到的匹配函数,简单地找到与第一个帧中目标的初始补丁最匹配的候选补丁。
③ 为了学习匹配函数,专门为跟踪而设计了孪生网络。
④ 在没有任何漂移的情况下,提出的跟踪器有能力对长期消失的目标对象重新跟踪,因为其始终和第一帧的模板对比。
三、 主要内容
算法结构图:
SINT简单地将第一帧中目标的初始patch与新帧中的候选patch进行匹配,并通过学习匹配函数返回最相似的patch。匹配函数在一个丰富的视频数据集上学习一次。一旦它被学习,它就会被应用到以前看不见的目标对象的新视频中,而不需要任何调整。候选框的选择采用半径采样策略。更具体地说,就是围绕前一帧的预测位置,在不同半径的圆上均匀采样位置。搜索半径设置为第一帧中初始框的较长轴。同时,为了处理尺度变化,在每个采样点产生多个不同尺度的候选框(√2/2,1,√2)。
深受VGGNet启发的网络架构:
“conv”、“maxpool”、“roipool”和“fc”分别代表卷积层、最大池化层、感兴趣区域池化层和完全连接层。方括号中的数字是内核大小、输出数量和步长。完全连接的层有4096个单元。
网络架构:
作者设计并比较了两种不同的网络架构,一种是类似于AlexNet的小型网络架构,另一种是深受VGGNet启发的深度网络架构(上图)。这种架构可以兼容AlexNet和VGGNet。通过这种方式,可以使用imagenet预训练的AlexNet和VGGNet来初始化网络的权值,以避免从头开始训练(从头训练可能会导致过拟合)。另外,两个卷积网络分支共享参数,减少过拟合的危险。
最大池化层:
为了实现精确定位,设计的网络的最大池层非常少。对于类似AlexNet的小网络,不包括任何max pooling层,而对于类似VGGNet的大网络,只在早期阶段有两个max pooling层。因为最大池化只保留了来自局部邻近的最强激活以作为后续层的输入,激活的空间分辨率会大大降低,但最大池化层还有一个优点就是它引入了局部变形的不变性。
感兴趣区域池化层:
区域池化层能快速处理多个重叠区域。作者将感兴趣区域池化层合并到网络中,以便在一个帧中快速处理多个区域以进行跟踪,减少计算开销。
规范化层:
建议在损失层之前添加ℓ2规范化层。所述规范化层被应用于每一个被馈送到所述损失层并具有保持所述特征方向的特性的层激活,同时迫使来自不同尺度的特征位于同一单位上。这样就避免网络输出和损失函数受到所生成特征规模的严重影响。
以孪生网络为算法骨架的原因:
学习一个对各种扭曲都具有鲁棒性的匹配函数,需要一个对数据对(xj, xk)进行操作的模型,孪生网络体系结构被成功地证明在数据对上工作得很好。
损失公式:
D = ||f(xj)−f(xk)||2是归一化表示的欧式距离
yjk∈{0,1}表示xj 与xk是否为同一对象
ε是描绘不同对象的对应满足的最小距离边界。
选择与原始目标最匹配的候选框:
四、 实验结果
训练时,总共从ALOV数据集中采样了60000对帧,每对帧有128对boxs。验证时,我们收集了2000对帧,和训练一样,每一对帧包含128对boxs。
使用ImageNet预先训练好的网络参数对Siamese网络进行微调。初始微调学习率为0.001,权重衰减参数为0.001。学习速率每隔2个周期下降10倍。当验证损失不再减少时,停止调优。
网络结构设计选择实验依据:
在OTB中评估跟踪性能:
(SINT+:SINT的变体,使用了光流自适应候选采样策略)
五、 结论
本文提出了孪生实例搜索跟踪器SINT。它跟踪目标,简单地将第一帧中的初始目标与新帧中的候选目标进行匹配,并通过学习匹配函数返回最相似的一个。特别注意训练视频和任何用于评估的视频之间绝对没有重叠。也就是说,不对跟踪目标做任何预学习。一旦学习,匹配函数被使用,没有任何调整,以跟踪任意以前不可见的目标。
CVPR-2016-SINT:Siamese Instance Search for Tracking阅读笔记相关推荐
- CVPR 2016 SINT:《Siamese Instance Search for Tracking》论文笔记
理解出错之处望不吝指正. 本文模型叫做SINT,和Siamese-fc一样,通过相似学习解决跟踪问题(这篇论文的发表时间比Siamese-fc早).模型的整体结构如下: 跟踪过程 模型分为两路,左侧为 ...
- 目标跟踪“Siamese Instance Search for Tracking”
使用siamese深度网络,no model updating, no occlusion detection, no combination of trackers, no geometric ma ...
- 【目标跟踪】Long-term Correlation Tracking 阅读笔记
Long-term Correlation Tracking 论文地址: https://www.cv-foundation.org/openaccess/content_cvpr_2015/pape ...
- 《Regularized Evolution for Image Classifier Architecture Search》论文阅读笔记
AmoebaNet 这篇文章还是出自Google Brain,是对他们之前发表在CVPR2018的论文<Learning Transferable Architectures for Scal ...
- 【2D目标跟踪】SIMPLE ONLINE AND REALTIME TRACKING阅读笔记(2017)
1.为什么要做这个研究(理论走向和目前缺陷) ? 之前的算法MHT或者JPDA,虽然关联效果很不错,但是在密集.遮挡严重的场景计算复杂度大幅增加,无法实时. 2.他们怎么做这个研究 (方法,尤其是与之 ...
- 【2D多目标跟踪】Quasi-Dense Similarity Learning for Multiple Object Tracking阅读笔记
1.为什么要做这个研究(理论走向和目前缺陷) ? 之前的2D MOT里只用gt样本训练(基本沿用reid的训练所用的损失)embedding特征(记为reid特征).但是GT样本是稀疏的,没有充分利用 ...
- Fully-Convolutional Siamese Networks for Object Tracking全文翻译
Fully-Convolutional Siamese Networks for Object Tracking 摘要 任意对象跟踪的问题传统上通过仅在线学习对象外观的模型来解决,使用视频本身作为 ...
- SiamFC全文翻译:Fully-Convolutional Siamese Networks for Object Tracking
摘要 传统上,通过使用视频本身作为唯一的训练数据,专门在线上学习对象外观模型,可以解决任意对象跟踪的问题. 尽管这些方法取得了成功,但仅在线方法固有地限制了他们可以学习的模型的丰富性. 近来,已经进行 ...
- Fully-Convolutional Siamese Networks for Object Tracking翻译
摘要 传统上,任意对象跟踪的问题是通过专门在线学习对象外观模型来解决的,使用视频本身作为唯一的训练数据. 尽管这些方法取得了成功,但他们仅在线的方法本质上限制了他们可以学习的模型的丰富性.最近,已经进 ...
- CVPR 2016 摘要阅读
为了说明看过CVPR2016全部文章的摘要,总结一下,摘要只保留了创新点部分. ORAL SESSION Image Captioning and Question Answering Monday, ...
最新文章
- 微软:97%电子邮件属于垃圾邮件
- 20万Star的编程学习教程:让你的编码之路事半功倍!
- mysql 同步更新_MySQL slave 不能同步更新
- 自适应页面 移动端获取焦点自动放大_专业 | 惠检LIMS系统:手机移动应用(MA)...
- [AH/HNOI2017]大佬
- 数据结构与算法-----数据结构-----2-3-4树以及外部存储
- IS-IS和OSPFv2对比
- NJUPT_CTF easychallenge 解题脚本
- 系统架构设计:平滑发布和 ABTesting,你都会吗?
- 通达信公式改写成python代码
- IBM SL400驱动
- rtx服务器端消息监控插件,RTX2006消息监控插件
- bex5执行oracle语句,BeX5
- jmail组件 java,分享Jmail发送邮件工具类
- 图片处理-填充图片-numpy.pad
- 分频器的Verilog实现
- cwebp 命令大全
- SASAdvance认证考试要点
- win10驱动开发19——IRP同步
- 利用JavaScript实现发表、修改、删除评论
热门文章
- 【英语:语法基础】C7.日常对话-校园生活
- YOLO fastest cfg文件理解及注释
- 和亚马逊EC2服务器的第一次握手,注册篇(一)
- java求两个数的最大公约数_[Java]练习题006: 求两个数的最大公约数和最小公倍数...
- 构建之法第五六章读后感
- 4.1是否同一棵二叉搜索树
- 《Complete Guide to Value Investing》读书总结
- 7月12日MATLAB学习笔记
- 《暗黑世界V1.3》数据库表说明文档
- [架构师之路] 高可扩展表结构系列