GCT: Graph Convolutional Tracking

摘要

传统的Siamese网络在不同的上下文语境下没有充分利用目标的时空信息，当目标发生形变或面对背景干扰等挑战时，跟踪器无法有效地识别目标和背景。因此，本文首次将图卷积网络GCN引入到Siamese网络中，充分利用若干历史帧的时空信息和当前帧的上下文信息。该图卷积跟踪网络GCT包括两个图结构，分别是时空图卷积网络ST-GCN和上下文图卷积网络CT-GCN，前者通过对以往若干模板帧的学习得到基于时空信息的模板特征ST-Feature，该特征与当前帧的上下文特征进行element-wise addition后输入CT-GCN，输出的自适应特征与当前帧进行互相关操作，即可得到最终的响应图。

背景

基于Siamese网络的跟踪算法在线跟踪中不根据目标的变化进行自适应更新，因此当目标发生形变或面对光照变化、背景干扰等挑战时，简单的互相关操作无法跟踪模板帧目标特征在当前帧中识别目标。因此，本文提出利用历史帧的时空信息和当前帧目标的上下文信息来自适应学习目标外观变化。此外，作者也指出，本文是第一篇将图卷积网络GCN应用到基于Siamese网络的跟踪算法的论文。

贡献

本文的网络结构如上图所示，主要工作就是在Siamese网络框架中利用GCN学习目标的时空信息和上下文信息。

关于时空信息的建模：本文利用若干连续历史帧的特征信息，在每一帧将feature map进行分块处理，挖掘每一帧特征的空间信息。在图结构中如果将每一帧中不同空间位置的特征建模为顶点，那么连接顶点间的边可以大致分为两类：其一，在每一帧中连接不同空间位置特征的spatial edge，在论文中作者表述为intra-exemplar connection；其二，连接不同历史帧中相同空间位置特征的temporal edge，在论文中作者表述为inter-exemplar connection，这样，目标的时空信息就通过一个3D图结构完成了建模，稀疏的图结构有效地降低了计算复杂度

GCT: Graph Convolutional Tracking相关推荐

CVPR 2019 GCT:《Graph Convolutional Tracking》论文笔记
目录简介动机贡献方法实验理解出错之处忘不吝指正. 简介本文出自中科院自动化所,模式识别国重. 文章链接代码链接动机使用Siamese结构做目标跟踪一直存在一个问题,即:当目标被遮挡 ...
SiamGAT：Graph Attention Tracking
Abstract 基于孪生网络的跟踪器将视觉跟踪任务描述为相似度匹配问题.几乎所有流行的孪生跟踪器都是通过目标分支和搜索分支之间的卷积特征互相关来实现相似学习的.然而,由于需要预先确定目标特征区域的大 ...
图融合GCN（Graph Convolutional Networks）
图融合GCN(Graph Convolutional Networks) 数据其实是图(graph),图在生活中无处不在,如社交网络,知识图谱,蛋白质结构等.本文介绍GNN(Graph Neural ...
Graph Convolutional Neural Networks for Predicting Drug-Target Interactions
1. 摘要 2. 数据集 DUDE数据集改进 DUDE-chemBl负样本数据集最大无偏数据集(MUV) 3. 图构建 pocket graph molecuar graph 4. 口袋pretra ...
论文笔记 Inter-sentence Relation Extraction with Document-level Graph Convolutional Neural Network
一.动机为了抽取文档级别的关系,许多方法使用远程监督(distant supervision )自动地生成文档级别的语料,从而用来训练关系抽取模型.最近也有很多多实例学习(multi-instanc ...
Semi-Supervised Classification with Graph Convolutional Networks
Kipf, Thomas N., and Max Welling. "Semi-supervised classification with graph convolutional netw ...
pytorch 笔记：复现论文 Stochastic Weight Completion for Road Networks using Graph Convolutional Networks
1 理论部分论文笔记:Stochastic Weight Completion for Road Networks using Graph Convolutional Networks_UQI-LI ...
论文笔记：Stochastic Weight Completion for Road Networks using Graph Convolutional Networks
ICDE2019 pytorch 笔记: 复现论文 Stochastic Weight Completion for Road Networks using Graph Convolutional N ...
论文笔记：Semi-Supervised Classification with Graph Convolutional Networks
Semi-Supervised Classification with Graph Convolutional Networks 1.四个问题要解决什么问题? 半监督任务.给定一个图,其中一部节点已 ...

GCT: Graph Convolutional Tracking

摘要

背景

贡献

GCT: Graph Convolutional Tracking相关推荐

最新文章

热门文章