【ECCV2020】Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation

论文：https://arxiv.org/abs/2003.08866

代码：https://github.com/zdaxie/SpatiallyAdaptiveInference-Detection

这个论文的关键词是动态网络。如下图所示，动态网络目标是可以对简单和困难的样本分别采用不同的网络进行推理。对于简单样本采用小网络，对于困难样本采用大网络，这样可以有效降低计算中的冗余。

这篇论文就是研究动态网络，只对输入feature map部分特征进行卷积，其余部分特征可以通过预测来生成，从而有效减少计算量。论文的整体架构如下图所示，包括两个步骤：

第一步：生成 sample mask MMM，采样一部分点，只在采样的点上进行卷积；
第二步：feature map 上剩余的点，通过插值来生成。

第一步里，如何生成 MMM 矩阵是一个关键问题，最简单的方法就是定义一个阈值，大于阈值的点就是显著点，很多方法都是这么做的（下图左列所示）。但是作者认为，这样选出来的点，还会存在冗余，因为距离近的点，特征是相似的，还可以再少取一些（sparse sampling）。因此，作者提出使用 Gumbel-Softmax distribution 生成矩阵MMM。（具体可以参考作者论文，这里不再多说）

第二步里，如何插值生成新的 feature map 是很关键的，作者在局部窗口内，用采样元素加权来计算未采样元素的值。加权方法可以有三种方法，Average pooling, conv, 和 RGF kernel ，作者也利用实验进行了选择。

在实际应用中，可以将 3x3 卷积层替换为这个方法，在ResNet中应用时，有三种方式，三个卷积共用一个 mask ，计算效率最高，但效果最差。经过实验，作者最终选择下图中第二个方案。

【ECCV2020】Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation相关推荐

【ECCV2020】接收论文列表part1
ECCV2020将于2020年8月23-28日在线上举行,今年共接受了1361篇论文,本文是接收论列表的第一部分,第二部见链接 Paper ID Paper Title Category 267 Qu ...
【ECCV2020】Spatio-Temporal Graph Transformer Networks for Pedestrian Trajectory Prediction
[ECCV2020]用于行人轨迹预测的时空图 Transformer 网络摘要了解人群运动动力学对于现实世界的应用至关重要,例如监控系统和自动驾驶.这是具有挑战性的,因为它需要对具有社会意识的人群 ...
【机器学习】用特征量重要度(feature importance)解释模型靠谱么？怎么才能算出更靠谱的重要度？
[机器学习]用特征量重要度(feature importance)解释模型靠谱么?怎么才能算出更靠谱的重要度? 我们用机器学习解决商业问题的时候,不仅需要训练一个高精度高泛化性的模型,往往还需要解释哪 ...
【ECCV2020】完整论文集part2
ECCV2020将于2020年8月23-28日在线上举行,今年共接受了1361篇论文,本文是接收论列表的第二部分,第一部见链接 Paper ID Paper Title Category 2515 T ...
git修改commit注释_【Slog】Git之多人同feature的同分支开发
抛出问题多人对同一feature分支进行开发如何最有效.简洁? 这是最近我一直在思考的问题.这个场景有什么问题呢?先来看看通常的做法.一般一个人会对应一个分支来对feature进行开发,与IT不同的 ...
【译文】Local Intensity Order Pattern for Feature Description
在上一篇文章[特征检测]LIOP特征描述算法中讲到了LIOP描述符,下面我将原文翻译如下,如有出入请以原文为准. ------------------------------------------- ...
【Transformer】AdaViT: Adaptive Tokens for Efficient Vision Transformer
文章目录一.背景二.方法三.效果一.背景 Transformer 在多个任务上都取得了亮眼的表现,在计算机视觉中,一般是对输入图像切分成多个 patch,然后计算 patch 之间的自注意力实 ...
【Transformer】ATS: Adaptive Token Sampling For Efficient Vision Transformers
文章目录一.背景二.动机三.方法 3.1 Token Scoring 3.2 Token Sampling 四.效果一.背景尽管现有的 transformer 模型在分类等任务上取得了较好的 ...
【GCN】《Adaptive Propagation Graph Convolutional Network》（TNNLS 2020）
<Adaptive Propagation Graph Convolutional Network>(TNNLS 2020) 为每个节点赋予一个停止单元,该单元输出一个值控制Propaga ...

【ECCV2020】Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation

【ECCV2020】Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation相关推荐

最新文章

热门文章