Anchor DETR

Anchor DETR: Query Design for Transformer-Based Detector

（2021.9）

1.DETR的object query是学习的，没有物理意义也不能解释每个query注意哪。作者认为学习出来的object query不能关注特定的区域。本文提出来，object query的是基于anchor point的，这种设计下，每个object query只关注anchor点周围的目标，另外，每个object query可以在一个位置上预测多个目标(多模式)。

2.设计了一种注意力变体，可以减少内存成本。

Introduction

本文基于DETR做改进，肯定得先说一下DETR的优点就是一个可学习的object query集合来推理目标物和全局图像的关系。然后转折，说DETR局限了，也就是学习到的object query难以解释，也不能关注特定位置。

这幅图来自DETR原文，每个图像代表一个object query，点代表最后预测到的目标的位置，可以看到，各个关注的区域很大。没有关注特定位置所以限制了效果。

Motivation

回顾了CNN-based检测器，anchors包含可解释的物理信息并且对位置高度关联。所以提出了基于anchor point的新颖的query设计。我们编码anchor point的坐标作为object query，这样object query就有明确的物理意义了。

让每个object query关注特定位置，会带来问题：一个object query只能预测一个目标，如果那个location有多个目标物呢？作者给出解答：可以让其他的object query协助预测啊，可以让每个object query负责较大区域啊。

所以object query设计，对每个anchor point添加了多个模式，使每个anchor point可以预测多个目标。上图中分别表示三种模式的预测结果分布，能看出关注在anchor point周围。

设计了一种注意力变体-- Row-Column Decouple Attention (RCDA)。

它将2D的key feature解耦成1D的行特征和1D的列特征，然后依次进行行注意与列注意。RCDA可以在保障性能前提下减少内存成本。

Method

Anchor Points

Cnn-based检测器中，anchor point总是在feature map的相应位置。但在transformer-based检测器中更灵活，anchor point可以是被学习的点，均匀的网格点，或者其他人工划分的点。本文选择前两者。

均匀划分的点；（b）随机初始化，采用0-1的均匀分布并可以学习的点。

有了anchor point，预测边界框的中心位置(ˆCx，ˆCy)将被添加到相应的anchor point作为最终预测，就像在Deformable DETR中一样

Attention Formulation

下标f表示特征，p表示position embedding。

DETR的decoder有两种：self-attention & cross-attention。

Self-attention中：Kf和Vf与Qf相同；Kp和Qp相同。

Anchor Points to Object Query

（2）式中Qp是可学习的编码（in DETR），但是，本文提出了新的object query设计方式。

Multiple Predictions for Each Anchor Point

Row-Column Decoupled Attention

通过1-D全局平均池化，将wh*c的key-feature解耦成w*c 与 h*c。

Experiments

Anchor DETR相关推荐

旷视孙剑团队提出Anchor DETR：基于Transformer的目标检测新网络
开放了预训练,r50 400多m 写在前面在本文中,作者提出了一种基于Transformer的目标检测器.在以前基于Transformer的检测器中,目标的查询是一组可学习的embedding.然而 ...
多快好省的目标检测器来了，旷视孙剑团队提出Anchor DETR：基于Anchor Point的DETR
作者丨小马编辑丨极市平台本文原创首发于极市平台公众号,转载请获得授权并标明出处. [写在前面] 在本文中,作者提出了一种基于Transformer的目标检测器.在以前基于Transformer的检 ...
高效！Anchor DETR：旷视提出一种基于Transformer的目标检测神器！
点上方计算机视觉联盟获取更多干货仅作学术分享,不代表本公众号立场,侵权联系删除转载于:Sophia知乎 https://zhuanlan.zhihu.com/p/412738375 985人工智能 ...
DAB-DETR: DYNAMIC ANCHOR BOXES ARE BETTER QUERIES FOR DETR翻译
点击下载论文代码摘要我们在本篇论文中展示一种新颖的查询公式,即在 DETR上使用动态锚框 (DEtection TRansformer)并深入了解查询在DETR中的作用.这种新公式直接使用盒子坐 ...
DAB-DETR:Dynamic Anchor Boxes Are Better Queries for DETR阅读笔记
DAB-DETR阅读笔记 (一) Title (二) Summary (三) Problem Statement (四) Method 4.1 为什么位置先验能够加速训练? 4.2 本文的主要工作 4 ...
深度学习之目标检测（十一）--DETR详解
深度学习之目标检测(十一)-- DETR详解目录深度学习之目标检测(十一)-- DETR详解 1. 前言 2. DETR 框架 2.1 CNN Backbone 2.2 Transformer E ...
计算机视觉算法——基于Transformer的目标检测（DETR / Deformable DETR / DETR 3D）
计算机视觉算法--基于Transformer的目标检测(DETR / Deformable DETR / DETR 3D) 计算机视觉算法--基于Transformer的目标检测(DETR / Def ...
DETR系列大盘点 | 端到端Transformer目标检测算法汇总！
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心[目标检测]技术交流群后台回复[2D检测综述]获取鱼眼检测.实时检测.通用2D检测等近 ...
DN-DETR: Accelerate DETR Training by Introducing Query DeNoising
文章目录 DN-DETR: Accelerate DETR Training by Introducing Query DeNoising Abstract 1.Introduction 2. Rel ...