RoI Transformer: 将空间转换应用在RoIs上，并通过标注旋转框，监督学习得到转换参数。

RoI Transformer是轻量级的。

一、Introduction

（1）水平框检测会造成边界框和目标的不一致性，尤其是当目标密集分布时。

（2）由于航空影像目标方向的多样性，使用有限方向的RRoIs很难与所有的目标都正确匹配，并且多方向的RRoIs还会造成计算的高度复杂性。

（3）空间变换、形变卷积和RoI池化常被用来处理几何变形，并且不涉及标注的旋转边界框。

（4）在航空影像中，提取具有旋转不变性的区域特征，对于消除区域特征和目标的不匹配问题是非常重要的。

（5）本研究的主要内容：

提出了RoI Transformer的模块结构，通过标注RRoI的监督学习和基于位置敏感对齐的特征提取，旨在利用双阶段框架实现密集旋转目标的检测。

RRoI learner: 学习从HRoIs到RRoIs的转化

旋转位置敏感的RoI Align: 从RRoI中提取位置不变性特征用于后续分类和回归。

（6）本研究的主要成果：

提出了一个旋转RoI的监督学习器，可以将HRoIs转化到RRoIs。
设计了一个旋转位置敏感的RoI Align模块用于空间不变性特征提取，可以保证高效率和低复杂度。
在多个大型数据集上进行了旋转目标检测的测试，验证了RoI Transformer的有效性。

二、RoI Transformer

RRoI learner：位置敏感的RoI Align连接着一个五维的全连接层组成，用于HRoIs和地面真实旋转框的偏差回归。

RoI wrapping：对旋转区域的特征进行变形，是指具有旋转不变性。

1. RRoI Learner

目的：从HRoIs的特征图上学习到旋转的RRoIs。
方法：考虑到每个HHRoI是RRoI的外接矩形，可以使用全连接层从特征图Fi中推断出RRoIs的几何表示。
回归目标：

其中，(xr, yr, wr,hr, θr）表示RRoI，(x*, y*, w*, h*, θ*）表示地面标注RRoI。并且需要将全局坐标系转化为局部坐标系。h为短边，w为长边，到h的旋转角在 [0,Π) 之间。

采用Smooth L1作为回归的损失函数，获得从HRoI到RRoI的参数。

2. RRoI Warping

输入：尺寸为（H，W，K×K×C）的特征图D，RRoI（xr, yr, wr,hr, θr）
输出：RRoI被RPS RoI Align分割成K×K块，并输出大小为（K×K×C）的特征图y

3. RoI Transformer for Oriented Object Detection

RRoI earner和RRoI Warping构成了RoI Transformer(RT)，可以被用来取代普通的RoI wraping 操作
Polygons之间的IoU计算：RRoI和RGT面积的交并比，IoU大于0.5，则认为是True Positive。

回归计算目标：采用相对偏差，即将坐标系统与RRoI绑定，而不是针对图像进行偏移计算

【论文】Learning RoI Transformer for Oriented Object Detection in Aerial Images相关推荐

【CVPR 2020】Learning RoI Transformer for Oriented Object Detection in Aerial Images
介绍这篇文章是针对旋转框任务的: 摘要由于鸟瞰视角.高度复杂的背景和多变的物体外观,航拍图像中的目标检测是计算机视觉中一项活跃但具有挑战性的任务.许多检测方法依赖于通用目标检测中的水平候选框,而这 ...
【论文学习】Towards Accurate Oriented Object Detection in Aerial Images with Adaptive Multi-level Feature
AFF-Det: 通过自适应多级特征融合实现航空图像中的精确定向目标检测论文链接:<Towards Accurate Oriented Object Detection in Aerial I ...
【论文学习】MKIoU Loss: Towards Accurate Oriented Object Detection in Aerial Images
[论文学习]MKIoU Loss: Towards Accurate Oriented Object Detection in Aerial Images 在本文中,提出了一种近似 SkewIoU 的 ...
基于dota的目标检测（旋转框）论文阅读Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors
基于dota的目标检测(旋转框)|论文阅读Oriented Object Detection in Aerial Images with Box Boundary-Aware Vectors 文章目录 ...
【论文阅读】【3d目标检测】Behind the Curtain: Learning Occluded Shapes for 3D Object Detection
论文标题:Behind the Curtain: Learning Occluded Shapes for 3D Object Detection AAAI2022 南加大这篇文章的主题思想是认为现 ...
论文阅读-ViTDet：Exploring Plain Vision Transformer Backbones for Object Detection
目录 A.写在前面 B.有个工作我得说说 C.摘要拆分 D.先看看结果 E.代码细节 1.MaskRCNN部分的修改 2.数据增强部分 3.SFP的实现 F.参考文献 A.写在前面 ViTDet[1] ...
小目标检测论文笔记：Learning Calibrated-Guidance for Object Detection in Aerial Images
论文 Learning Calibrated-Guidance for Object Detection in Aerial Images paper:https://arxiv.org/abs/21 ...
Kaiming He论文阅读笔记二——Plain Vision Transformer Backbones for Object Detection
Kaiming在2022年发表了一篇Exploring Plain Vision Transformer Backbones for Object Detection. 文章的主要目的是追求一种包含较 ...
【论文总结】Towards Open World Object Detection（附翻译）
Towards Open World Object Detection 开放世界的目标检测论文地址:https://arxiv.org/abs/2103.02603 代码地址:GitHub - Jo ...

【论文】Learning RoI Transformer for Oriented Object Detection in Aerial Images