BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View

Paper name

Paper Reading Note

URL: https://arxiv.org/pdf/2112.11790v1.pdf

TL;DR

提出了一种在 BEV 视角下检测 3d 物体的方法，主要是在 LSS（lift, splat, shot）基础上增加 CenterPoint 的 head 进行 3d 检测，另外增加了 BEV 空间的数据增广，在 nuscenes 上取得了 sota 效果

Introduction

提出了一种在 BEV 视角下检测 3d 物体的方法，包含以下模块
- an image-view encoder：编码图像视角的特征
- a BEV encoder：编码 BEV 视角下的特征
- a view transformer：将图像视角转换到 BEV 视角下
- a task-specific head：预测 BEV 下的目标
设计了一种独特的在 BEV 视角下的数据增广方法实现多相机视角下的 3d 物体检测
能在降低计算量的同时提升精度
- 输入尺寸 704x256，mAP 29.4%，NDS 38.4%，239.4 GFLOPs，7.3 FPS
- 输入尺寸 1408x512，mAP 34.9%，NDS 41.7%，601.4 GFLOPs， 2.3 FPS
  - 对比(FCOS3D)：输入尺寸 1600x900，mAP 29.5%，NDS 37.2%，2000 GFLOPs，1.7 FPS

Dataset/Algorithm/Model/Experiment Detail

实现方式

网络结构

Image-view Encoder
- backbone：使用 resnet 或 SwinTransformer
- FPN
- head： LSS
View Transformer（集成 LSS 的 view transformer）
- 基于图像特征预测 depth
- 基于预测的 depth 和图像特征 render 点云
- 竖直方向上做 pooling 得到 BEV 特征
BEV Encoder
- resnet + FPN-LSS
Heads
- task-specific head，这里复用 CenterPoint 的 head

数据增广策略

1. 图像域数据增广

view transformer 的转换方式如下

其中 I 是相机内参，d 是 depth
对于图像域做的数据增广，比如 flipping、cropping、rotating 都可以用一个 3x3的变化矩阵 A 表示；为了保证图像 pixel 和 3d 空间中对应点的一致性，对于做过图像域数据增广的样本需要在 view transformer 阶段将这部分增广补偿回来

所以在图像域做的数据增广并不会影响 BEV 下的空间分布

2. BEV 数据增广

在 BEV 下做了 flipping、scaling、rotating 的数据增广，作用域是 view transformer 的输出和 3d object gt

实验结果

nuscenes val 集精度对比

nuscenes test 集精度对比

输入尺寸是 2112x768

ablation 实验

Thoughts

主要是基于 LSS 改进得到，没有提出新的模块，取得了 nuscenes 上 sota 效果

BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View相关推荐

点云网络的论文理解（七）-Frustum PointNets for 3D Object Detection from RGB-D Data
名词解释 RGB:就是彩色图像. RGB-D:就是彩色图像外加一个深度,这个深度就是摄像头到那个东西的距离. 单目RGB-D:就是一个摄像头采集RGB-D数据双目RGB-D:就是两个摄像头一起采集R ...
【论文阅读】【综述】3D Object Detection 3D目标检测综述
目录写在开头 3D Object Detection 相关博客: Sliding window Vote3Deep: Fast Object Detection in 3D Point Clouds ...
3D Object Detection 3D目标检测综述
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接: https://blog.csdn.net/wqwqqwqw1231/articl ...
论文精读《BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View》
BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View 文章目录 BEVDet: High-Perform ...
详解两阶段3D目标检测网络 Voxel R-CNN：Towards High Performance Voxel-based 3D Object Detection
本文介绍一篇两阶段的3D目标检测网络:Voxel R-CNN,论文已收录于AAAI 2021. 这里重点是理解本文提出的 Voxel RoI pooling. 论文链接为:https://arxiv. ...
【论文翻译】FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection
文章目录 PaperInfo Abstract 1 Introduction 2 Related Work 2D Object Detection Monocular 3D Object Detect ...
论文阅读笔记：(2021.10 CoRL) DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries
论文地址:DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries | OpenReviewWe introduc ...
CVPR2020论文解读：3D Object Detection三维目标检测
CVPR2020论文解读:3D Object Detection三维目标检测 PV-RCNN:Point-Voxel Feature Se tAbstraction for 3D Object Det ...
两阶段3D目标检测网络 SIENet: Spatial Information Enhancement Network for 3D Object Detection from Point Cloud
本文介绍一篇两阶段的3D目标检测网络:SIENet. 这里重点是理解本文提出的 Hybrid-Paradigm Region Proposal Network 和 Spatial Informatio ...

BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View

TL;DR

Introduction

Dataset/Algorithm/Model/Experiment Detail

实现方式

网络结构

数据增广策略

实验结果

nuscenes val 集精度对比

nuscenes test 集精度对比

ablation 实验

Thoughts

BEVDet: High-Performance Multi-Camera 3D Object Detection in Bird-Eye-View相关推荐

最新文章

热门文章