3D检测中点云的表征方式总结（一）

1.RSN: Range Sparse Net for Efficient, Accurate LiDAR 3D Object Detection(cvpr2021)
2.PV-RCNN: Point-voxel feature set abstraction for 3D object detection(cvpr2020)
3.HVPR: Hybrid Voxel-Point Representation for Single-stage 3D Object Detection(cvpr2021)
4.HVNet: Hybrid Voxel Network for LiDAR Based 3D Object Detection(cvpr2020)
5.Cylindrical and asymmetrical 3D convolution networks for LiDAR segmentation(cvpr2020)
6.It’s all around you: Range-guided cylindrical network for 3D object detection
7.End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds
8.Pillar-based Object Detection for Autonomous Driving(eccv2020)
9.Every View Counts: Cross-View Consistency in 3D Object Detection with Hybrid-Cylindrical-Spherical Voxelization(nips2020)
10.Center-based 3D object detection and tracking
11. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation(cvpr2017).
12.SECOND: Sparsely Embedded Convolutional Detection.
13.VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection(cvpr2018).

1.RSN: Range Sparse Net for Efficient, Accurate LiDAR 3D Object Detection(cvpr2021)

数据集： Waymo datasets。
最终特征：voxel级别的特征（point pillar方式）。
先使用一个unet的分割网络，将点分成前景点和背景点，然后只用前景点（使后面的稀疏卷积更有效），使用pointpillar的表征提取方式，进入设计的稀疏网络。类别分开训练。

2.PV-RCNN: Point-voxel feature set abstraction for 3D object detection(cvpr2020)

数据集: kitti datasets。
最终特征：point级别的特征（融合了voxel级别的特征）。
先将原始点云提体素特征，分成H×W×C个格子，求mean，进入3D稀疏网络，进行不同倍数的下采样，然后在最后一个下采样上拍成bev，做一个ROI，得到候选框，以及前后背景。然后在原始点云上使用FPS进行点的采样，当做一个key point，将该点映射到不同下采样倍数的feature map上，得到该点在该feature map上的特征，将不同feature map上的该点的特征拼接起来，作为最后的feature map，是进行fps下采样后的point-wise的特征，根据前后背景点给予不同权重。

3.HVPR: Hybrid Voxel-Point Representation for Single-stage 3D Object Detection(cvpr2021)

数据集： kitti datastets。
最终特征：voxel级别的特征。
分别提取voxel级别和points级别的特征。voxel级别的特征采用point pillar的方式，以point net作为excoder得到voxel级别的特征。points是按照PointNet++的方式在点级别，使用3d卷积直接得到点的特征。然后将点的特征与voxel的特征进行点乘，得到一张相关性的map，根据相关性分数得到离某个voxel最近的k个点的特征，计算这k个点和这个voxel的匹配概率，然后将该概率乘以该点的特征赋予到该voxel作为最后的feature。最终的feature 是voxel级别，point-wise上的特征提取用的point net。具体实现是将voxel 以及其feature存到了memory中以为了更快，但是是在kitti上做的实验，kitti数据集较少，可以这么存，数据大了无法做到。

4.HVNet: Hybrid Voxel Network for LiDAR Based 3D Object Detection(cvpr2020)

数据集: kitti datasets。
最终特征：point级别的特征（融合了voxel级别特征）。
point-wise的特征提取就是xyz；voxel-wise的特征提取：在进行体素化的时候，使用了不同的尺寸，以得到不同粒度的特征。使用attention模块对不同尺度的voxel赋予不同的权重，然后将其进行拼接，同时拼接到voxel中对应的点上。生成伪图像特征图。

5.Cylindrical and asymmetrical 3D convolution networks for LiDAR segmentation(cvpr2020)

数据集：SemanticKITTI and nuScenes
最终特征：voxel级别的特征。
基于cylindrical坐标系下的点云分割。
具体的特征提取方式：
首先将点进行圆柱坐标系下的grid划分，通过半径，角度等参数完成；然后将全部点云进入多个MLP的操作（n*3的点云直接进入mlp），每个点保留在cyclindrical的坐标，然后将mlp过后的特征赋予到cyclidrical坐标下的每个cell里。得到cylindrical feature，应该属于voxel级别的feature吧

6.It’s all around you: Range-guided cylindrical network for 3D object detection

数据集：nuscense
最终特征：点特征和voxel级别的特征在特征层面上的融合。
特征级别的融合。全部点云的特征提取，再融合range view级别的特征。这里的range view是Cylindrical coordinates。
second基础上做的。全点云输入，用3d卷积处理，然后基于range的特征提取后输入，用3d卷积处理，在中间的主干网，两个方面的特征进行融合（相乘），然后用级联操作，concat到最后作为下一个block的输入。实验结果逊色于center point。基础代码也是在center point上操作的。

7.End-to-End Multi-View Fusion for 3D Object Detection in LiDAR Point Clouds

数据集：Waymo Open Dataset。
最终特征：point级别的特征。
bev坐标系和透视坐标系下的特征提取及融合。
首先在bev坐标系下进行体素的提取。然后用FC和maxpooling的方式得到voxel级别的特征（类似于point pillar），透视坐标系下的基于voxel级别特征提取方式一致，然后在点级别上进行concat，一对多的关系。最终的特征是点级别的特征。

8.Pillar-based Object Detection for Autonomous Driving(eccv2020)

数据集：Waymo Open Dataset。
最终特征：point级别的特征（融合不同view级别的voxel特征）。
Cylindrical坐标系和bev坐标系的融合。和7,做对比，以及和球体坐标系做对比，该方法效果较好。
分别在圆柱坐标系和bev坐标系下得到pillar的特征，然后使用最近邻或者是插值法赋予到对应的点上，然后将点再进行一次point pillar，拍成bev进入检测。点级别上对齐。

9.Every View Counts: Cross-View Consistency in 3D Object Detection with Hybrid-Cylindrical-Spherical Voxelization(nips2020)

数据集：NuScenes 3D detection dataset
该篇paper是发表在nips2020，主要的贡献是将多个view的特征进行融合，包括bev，mvf，cylindrical等，融合方式是在loss层面上。不过mAP表现不如it’s all around you,（test集上的map），不如center point。

10.Center-based 3D object detection and tracking

数据集：NuScenes 3D detection dataset
该篇paper的表征使用了point pillar和voxel net的表征提取方式，并将两种方法做对比。voxel net精度高于point pillar，但是复杂度也大于point pillar。

11. PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation(cvpr2017).

最终特征：point级别特征。
表征相关：
点云直接输入，经过一个mlp，核为（1,3），因为点是（x，y，z），然后经过各种转换，mlp，maxpooling后输出一个全局的feature map。

12.SECOND: Sparsely Embedded Convolutional Detection.

第一个提出稀疏卷积的paper
representation：划分voxel，用vfe对每个voxel提取特征（与voxelnet一样，也是pointnet），然后直接进入3d稀疏卷积，
rpn：使用类似ssd作为rpn，上采样之后concat在一起，后面跟一个1x1的conv分别展开不同的head任务。

13.VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection(cvpr2018).

representation：划分voxel，voxel中也进行sampling，然后对每个voxel经过一个point net提取局部特征，将局部特征拼接到每个point之后，然后过一个fc，一个maxpoolong得到voxel级别的特征，然后过一个3d卷积

3D目标检测中点云的表征方式总结（一）相关推荐

3D目标检测深度学习方法数据预处理综述
作者 | 蒋天元来源 | 3D视觉工坊(ID: QYong_2014) 这一篇的内容主要要讲一点在深度学习的3D目标检测网络中,我们都采用了哪些数据预处理的方法,主要讲两个方面的知识,第一个是rep ...
ECCV 2020论文大盘点-3D目标检测篇
随着自动驾驶的火热,3D目标检测在计算机视觉领域持续升温,学术和工业界都有众多研究学者,这其中基于点云数据的3D目标检测是主流,近年来基于单目RGB数据的也越来越多了.本部分总计 21 篇,1篇spo ...
从零实现一个3D目标检测算法（2）：点云数据预处理
在上一篇文章<从零实现一个3D目标检测算法(1):3D目标检测概述>对3D目标检测研究现状和PointPillars模型进行了介绍,在本文中我们开始写代码一步步实现PointPillars ...
动手学无人驾驶（4）：基于激光雷达点云数据3D目标检测
上一篇文章<动手学无人驾驶(3):基于激光雷达3D多目标追踪>介绍了3D多目标追踪,多目标追踪里使用的传感器数据为激光雷达Lidar检测到的数据,本文就介绍如何基于激光雷达点云数据进行3D ...
点云 3D 目标检测 - VoxelNet（CVPR 2018）
点云 3D 目标检测 - VoxelNet(CVPR 2018) 摘要 1. 引言 1.1 相关工作 1.2 贡献 2. VoxelNet 2.1 VoxelNet架构 2.1.1 特征学习网络 2. ...
一文尽览 | 基于点云、多模态的3D目标检测算法综述！（Point/Voxel/Point-Voxel）
点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心技术交流群后台回复[ECCV2022]获取ECCV2022所有自动驾驶方向论文! 目前 ...
3D目标检测（二）—— 直接处理点云的3D目标检测网络VoteNet、H3DNet
前言上次介绍了基于Point-Based方法处理点云的模块,3D目标检测(一)-- 基于Point-Based方法的PointNet点云处理系列,其中相关的模块则是构成本次要介绍的,直接在点云的基础 ...
点云 3D 目标检测 - CenterPoint：Center-based 3D Object Detection and Tracking（CVPR 2021）
点云 3D 目标检测 - CenterPoint: Center-based 3D Object Detection and Tracking - 基于中心的3D目标检测与跟踪(CVPR 2021) ...
基于激光雷达点云的3D目标检测算法—端到端多视图融合
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨Rubicon007@知乎来源丨https://zhuanlan.zhihu.com/p/44 ...

3D目标检测中点云的表征方式总结（一）