Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point Cloud

一核心思想

为了降低内存和计算成本，现有的基于point的pipeline通常采用随机采样或FPS采样来逐步下采样输入点云，尽管并非所有的点对目标检测任务都同等重要。特别是，前景点在本质上比背景点对目标探测器更重要。基于此，本文提出了一种高效的single-stage point-based 3D detection——IA-SSD。

该方法的关键是利用两种可学习的、面向任务的、实例感知的down sample strategy来分层次地选择属于object的foreground point。此外，我们还引入了contextual centroid perception module来进一步估计精确的object center。最后，为了提高效率，我们按照只使用encoder-only的体系结构构建IA-SSD。

本文的方法中借鉴了3DSSD的框架，主要的贡献在于将每一层的采样策略进行了调整，让每次down sample采样中，前景点都占大多数。

具体框架如下图所示：

二核心步骤

现有的point-based的检测器在其框架中通常采用与任务无关的采样方法，如随机采样或最远点采样。尽管对于降低内存/计算成本有效，但在渐进式下采样中，最重要的foreground point也会减少。此外，由于不同物体的大小和几何形状存在很大差异，现有的探测器通常针对不同类型的物体训练具有各种精心调整的超参数的单独模型。然而，这不可避免地会影响这些模型在实践中的部署。因此，本文的目标是:能否训练出一种基于单点的模型，这种模型能够高效地一次检测出多类目标。

基于此，本文提出了一种高效的单级检测器，通过引入instance-aware downsampling和contextual centroid perception module。如上图所示， IA-SSD采用了3DSSD中的特征提取架构。首先将输入的LiDAR点云输入到网络中提取point features，然后提出instance-aware downsampling，以逐步降低计算成本，同时保留信息丰富的foreground point。学习到的潜在特征进一步输入到contextual centroid perception module，生成proposal并回归最终的边界框。

由此本文主要有两个重点: instance-aware downsampling和contextual centroid perception module。

2.1 Instance-aware Downsampling Strategy

如上图所示，为了尽可能地保留foreground point，我们转向利用每个点的潜在语义，因为随着分层聚合在每个层中操作，学习到的点特征可能包含更丰富的语义信息。基于这一思想，我们提出了class-aware sampling和centroid-aware sampling两种面向任务的采样方法，将前景语义先验整合到网络训练pipeline中。

Class-aware sampling：就是在采样中，加入前景点的预测head，具体公式如下：

Centroid-aware sampling（只在training过程中被用到）：这里就是在进行class-aware sampling时，考虑到距离object中心的点应该更被考虑到，因此使用了预测距离中心的权重head，具体公式如下：

这个也是本人想的一种预测距离中心的方法。

这样子就可以将得分的损失函数改为:

将soft point mask与foreground point的损失项相乘，使靠近中心的点具有更高的概率。注意，在inference过程中不再需要边界框，如果模型训练良好，我们只需保留下采样后得分最高的k个点。

经过上面的策略详解，我们的采样策略与其他策略对比如下所示:

2.2 Contextual Instance Centroid Perception

我们试图利用bounding box周围的上下文线索进行例如质心预测。具体来说，我们遵循VoteNet来显式预测到object中心的偏移量。(也就是进行聚集操作，如下图的VoteNet所示，就是用FPS选择出k个点然后对周围的点进行聚集操作。)

值得注意的是，在本文中，我们并不是仅仅使用边界框内的点或移位点来进行中心预测，我们手动扩展ground truth bounding box，或者按比例放大该框，以覆盖物体附近更多相关的上下文。利用落在扩展包围框内的采样点估计偏移量，然后进行偏移。

2.3 Centroid-based Instance Aggregation

2.4 End-to-End Learning

三总结

本文提出的方法主要在速度上存在优势，在检测精度上还是没有达到SOTA。

【3D 目标检测】Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point相关推荐

Not All Points Are Equal: Learning Highly Efficient Point-based Detectors for 3D LiDAR Point Clouds
每日论文--CVPR2022目标检测论文解读论文解读本文基于point_base的方法实现了高效的3D检测器IA-SSD,作者认为,使用传统的FPS方法会丢失大量前景点,导致检测recall下降 ...
三维目标检测论文阅读：VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection
VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection 理解了PointPillars这篇文章后,看这篇文章就清 ...
基于激光雷达点云的3D目标检测算法论文总结
作者丨eyesighting@知乎来源丨https://zhuanlan.zhihu.com/p/508859024 编辑丨3D视觉工坊前言过去很多年激光雷达的车规标准和高昂价格是阻碍其量产落 ...
CVPR2022论文速递（2022.3.22）！共25篇多篇3D目标检测
整理:AI算法与图像处理 CVPR2022论文和代码整理:https://github.com/DWCTOD/CVPR2022-Papers-with-Code-Demo 欢迎关注: Transfor ...
【3D目标检测】SMOKE: Single-Stage Monocular 3D Object Detection via Keypoint Estimation
目录前提概述细节网络结构特征提取网络检测头1:关键点检测检测头2:3D参数回归损失函数前提需要先了解下CenterNet [目标检测]Objects as Points 概述本文 ...
CaDDN：基于单目的3D目标检测新方法（CVPR2021）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨元气满满的打工人来源丨CV研习社文章导读导读:在自动驾驶的技术中,3D目标检测能够提更加丰 ...
汇总|3D目标检测文章(CVPR2020)
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达前言今年CVPR20-paper-list前几天已经出了,所以这里做一点大致的综述介绍在CVPR20 ...
3D-VID:基于LiDar Video信息的3D目标检测框架|CVPR20
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 Brief paper地址:https://arxiv.org/pdf/2004.01389.pdf ...
Det3D - 首个通用 3D 目标检测框架
点击我爱计算机视觉标星,更快获取CVML新技术本文转载自知乎,已获作者授权转载,请勿二次转载. (原文链接:https://zhuanlan.zhihu.com/p/101346137) 背景介绍 ...

【3D 目标检测】Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point

Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point Cloud

一核心思想

二核心步骤

2.1 Instance-aware Downsampling Strategy

2.2 Contextual Instance Centroid Perception

2.3 Centroid-based Instance Aggregation

2.4 End-to-End Learning

三总结

【3D 目标检测】Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point相关推荐

最新文章

热门文章

【3D 目标检测】Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point

Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point Cloud

一 核心思想

二 核心步骤

2.1 Instance-aware Downsampling Strategy

2.2 Contextual Instance Centroid Perception

2.3 Centroid-based Instance Aggregation

2.4 End-to-End Learning

三 总结

【3D 目标检测】Not All Points Are Equal Learning Highly Efficient Point-based Detectors for 3D LiDAR Point相关推荐

最新文章

热门文章

一核心思想

二核心步骤

三总结