H3DNet论文阅读笔记

H3DNet: 3D Object Detection Using Hybrid Geometric Primitives

论文链接：https://arxiv.org/pdf/2006.05682.pdf

代码链接（pytorch）：https://github.com/zaiweizhang/H3DNet

1.介绍

属于VoteNet的提优作品,从一个投票中心点不准，用19个投票中心来，选取与目标距离最近的，其余做约束和特征辅助。

这篇文章的idea受6DOF任务中基于关键点回归启发，多关键点方法应用到3D目标检测任务中有两个优点：1、多个几何图元（作者定义了BB center、BB face center、BB edge center 3个几何图元，即整个bbox的中心点，bbox每个面的中心点，bbox每条棱的中心点）相较于单个几何图元（之前的方法通常只有BB center一个图元）能够给目标的bounding box提供更多更精准的约束；2、同时预测多个几何图元对图元噪点的容忍度更高，网络的鲁棒性更强。

2.网络结构

2.1 VoteNet:

VoteNet 使用pointnet++作为点云特征预处理，学习出原始点云的259（3+256）维特征，从2048个点中采样1024个种子点，经过投票模块，回归出1024个点的位置和特征的offset，再逐点加到原始的对应特征维度上，得到1024个投票点。接着对种子点进行sample和group，得到256个簇点，再输入类pointnet++网络进行propose和classify。NMS后得到最后的proposal。

2.2 H3DNet Architecture

网络的基础来自VoteNet, 融合多投票得到的点、线、面三类几何特征元，距离函数模块和proposal和refine模块。（4层的backbone tower）

2.3 网络细节

准备好特征后，进入proposal

从这个函数中，对19个候选的中心选出距离最近的一个，生成初始的Init proposal,然后对其使用点线面的特征进行refine。

2.4 train

H3DNet: 3D Object Detection Using Hybrid Geometric Primitives

1.介绍

2.网络结构

2.1 VoteNet:

2.2 H3DNet Architecture

2.3 网络细节

2.4 train

3. 实验

4. 总结

训练参数真多。。。。。

3. 实验

4. 总结

这篇文章在bbox，bbox表面，bbox边缘的线面体三个维度上vote中心点，给bbox的预测增加了更细致的约束，让一些仅在bbox中心点约束下无法得到较好结果的类有了更好的效果。第二个创新点就是提出了一个距离函数来产生proposal，实现上更为简单，也不用NMS操作。作为votenet的跟进工作，这篇文章改进的出发点是想针对性地提高votenet里表现不好的类别，比如不完整的目标、空间上不连续的目标，然后在观察了这些类别的特点后，得到了增加vote表面和边缘中心点的想法。