本文介绍一篇 ICCV 2019 的论文『 Disentangling Monocular 3D Object Detection』。详细信息如下：

• 论文链接：https://arxiv.org/abs/1905.12365

• 项目链接：https://research.mapillary.com/publication/MonoDIS/

      01      

动机

相比于较为成熟的2D目标检测技术，3D目标检测尚处于发展之中。而在3D目标检测领域，基于单目相机的方法又远远落后于基于多传感器融合的方法。使用单目相机做3D目标检测是个“ill-posed”问题，因为三维场景到二维图像的映射过程引入了模糊性。

当前使用神经网络解决单目相机3D检测问题大多存在两个特性：1.需要对3D目标框的长、宽、高、深度、角度、位置进行编码，这些属性的单位、范围不统一，若直接使用它们构造损失函数，一定程度上会影响网络的收敛过程；2.首先训练2D目标检测器，然后将3D目标检测模块集成进来，这种分阶段训练的方式并不是最优的。

基于上述问题，作者将3D目标框的属性参数在损失函数层面上分组，解耦它们之间的依赖关系，解决了这些属性在单位、范围上的不一致问题，减轻了网络收敛难度，使得2D目标检测网络和3D目标检测网络能够一起训练，达到端到端训练的目的。

针对2D目标检测任务，作者还引入了一种基于sIOU（signed Interp-over-Union）的损失函数提高性能；针对3D目标检测任务，作者引入了一个损失项用于得到3D目标框的检测置信度。

      02      

网络结构

基于单目相机的3D检测任务，即输入单张RGB图片，输出目标在相机坐标系下的3D框属性，如下图所示：

作者提出的MonoDIS网络可以分为Backbone、2D检测器和3D检测器3部分，下面分别介绍。

2.1 Backbone

‍‍‍‍Backbone的结构如下图所示：

由上图可以看出，Backbone由ResNet34和FPN（Feature Pyramid Network）组成。在ResNet34中，使用InPlaceABN（

iABNsync）+LeakyReLU替代BatchNorm+ReLU结构，其中LeakyReLU的negative slope为0.01。

这么做的目的是在不影响网络性能的前提下降低GPU显存的消耗，从而可以尝试较大的batch size或者较大的输入图片分辨率。Backbone的输入为RGB图像，输出为5种尺度的特征，分别记作

{f1,…,f5}。

2.2 2D目标检测

与RetinaNet中的检测部分类似，在Backbone输出的每个

后面接一个2D检测模块，2D检测模块的结构如下图所示：

对于每个anchor输出5个信息，记作

，使用这些信息构造预测框的属性：

• 
  
  
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  表示2D预测框的置信度，记作
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  ；

• 
  
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  表示预测框的中心点坐标，记作
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  ，
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  表示这个anchor对应的cell在图像坐标系下的坐标，
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  表示这个anchor的预定义尺寸；

• 
  
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  表示预测框的尺寸，记作
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  。

取网络输出的置信度高于0.05且置信度排名前5000的预测框，进行IoU阈值为0.5的NMS操作，最后选取置信度最高的100个预测框作为2D检测结果。

2.2.1损失函数

Focal Loss

使用focal loss损失函数训练分类分支，对于grid中给定cell的某个anchor，定义目标置信度为

，预测到的置信度为

，损失函数表示如下：

上式中的

和

是超参数，且

，

。

目标置信度

取决于anchor和ground-truth，若anchor和gound-truth对应框的IoU超过给定阈值

，则令目标置信度

。

Detection Loss

若存在两个框

和

，将sIoU定义为：

令表示框的四个元素中前两个元素为第一个坐标，后两个元素为第二个坐标。当第一个坐标在第二个坐标的左上角时，

的值为框的面积；否则

的值为框的面积的相反数。

举例如下：

上图中第一行带颜色的部分为sIoU公式中的分子部分，绿色代表正值，红色代表负值；第二行代表sIoU公式中的分母部分。

对于gound-truth框

和预测框

，定义检测损失函数为：

2.3 3D目标检测

对于网络最终输出的每个2D框，都要预测一个与之对应的3D框。对于每个2D框，使用ROIAlign从FPN中抽取特征，特征尺寸为14x14。FPN中共有5个尺度的特征

，尺寸为

的2D预测框使用FPN中的

，

的选取策略如下：

3D目标检测模块的结构如下图所示：

• 
  
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  表示给定2D预测框的条件下3D预测框的置信度；

• 
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  表示3D预测框中心点的深度，其中
  
  
  
  
  
  
  
  
  
  
  
  和
  
  
  
  
  
  
  
  
  
  
  
  是预定义值；

• 
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  表示3D预测框中心点在图像平面上的坐标；

• 表示3D预测框的尺寸，即宽、高、长，其中
  
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  是预定义值；

• 
  
  
  

  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  表示allocentric的四元数，表示3D预测框的姿态信息。

根据

和

可以得到3D目标框的置信度：

置信度大于阈值

即认为存在3D目标，对于3D检测，作者并没有使用NMS。

2.3.1损失函数

3D目标框回归损失

若相机内参已知，根据上文提到的

、

、

、

可以得到3D预测框的8个顶点。

设相机内参为

根据透视变换的原理，可以根据网络输出的3D目标框中心点的深度

、3D目标框中心点在图像平面上的投影

，得到3D目标框中心点在相机坐标系中的位置

再根据四元数

、3D目标框的宽高长

，可以得到3D目标框的8个顶点在相机坐标系中坐标：

上式中矩阵

是由

组成的对角矩阵，

，

是对应于

的旋转矩阵。

综上所述，根据3D目标检测模块输出的，可以求得3D目标框的8个顶点，记作

。

令

表示相机坐标系下3D目标的ground truth。构造3D目标框回归损失函数

上式中

表示参数为

的Huber损失。

3D目标框置信度损失函数

令，其中

为温度系数，使用交叉熵损失构造3D目标框的置信度损失函数（式中省略了下标）

      03      

Disentangling形式的Loss

3.1 Disentangling的原理

将Disentangling Loss应用于2D目标框和3D目标框的回归损失中，目的是将多组参数对于损失函数的贡献隔离开，同时保留这些参数的原始含义，利于网络训练时的优化过程。在2D目标框的回归损失中，包含用于确定目标框的2组参数，一组用于确定目标框的长和宽；

另外一组用于确定目标框的中心点位置。在3D目标框的回归损失中，包含用于确定目标框的4组参数，它们分别是与深度有关的参数、与3D目标框中心在图像平面投影有关的参数、与旋转角度有关的参数和与目标长宽高有关的参数。

令

表示第

组参数，

表示除第

组以外的其他参数。若使用

表示从网络输出的参数到目标框的映射过程：即对于2D目标检测，

表示从网络输出的

到目标框的映射过程；对于3D目标检测，

表示从网络输出的到目标框的映射过程。

令

表示网络输出的用于估计目标框的参数，令

表示根据ground truth利用

的反过程求出的参数，即

，则可以构造如下损失函数：

上式中的

表示ground truth，

表示利用网络输出的第

组参数

和根据ground truth推出的除第

组以外的参数

得到的目标框。上式仅仅是针对网络输出的第

组参数构造的损失函数。对网络输出的共

组参数构造损失函数，表示如下：

在2D目标检测中k=2；在3D目标检测中k=4。

简而言之，在构造每个损失函数时，只使用一部分网络输出的参数，其余的参数从ground truth中利用

得到。在实验过程中，作者在构造2D目标回归和3D目标回归的损失函数时均用到了Disentangling Loss。

3.2 Disentangling Loss的优势

为了形象地展示出Disentangling Loss的优势，作者做了一个实验。作者分别使用原始的

以及

的Disentangling Loss形式，训练网络完成KITTI3D数据集中的3D目标检测任务。

训练时的学习率为0.001，momentum为0.9，迭代了3000次，结果如下图所示：

为便于进一步观察使用Disentangling Loss与否在训练过程中的差异，作者画出来4组参数以及

的迭代过程，如下图所示：

上图从左到右依次代表长宽高、表示方向的四元数、3D目标框中心在图像平面上的投影、3D目标框中心的深度、

在2种损失函数形式下的迭代过程。

图中粉红色代表使用了原始的

，蓝色代表使用了

的Disentangling Loss形式。从图中可以看出，使用了Disentangling Loss形式的损失函数训练模型迭代更快。

      04      

实验

4.1 实验设置

在进行2D目标检测时，共使用了由5种长宽比

、3种尺寸

组合而成15种anchor，其中

是FPN中不同尺度特征的下采样率。若某个anchor与ground truth的IoU大于阈值

，则认为这是一个positive anchor。

在进行3D目标检测时，预定义如下先验：

、

、

、

、

。在测试阶段置信度阈值为

。

对于2D检测的损失函数权重设置为1，对于3D检测的损失函数权重设置为0.5。在3D检测的目标框回归损失函数中，设置

，在3D检测的置信度损失函数中，设置

。

在训练时使用了水平翻转作为数据增强的唯一方法。使用学习率为0.01的SGD优化方法在4个NVIDIA V-100 GPU上进行训练，batch size设置为96，共迭代了20k次，在第12k次迭代和第16k次迭代时将学习率降低为原来的0.1倍。

4.2 在KITTI3D数据集上测试

实验结果如下表所示：

上表中第一行和第二行对比了在训练3D目标检测网络时，直接回归和回归由

解算出的3D bounding box的性能，显然在训练时回归3D bounding box能提高网络性能。

第三、四行表示使用了Signed IoU、使用Disentangling Loss形式的2D检测损失和3D检测的置信度，对比第三、四行和第一、二行，使用上述方法能提高网络的性能。使用本文提到的所有技巧训练，测试结果为上表中第五行MonoDIS的结果。上表中的阴影部分为在KITTI3D测试集上的结果。

      05      

总结

• 对于2D目标检测，提出了使用Signed IoU的方法构造目标框回归损失函数；对于3D目标检测，使用了在2D检测结果上的条件概率构造损失函数。

• 提出了Disentangling Loss，将其应用于2D目标检测和3D目标检测的目标框回归损失函数中，简化训练过程，提高网络收敛速度和网络性能。

• 基于上述方法构建网络，同时进行2D目标检测和3D目标检测，通过实验证明这些方法的有效性。

备注：目标检测

目标检测交流群

2D、3D目标检测等最新资讯，若已为CV君其他账号好友请直接私信。

在看，让更多人看到