Algorithm

算法：
输入：源域的点云Ps和标签Ls，目标域的点云Pt
输出：目标域的三维目标检测模型。
1.使用ROS在{Ps,Ls}上预训练目标检测器
2.利用当前模型为每个目标域样本Pti生成预测框[Bti]k（k为生成的次数）
3.在给定[Bti]k的情况下，使用Triplet Box Partition生成伪标签[Lti]k
4.通过memory ensemble-and-voting (MEV)使用[Lti]k更新[Mi]k-1（第i个目标域样本的label memory bank，初始状态为空），维护[Mi]k的状态
5.在{Pti,[Mi]}上使用CDA训练模型。
6.回到步骤2直到模型收敛。

Main Method

ROS

问题：目标大小的偏差对 3D 目标检测有直接的负面影响，导致伪标记目标域边界框的大小不正确。
将Box内的点都转换到以目标的中心为原点，长宽高为x,y,z轴的坐标系下：

转换后的坐标分别乘上缩放因子，并逆操作还原到原坐标系下：
有效地模拟了具有不同大小的目标以解决大小偏差，有助于训练大小鲁棒的检测器。

Triplet Box Partition

除了Bounding Box本身的属性外，每一个伪标签还具有(u, state, cnt)三个属性，分别代表IoU预测值、状态，未匹配计数值。
为什么要额外添加一个IoU回归头来进行预测，而不直接使用Confidence：
这两个值并不完全相同，更需要IoU值作为伪标签的一个评估手段。

对于每一个伪标签，根据u的大小将状态置为Positive、Ignored和Discard：

前两者将存入到L中，第三者直接丢弃。
（Ignored的伪标签巨有高度不确定性，所以仅暂存到[Lti]k等待被高度匹配时修改state唤醒）

Memory Ensemble-and-Voting (MEV)

使用[Lti]k更新上一个状态的Memory bank [Mi]k-1：对每一个[Mi]k-1内box，在[Lti]k内找IoU最大的进行匹配，若最大的IoU仍然<0.1则将这一对Box的未匹配计数值+1。否则：
将u大的更新为新的伪标签：

最后将所有未匹配计数值<阈值的伪标签存入Memory bank，完成更新得到[Mi]k

CDA

问题：模型容易过度拟合这些具有高IoU的简单目标，无法进一步挖掘困难目标以改进检测器。强数据增强是生成多样化和潜在困难示例的方法。但是对初始阶段的模型训练有害。
方法：逐步增加数据增强的强度，并逐渐生成越来越难的目标，以促进模型的改进并确保早期阶段的有效学习。
确定增强因子，每过一个阶段（若干个epoch）进行一次数据增强的强度增加：

s为阶段数。
增强的随机采样值范围随着强度增加而变大：

Experiments

closed gap表示域适应模型的提升比例

(w/SN)表示为使用了弱监督方法SN

性能相较于Source Only的模型在目标域上都有了不小的提升，并且在弱监督的设置中ST3D(w/SN)甚至超过了有直接在目标域上训练的模型精度。

IoU阈值超参数设置的实验：

CVPR2021:ST3D——Self-training for Unsupervised Domain Adaptation on 3D Object Detection详解相关推荐

详解3D物体检测模型 SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation
本文对基于激光雷达的无监督域自适应3D物体检测进行了研究,论文已收录于 ICCV2021. 在Waymo Domain Adaptation dataset上,作者发现点云质量的下降是3D物件检测器性 ...
CVPR2021 三维目标检测(3D object detection)
[1] 3DIoUMatch: Leveraging IoU Prediction for Semi-Supervised 3D Object Detection(利用IoU预测进行半监督3D对象检测 ...
【论文阅读】Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift
Deep Cocktail Network: Multi-source Unsupervised Domain Adaptation with Category Shift SUMMARY@ 2020 ...
【ICML 2015迁移学习论文阅读】Unsupervised Domain Adaptation by Backpropagation (DANN) 反向传播的无监督领域自适应
会议:ICML 2015 论文题目:Unsupervised Domain Adaptation by Backpropagation 论文地址: http://proceedings.mlr.pre ...
CVPR2019:Domain-Specific Batch Normalization for Unsupervised Domain Adaptation无监督域适配的特定域批处理规范化
CVPR2019:Domain-Specific Batch Normalization for Unsupervised Domain Adaptation无监督域适配的特定域批处理规范化 0.摘要 ...
Unsupervised Domain Adaptation for Semantic Segmentation by Content Transfer
论文链接:https://arxiv.org/abs/2012.12545 此篇论文被AAAI2021接收. 文章目录 1 Motivation 1.1 Domain Gap 1.2 Class Im ...
语义分割-Unsupervised Domain Adaptation in Semantic Segmentation：a Review语义分割中的无监督领域自适应：综述
Unsupervised Domain Adaptation in Semantic Segmentation:a Review语义分割中的无监督领域自适应:综述 0.摘要 1.介绍 1.1.语义分割 ...
AWB——Complementarity-enhanced Mutual Networks for Unsupervised Domain Adaptation in Person Re-ID
论文地址:arXiv:2006.06525 代码地址:Attentive-WaveBlock 1 概述这是一篇有关UDA Re-ID的文章,方法性能在paper with code上位居榜首,本文可 ...
Unsupervised Domain Adaptation with Variational Approximation for Cardiac Segmentation
Wu F, Zhuang X. Unsupervised domain adaptation with variational approximation for cardiac segmentati ...

CVPR2021:ST3D——Self-training for Unsupervised Domain Adaptation on 3D Object Detection详解

ST3D: Self-training for Unsupervised Domain Adaptation on 3D Object Detection