详解3D物体检测模型 SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation
本文对基于激光雷达的无监督域自适应3D物体检测
进行了研究,论文已收录于 ICCV2021。
在Waymo Domain Adaptation dataset
上,作者发现点云质量的下降
是3D物件检测器性能下降的主要原因。因此论文提出了Semantic Point Generation (SPG)
方法,首先在预测的前景点区域生成语义点云,复原前景点物体缺失的部分
。然后,将原始点云与生成的语义点云进行融合得到增强后的点云数据
,再使用通用的3D物体检测器进行检测。在Waymo
和 KITTI
数据集上,无论是在target domain
还是 source domain
上,本文提出的SPG
方法都大幅提高了3D物检检测器的性能。
论文链接为:https://arxiv.org/pdf/2108.06709v1.pdf
1. Introduction
首先是引出本文要解决的问题:Waymo Open Dataset (OD)
数据集是在California和Arizona
收集的,而Waymo Kirkland Dataset (Kirk)
是在Kirk
收集的,这里将OD
数据当作source domain
,Kirk
数据当作target domain
。
作者使用PointpPllars
模型在OD
训练集上训练,然后在OD
和Kirk
验证集上进行验证。从表1可以看出,雨天下收集到的点云质量下降很厉害
,平均每帧缺失点数几乎是干燥天气下的两倍,检测性能也下降了27%左右;同时从Range Image
上也可以看出雨天下物体点云缺失的区域也更不规则。
2. Semantic Point Generation
本文提出的SPG
辅助检测方法如下图所示,SPG
首先在预测的前景点区域生成语义点集,然后语义点集与原始点云相结合得到增强点云 PCaugPC_{aug}PCaug,最后再使用一个点云检测器得到检测结果。
2.1 Training Targets
设原始输入点云为 PCraw={p1,p2,...,pN}∈R3+FPC_{raw}=\{p_1,p_2,...,p_N\} \in \mathbb{R}^{3+F}PCraw={p1,p2,...,pN}∈R3+F,333 表示点云坐标,FFF 表示点云属性。
SPG
首先将原始点云划分为一个个Voxel,对于每一个Voxel,模型首先预测其为前景Voxel的概率 P~f\tilde{P}^{f}P~f,然后在每一个前景Voxel生成语义点集 sp~\tilde {sp}sp~,其特征为 ψ~=[χ~,f~]\tilde{\psi}=[\tilde{\chi}, \tilde{f}]ψ~=[χ~,f~],分别表示语义点集的坐标和属性。- 在与原始点云融合时只保留置信度超过 PthreshP_{thresh}Pthresh 的 KKK 个点,得到增强后的点云PCaug={p^1,p^2,…,p^N,sp~1,sp~2,…,sp~K}∈R3+F+1PC_{aug}=\left\{\hat{p}_{1}, \hat{p}_{2}, \ldots, \hat{p}_{N}, \tilde{s p}_{1}, \tilde{s p}_{2}, \ldots, \tilde{s p}_{K}\right\} \in \mathbb{R}^{3+F+1}PCaug={p^1,p^2,…,p^N,sp~1,sp~2,…,sp~K}∈R3+F+1,
最后一个通道表示点为前景点的置信度
,原始点云则置信度为 1.01.01.0,语义点集则置信度为 P~f\tilde{P}^fP~f。
在训练时,如果划分的Voxel为前景voxel VfV^fVf,则其对应类别 yif=1y_i^f=1yif=1,否则为 yif=0y_i^f=0yif=0。如果划分的Voxel非空的话, 令 ψi=[χˉi,fˉi]\psi_{i}=\left[\bar{\chi}_{i}, \bar{f}_{i}\right]ψi=[χˉi,fˉi] 为回归目标,其中 χiˉ\bar{\chi_i}χiˉ 为Voxel中所有前景点的平均坐标,fˉi\bar{f}_ifˉi 为前景点的属性平均值。
2.2 Model Structure
SPG
模型结构由三部分组成:
- 首先是Voxle特征编码模块,对每一个Voxel进行特征学习,编码成pillars投影到鸟瞰图;
- 然后是信息传播模块,将非空pillars语义信息传播到附近非空pillars;
- 最后是语义点集生成模块,在每一个前景Voxel生成语义点集 sp~i=[χ~i,f~i,P~if]\tilde{sp}_i=\left[\tilde{\chi}_{i}, \tilde{f}_{i}, \tilde{P}_{i}^{f}\right]sp~i=[χ~i,f~i,P~if]。
2.3 Foreground Region Recovery
为了在 empty areas
生成语义点集,作者设计了两个策略Hide and Predict
和Semantic Area Expansion
。
- Hide and Predict。原始点云 PCrawPC_{raw}PCraw 划分为Voxel集合 V={v1,v2,...,vM}V=\{v_1,v_2,...,v_M\}V={v1,v2,...,vM},在训练时,丢弃 γ%\gamma\%γ%的非空Voxel VhideV_{hide}Vhide,
SPG
需要预测出这些隐藏的Voxel标签 yfy^fyf和对应点特征 ψ~\tilde{\psi}ψ~。 - Semantic Area Expansion。作者设计了一个扩展语义区域策略(图5所示),用以在
empty space
生成语义点集。具体地,非空和空的背景Voxel为 Vob,VebV_o^b,V_e^bVob,Veb,其对应标签为 yf=0y^f=0yf=0;非空前景Voxel VofV_o^fVof 类别标签 yf=1y^f=1yf=1;bounding box中空的前景Voxel VefV_e^fVef 类别标签为 yf=1y^f=1yf=1,同时增加一个权重系数 α<1\alpha < 1α<1;监督学习非空前景Voxel VofV_o^fVof 点集特征 ψ\psiψ。图6为是否使用Expansion生成语义点集的效果。
2.4 Objectives
损失函数有两个,一个是类别损失函数
,其中 VoV_oVo 为非空Voxel,VebV_e^bVeb 为空的背景Voxel,VefV_e^fVef 为空的前景Voxel,VhideV_{hide}Vhide 为隐藏的Voxel。
Lcls=1∣Vo∪Veb∣∑Vo∪VebLfocal +α∣Vef∣∑VefLfocal +β∣Vhide ∣∑Vhide Lfocal \begin{aligned} L_{c l s} &=\frac{1}{\left|V_{o} \cup V_{e}^{b}\right|} \sum_{V_{o} \cup V_{e}^{b}} L_{\text {focal }} +\frac{\alpha}{\left|V_{e}^{f}\right|} \sum_{V_{e}^{f}} L_{\text {focal }}+\frac{\beta}{\left|V_{\text {hide }}\right|} \sum_{V_{\text {hide }}} L_{\text {focal }} \end{aligned} Lcls=∣Vo∪Veb∣1Vo∪Veb∑Lfocal +∣∣∣Vef∣∣∣αVef∑Lfocal +∣Vhide ∣βVhide ∑Lfocal
另一个是点集回归损失函数:
Lreg =1∣Vof∣∑VofLsmooth- L1(ψ~,ψ)+β∣Vhide f∑Vhide fLsmooth-L1 (ψ~,ψ)\begin{aligned} L_{\text {reg }} &=\frac{1}{\left|V_{o}^{f}\right|} \sum_{V_{o}^{f}} L_{\text {smooth- } L 1}(\tilde{\psi}, \psi) +\frac{\beta}{\mid V_{\text {hide }}^{f}} \sum_{V_{\text {hide }}^{f}} L_{\text {smooth-L1 }}(\tilde{\psi}, \psi) \end{aligned} Lreg =∣∣∣Vof∣∣∣1Vof∑Lsmooth- L1(ψ~,ψ)+∣Vhide fβVhide f∑Lsmooth-L1 (ψ~,ψ)
3. Experiments
首先是在Waymo
数据集上的检测结果:
然后是在KITTI
数据集上的检测结果。
详解3D物体检测模型 SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation相关推荐
- 详解3D物体检测模型: Voxel Transformer for 3D Object Detection
本文介绍一个新的的3D物体检测模型:VoTr,论文已收录于ICCV 2021. 这是第一篇使用 voxel-based Transformer 做3D 主干网络,用于点云数据3D物体检测.由于有限的感 ...
- CVPR2021:ST3D——Self-training for Unsupervised Domain Adaptation on 3D Object Detection详解
ST3D: Self-training for Unsupervised Domain Adaptation on 3D Object Detection Algorithm Main Method ...
- 详解视觉BEV3D检测模型: Fast-BEV: A Fast and Strong Bird‘s-Eye View Perception Baseline
本文介绍一篇视觉BEV3D检测模型: Fast-BEV,论文收录于 NeurIPS2022. 目前大多数现有的BEV感知方案要么需要相当多的资源来执行车端推理,要么性能不高.本文提出了一种简单而有效的 ...
- 【论文笔记】非常高效的物体检测mimic方法 Mimicking Very Efficient Network for Object Detection
转载:http://www.sohu.com/a/160564635_651893 AI科技评论按:CVPR 2017正在夏威夷火热进行中,精彩论文层出不穷.下文是Momenta 高级研发工程师蒋云飞 ...
- Waymo离线点云序列3D物体检测网络 (3D Auto Labeling): Offboard 3D Object Detection from Point Cloud Sequences
本文介绍一篇Waymo基于点云序列的3D物体检测网络:3D Auto Labeling,论文已收录于CVPR 2021. 这里重点是理解本文提出的 Object-centric Auto Labeli ...
- 达摩院实现自动驾驶核心技术突破,达摩院首次实现3D物体检测精度与速度的兼得
阿里巴巴达摩院在自动驾驶3D物体检测领域取得了新突破!达摩院近期一篇论文入选计算机视觉顶会CVPR 2020,该论文提出了一个通用.高性能的自动驾驶检测器,首次实现3D物体检测精度与速度的兼得,有效提 ...
- 阿里达摩院新研究:实习生一作突破自动驾驶技术难题,首次实现3D物体检测精度与速度兼得...
本文经AI新媒体量子位(ID:QbitAI)授权转载,转载请联系出处 乾明 发自 凹非寺 最新消息,阿里达摩院又有新的研究进展,这次在自动驾驶3D物体检测领域. 达摩院的研究人员提出一个通用.高性能的 ...
- CVPR 2020丨基于点云的3D物体检测新框架
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 本文介绍的是CVPR2020入选论文<HVNet: Hybrid Voxel ...
- 更快更精准的感知,元戎启行提出基于LiDAR的3D物体检测新框架|CVPR 2020
近日,L4级自动驾驶解决方案提供商元戎启行的一篇关于3D物体检测的论文被CVPR2020收录,论文题为"HVNet: Hybrid Voxel Network for LiDAR Based ...
最新文章
- Python之基础知识
- Android之Butterknife原理解析
- redhat7.4安装神通数据库
- ASP.NET几种安全验证方法(一)
- python request 等待网页加载_用Python开发爬虫,看这篇文章就够了
- 如何数分钟创建并成功运行数千台云主机?
- 【算法】—— 最大子序列和问题
- deepin驱动精灵_解决宏基笔记本没有Qualcomm_Atheros_QCA9377无线驱动
- linux 查看当前打开的文件数,linux停查看文件打开数
- Lattice FPGA 使用指南4 - 全局复位网络GSR的使用
- 神经网络容易受到对抗攻击,网络攻防原理与技术
- 2012年第19周限时免费应用点评
- java rdt_使用 Eclipse 和 RDT 开发Ruby应用程序
- 联想笔记本声音太小怎么办_笔记本声音太小,详细教您笔记本电脑声音太小解决方法...
- 关于互联网用户的隐私保护
- RNA m6A修饰问题汇总(第二期)
- 电脑中毒后常见的问题以及防毒的总结
- final修饰的Map集合可以被修改
- CentOS (Community Enterprise Operating System)是什么?
- python中fig_Python fig
热门文章
- Crusaders Quest ZOJ - 3983 构造|思维
- 贝叶斯软件genle教程_一文读懂蒙特卡罗方法和应用贝叶斯推理
- python3纵向输出字符串_Python 3.x 格式化输出字符串 % format 笔记
- c语言char有什么作用,C语言中char*和char[]用法区别分析
- c盘users的用户名怎么改_怎么修改iPhone备份文件夹路径 iPhone C盘路径修改教程【详解】...
- 计算机2级ps教学大纲,《PhotoShop》教学大纲
- 扫地机器人的特点描写_扫地机器人的特点和作用
- textarea如何在文字后面_FLASH如何制作风吹文字的效果
- java 6大原则_java 6大设计原则 一:观察者模式
- 解决 avformat_alloc_context无法识别的问题