提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

创新点

实施细节

对比sparse_RGBD

tips

方法详解

损失函数

优缺点

总结

创新点

1.提出了基于贝叶斯理论的两步法网络做深度补全

文章概述

提出了两步法，实际上关键是先验模型，结合假设深度图d下观察到的稀疏点云z的可能性模型计算的，为了得出后验概率，并由此得出基准评估深度图的最大后验概率（MAP）估计：

1.我们没有为稀疏输入使用专门设计的层，例如稀疏不变层。

2.与稀疏深度和图像的早期融合不同，我们的深度将融合推迟到解码，这需要更少的可学习参数

3.使用的还是resnet

实施细节

1.我们通过用密集深度图替换编码分支的输入来修改CPN[36]的公共实现。两个分支的融合只是编码的串联。编码器只有卷积层，而解码器由用于上采样的转置卷积层组成

2.学习后，我们将CPN作为训练损失的一部分，在推理过程中不需要它

3.使用虚拟KITTI数据集[11]训练CPN

4.使用张量流实现了我们的方法。我们使用Adam优化我们的网络，使其具有与CPN训练相同的批量大小和学习速率调度。我们应用直方图均衡，并将图像随机裁剪到768×320。此外，我们还应用了垂直和水平随机翻转来防止过度拟合。在无监督训练的情况下，我们还在3×3邻域内对稀疏深度输入和相应的有效性映射执行随机移位。

5.有监督方法变为无监督方法时，改变了网络结构，我们将第一层的步长从1更改为2，并用最近邻上采样替换解码器的最后一层。

对比sparse_RGBD

1.他将深度补全任务放大称为数据补全（图像修复）

2.Spade_RGBD提出晚期融合模型更早，但他用这种晚期融合模型是为了稀疏深度图下语义分割效果更好

3.缺点：该编码器-解码器在稀疏深度上表现出可接受的性能，但未能从密集RGB中提取良好的特征。

4.对于稀疏卷积：掩模饱和（视为有效的百分比）如预期的那样随输入密度而增加，但仅在几层之后就达到几乎完全饱和，这意味着有效性信息在后面的层中很快丢失。

5.对于早期融合模型：为了同时从两者进行推理，似乎最好在融合之前将其转换为类似的特征空间

早期融合有没有解决这个问题？

tips

训练CPN数据集：

Gaidon A, Wang Q, Cabon Y, et al. Virtual worlds as proxy for multi-object tracking analysis[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 4340-4349.

文章贡献：

1.介绍了生成虚拟世界视频数据集的方法

2.创建了虚拟的kitti数据集

3.比较了真实世界和虚拟世界在学习深度模型上的有效性

4.因为是虚拟的世界，可以人为的加入干扰条件（雨雾等）进行实验

监督DCN的数据集：

Uhrig J, Schneider N, Schneider L, et al. Sparsity invariant cnns[C]//2017 international conference on 3D Vision (3DV). IEEE, 2017: 11-20.

来自文章里的方法对稀疏深度补全后的kitti数据集，ground truth深度图获取的一种方法是用数据集进行重建，渲染，然后得到获取补全后的depth图像作为真值.

我们进一步遵循[16]并累积11次激光扫描，以增加生成深度图的密度

方法详解

A：上分支对密集深度进行编码，并与图像编码相连，以在解码器处生成深度的密集重建，以及可作为后验分数的归一化似然。我们将CPN视为一个函数，在给定图像（下分支输入）的情况下，该函数将任何样本假设深度图（上分支输入）映射为正实数，该实数表示给定图像的输入密集深度图的条件概率先验。

CPN网络作用是学习先验概率，即图像对应其稠密深度值的这种映射关系，然后网络的输出为重建的稠密深度，此时的输出可以当作用于计算后验概率的似然，由于似然相当于给计算概率加上了参数，所以CPN网络的输出也就作为这个参数进行后续的计算。

B：它具有对称的两个分支结构，每个分支对不同类型的输入进行编码：一个是稀疏深度，另一个是图像；为两个分支启用跳过连接。与稀疏深度和图像的早期融合不同，我们的深度将融合推迟到解码，这需要更少的可学习参数。

DCN网络属于有监督方法，监督信号来自稀疏卷积论文中，通过累计相邻稀疏激光雷达测量值生成的，但实际密度只有图像域的30%

CPN目的为了得到先验概率和归一化似然，本质是无监督

DCN目的得到最终的后验概率，方法是有监督的

KITTI基准中“监督”和“非监督”之间的差异更多的是定量的，而不是定性的

下面是原始的CPN结构：

原始的CPN结构也是作者自己2018年提出的对光流的先验网络，属于无监督方法，学习P（f | I）的条件先验网络（CPN）体系结构：上半分支对ground truth光流进行编码，然后取图像和上半编码的输出重建f

损失函数

1.CPN网络的损失：

wCPN为CPN中的参数集合，wCPN（d，I）表示解码深度，重建误差与条件分布成比例

2.1有监督情况下的损失：

φ为稀疏深度和图像到密集深度的映射

2.2无监督情况下的损失

CPN等式（2）与假设深度图d下观察到的稀疏点云z的可能性模型相结合

损失函数为：

2.3视差监督

我们利用KITTI 2015立体声基准的手动清理训练集作为参考数据。我们利用深度和差异之间的强大关系。除了稀疏深度z和图像I之外，我们还得到了第二个图像I′，作为立体对的一部分，该图像被校正（标准预处理）为一阶，我们假设存在位移s=s（x），x∈ D因此

这是强度恒定约束，再将视差建模s=FB/d，其中F是焦距，B是摄像机的基线（光学中心之间的距离）。因此，我们可以从预测的密集深度d合成视差s，从而约束三维场景几何体的恢复。更具体地说，我们将看到给定I，d的I′的可能性建模为

强度恒定约束受限制，再加入结构相似性SSIM，这种情况下的先验概率：

最后立体设置的损失：

我们使用Praw（I′|I，d）和Pssim（I′|I，d）分别表示在原始光度值和SSIM分数中测量的给定I，d的I′概率。其中ψc表示等式（9）中的原始强度总和项，ψs表示SSIM对应项。

优缺点

1.虽然勉强，但也算是在有监督和无监督都做了相应的实验，得到的结果都还可以

总结

这个文章对贝叶斯相关理论解释的挺好：先验概率、似然函数与后验概率 - jianguo_wang - 博客园 (cnblogs.com)

引导方法深度补全系列—晚期融合模型—1—《Dense depth posterior (ddp) from single image and sparse range》文章细读相关推荐

引导方法深度补全系列—早期融合模型—4—《S2DNet: Depth estimation from single image and sparse samples》
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档目录创新点一.文章概述二.方法详解 1.网络结构 2.注意力块 3.attention 总结创新点 1.粗劣深度的预测和精细深 ...
引导方法深度补全系列—基于SPN模型—1—《Depth estimation via affinity learned with convolutional spatial propagat》文章细读
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档目录创新点方法详解对比SPN 总结创新点 1.改进了SPN网络,主要是更新方式上从串行扫描改为局部同时更新,也就是CSPN 网 ...
非引导方法深度补全系列——1—— 《Sparsity invariant cnns》文章细读
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档目录创新点论文概述方法详解网络结构: 杂七杂八总结参考创新点 1.提出了一种稀疏卷积层,在卷积过程中使用二进制有效性掩码 ...
深度补全文章详读系列
系列文章目录目录系列文章目录前言一.非引导方法二.引导方法 1.Early fusion model(早期融合模型) 2.Late fusion model(晚期融合模型) 3.Explic ...
基于视觉惯性里程计的无监督深度补全方法
标题:Unsupervised Depth Completion From Visual Inertial Odometry 作者:Alex Wong , Xiaohan Fei , Stephani ...
CVPR2022|稀疏融合稠密：通过深度补全实现高质量的3D目标检测
作者丨花椒壳壳@知乎来源丨https://zhuanlan.zhihu.com/p/500409423 编辑丨3D视觉工坊论文标题:Sparse Fuse Dense: Towards High ...
ICRA2021|嵌入式系统的鲁棒单目视觉惯性深度补全算法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达标题:Robust Monocular Visual-Inertial Depth Completio ...
深度补全（Sparsity Invariant CNNs）-论文阅读-翻译
(由于是直接从word上复制的,可能存在格式问题) Sparsity Invariant CNNs翻译 Abstract 本文考虑了基于稀疏输入的卷积神经网络,并将其应用于稀疏激光扫描数据的深度上采样 ...
推荐系统系列教程之十六：深度和宽度兼具的融合模型
编者按:之前推出了<推荐系统系列教程>,反响不错,前面已经推出了十五期,今天按约推出第十六期:深度和宽度兼具的融合模型.希望粉丝朋友们多点"在看",多多转发,我会在&q ...

引导方法深度补全系列—晚期融合模型—1—《Dense depth posterior (ddp) from single image and sparse range》文章细读

创新点

实施细节

对比sparse_RGBD

tips

方法详解

损失函数

优缺点

总结

引导方法深度补全系列—晚期融合模型—1—《Dense depth posterior (ddp) from single image and sparse range》文章细读相关推荐

最新文章

热门文章