深度补全文章详读系列
系列文章目录
目录
系列文章目录
前言
一、非引导方法
二、引导方法
1.Early fusion model(早期融合模型)
2.Late fusion model(晚期融合模型)
3.Explicit 3D model(显示3D模型)
4.SPN based model(基于SPN的模型)
5.Residual depth model(残差深度模型)
总结
前言
此篇博文为个人记录向，内容为多篇深度补全相关论文的半详读，即主要为论文的创新方法部分，既然为学习记录就可能有错误或者不全面的现象出现，希望大家发现后及时指出以便改正。方法分类主要参考这篇综述，系列博客以综述中总结的顺序为参考，顺序研读。深度补全分为两大类，下面将一一介绍相关任务。
提示：以下是本篇文章正文内容，下面案例可供参考
一、非引导方法
深度补全任务中的引导和非引导说的都是RGB图像，非引导顾名思义就是无需图像引导信息，仅靠稀疏深度图输入从中提取信息并完成补全任务。以下为论文详解：
论文基本信息：
|
文献 |
期刊 |
年份 |
|
Uhrig J, Schneider N, Schneider L, et al. Sparsity invariant cnns[C]//2017 international conference on 3D Vision (3DV). IEEE, 2017: 11-20. |
3DV |
2017 |
此处为pdf网址。
pNCNN基本信息：
|
文献 |
期刊 |
年份 |
|
Eldesokey A, Felsberg M, Holmquist K, et al. Uncertainty-aware cnns for depth completion: Uncertainty from beginning to end[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 12014-12023. |
CVPR |
2020 |
此处为pdf网址。
NCNN基本信息：
|
文献 |
期刊 |
年份 |
|
Eldesokey A, Felsberg M, Khan F S. Propagating confidences through cnns for sparse data regression[J]. arXiv preprint arXiv:1805.11913, 2018. |
Arxiv |
2018 |
此处为pdf网址。
二、引导方法
1.Early fusion model(早期融合模型)
将图像和稀疏深度图同时输入到网络中作为四通道信息一并提取特征并融合特征即为早期融合模型基本特征，历年文章的改进方向不同但基础都为这一模型结构，以下各论文信息：
S2D基本信息：
|
文献 |
期刊 |
年份 |
|
Ma F, Karaman S. Sparse-to-dense: Depth prediction from sparse depth samples and a single image[C]//2018 IEEE international conference on robotics and automation (ICRA). IEEE, 2018: 4796-4803. |
ICRA |
2018 |
此处为pdf网址。
SS-S2D基本信息：
|
文献 |
期刊 |
年份 |
|
Ma F, Cavalheiro G V, Karaman S. Self-supervised sparse-to-dense: Self-supervised depth completion from lidar and monocular camera[C]//2019 International Conference on Robotics and Automation (ICRA). IEEE, 2019: 3288-3295. |
ICRA |
2019 |
此处为pdf网址。
3coeff基本信息：
|
文献 |
期刊 |
年份 |
|
Imran S, Long Y, Liu X, et al. Depth coefficients for depth completion[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2019: 12438-12447. |
CVPR |
2019 |
此处为pdf网址。
S2DNet基本信息：
|
文献 |
期刊 |
年份 |
|
Hambarde P, Murala S. S2DNet: Depth estimation from single image and sparse samples[J]. IEEE Transactions on Computational Imaging, 2020, 6: 806-817. |
TCI |
2020 |
此处为pdf网址。
LSF基本信息：
|
文献 |
期刊 |
年份 |
|
Qu C, Nguyen T, Taylor C. Depth completion via deep basis fitting[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020: 71-80. |
WACV |
2020 |
此处为pdf网址。
基本信息：
|
文献 |
期刊 |
年份 |
|
Long Y, Yu H, Liu B. Depth completion towards different sensor configurations via relative depth map estimation and scale recovery[J]. Journal of Visual Communication and Image Representation, 2021, 80: 103272. |
JVCIR |
2021 |
此处为pdf网址。
DfineNet基本信息：
|
文献 |
期刊 |
年份 |
|
Zhang Y, Nguyen T, Miller I D, et al. Dfinenet: Ego-motion estimation and depth refinement from sparse, noisy depth input with rgb guidance[J]. arXiv preprint arXiv:1903.06397, 2019. |
Arxiv |
2019 |
此处为pdf网址。
2.Late fusion model(晚期融合模型)
图像和稀疏深度图在解码端分为两条支路分别进行特征提取，并在解码端进行融合。以下为个论文信息：
DDP基本信息：
|
文献 |
期刊 |
年份 |
|
Yang Y, Wong A, Soatto S. Dense depth posterior (ddp) from single image and sparse range[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 3353-3362. |
CVPR |
2019 |
此处为pdf网址。
Sparse_RGBD基本信息：
|
文献 |
期刊 |
年份 |
|
Jaritz M, De Charette R, Wirbel E, et al. Sparse and dense data with cnns: Depth completion and semantic segmentation[C]//2018 International Conference on 3D Vision (3DV). IEEE, 2018: 52-60. |
3DV |
2018 |
此处为pdf网址。
KBNet基本信息：
|
文献 |
期刊 |
年份 |
|
Wong A, Soatto S. Unsupervised depth completion with calibrated backprojection layers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2021: 12747-12756. |
ICCV |
2021 |
此处为pdf网址。
MSG-CHN基本信息：
|
文献 |
期刊 |
年份 |
|
Li A, Yuan Z, Ling Y, et al. A multi-scale guided cascade hourglass network for depth completion[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2020: 32-40. |
WACV |
2020 |
此处为pdf网址。
GuideNet基本信息：
|
文献 |
期刊 |
年份 |
|
Tang J, Tian F P, Feng W, et al. Learning guided convolutional network for depth completion[J]. IEEE Transactions on Image Processing, 2020, 30: 1116-1129. |
TIP |
2020 |
此处为pdf网址。
VOICED基本信息：
|
文献 |
期刊 |
年份 |
|
Wong A, Fei X, Tsuei S, et al. Unsupervised depth completion from visual inertial odometry[J]. IEEE Robotics and Automation Letters, 2020, 5(2): 1899-1906. |
RAL |
2020 |
此处为pdf网址。
ScaffFusion基本信息：
|
文献 |
期刊 |
年份 |
|
Wong A, Cicek S, Soatto S. Learning topology from synthetic data for unsupervised depth completion[J]. IEEE Robotics and Automation Letters, 2021, 6(2): 1495-1502. |
RAL |
2021 |
此处为pdf网址。
3.Explicit 3D model(显示3D模型)
DeepLidar基本信息：
|
文献 |
期刊 |
年份 |
|
Qiu J, Cui Z, Zhang Y, et al. Deeplidar: Deep surface normal guided depth prediction for outdoor scene from sparse lidar data and single color image[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019: 3313-3322. |
CVPR |
2019 |
此处为pdf网址。
PwP基本信息：
|
文献 |
期刊 |
年份 |
|
Y. Xu, X. Zhu, J. Shi, G. Zhang, H. Bao, and H. Li, “Depth com pletion from sparse lidar data with depth-normal constraints,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 2811–2820. |
ICCV |
2019 |
此处为pdf网址。
2D-3D fusenet基本信息：
|
文献 |
期刊 |
年份 |
|
Y. Chen, B. Yang, M. Liang, and R. Urtasun, “Learning joint 2d-3d representations for depth completion,” in Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 10 023–10 032. |
ICCV |
2019 |
此处为pdf网址。
ABCD基本信息：
|
文献 |
期刊 |
年份 |
|
Jeon Y, Kim H, Seo S W. ABCD: Attentive Bilateral Convolutional Network for Robust Depth Completion[J]. IEEE Robotics and Automation Letters, 2021, 7(1): 81-87. |
RAL |
2021 |
此处为网址。
ACMNet基本信息：
|
文献 |
期刊 |
年份 |
|
Zhao S, Gong M, Fu H, et al. Adaptive context-aware multi-modal network for depth completion[J]. IEEE Transactions on Image Processing, 2021, 30: 5264-5276. |
TIP |
2021 |
此处为pdf网址。
GAENet基本信息：
|
文献 |
期刊 |
年份 |
|
Chen H, Yang H, Zhang Y. Depth completion using geometry-aware embedding[C]//2022 International Conference on Robotics and Automation (ICRA). IEEE, 2022: 8680-8686. |
Arxiv |
2022 |
此处为pdf网址。
4.SPN based model(基于SPN的模型)
基于SPN的方法是以无向图为基本知识并在图内领域传播扩散的过程，以此来更新稀疏深度图以达到稀疏变密集的操作。以下为论文信息：
CSPN基本信息：
|
文献 |
期刊 |
年份 |
|
Cheng X, Wang P, Yang R. Depth estimation via affinity learned with convolutional spatial propagation network[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 103-119. |
ECCV |
2018 |
此处为pdf网址。
CSPN++基本信息：
|
文献 |
期刊 |
年份 |
|
[1]Xinjing Cheng,Peng Wang,Chenye Guan,Ruigang Yang. CSPN++: Learning Context and Resource Aware Convolutional Spatial Propagation Networks for Depth Completion[J]. Proceedings of the AAAI Conference on Artificial Intelligence,2020,34(07). |
AAAI |
2020 |
此处为网址。
NLSPN基本信息：
|
文献 |
期刊 |
年份 |
|
J. Park, K. Joo, Z. Hu, C.-K. Liu, and I. So Kweon, “Non-local spatial propagation network for depth completion,” in European Conference on Computer Vision (ECCV), 2020, pp. 120–136. |
ECCV |
2020 |
此处为pdf网址。
PENet基本信息：
|
文献 |
期刊 |
年份 |
|
M. Hu, S. Wang, B. Li, S. Ning, L. Fan, and X. Gong, “Penet:Towards precise and efficient image guided depth completion,”in IEEE International Conference on Robotics and Automation (ICRA),2021, pp. 13 656–13 662. |
ICRA |
2021 |
此处为pdf网址。
DySPN基本信息：
|
文献 |
期刊 |
年份 |
|
Y. Q. Lin, T. Cheng, Q. Zhong, W. Zhou, and H. Yang, “Dynamic spatial propagation network for depth completion,” in Proceed ings of the AAAI Conference on Artificial Intelligence (AAAI), 2022. |
AAAI |
2022 |
此处为pdf网址。
5.Residual depth model(残差深度模型)
DenseLiDAR基本信息：
|
文献 |
期刊 |
年份 |
|
Gu J, Xiang Z, Ye Y, et al. Denselidar: A real-time pseudo dense depth guided depth completion network[J]. IEEE Robotics and Automation Letters, 2021, 6(2): 1808-1815. |
RAL |
2021 |
此处为pdf网址。
FCFR-Net基本信息：
|
文献 |
期刊 |
年份 |
|
Liu L, Song X, Lyu X, et al. Fcfr-net: Feature fusion based coarse-to-fine residual learning for depth completion[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2021, 35(3): 2136-2144. |
AAAI |
2021 |
此处为pdf网址。
RDC基本信息：
|
文献 |
期刊 |
年份 |
|
Zhu Y, Dong W, Li L, et al. Robust depth completion with uncertainty-driven loss functions[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2022, 36(3): 3626-3634. |
AAAI |
2022 |
此处为pdf网址。
KernelNet基本信息：
|
文献 |
期刊 |
年份 |
|
Liu L, Liao Y, Wang Y, et al. Learning steering kernels for guided depth completion[J]. IEEE Transactions on Image Processing, 2021, 30: 2850-2861. |
TIP |
2021 |
此处为pdf网址。
总结
以上就是博客全部内容，再次提醒大家，如果发现错误务必指出，共同学习共同进步。
深度补全文章详读系列相关推荐
- 引导方法深度补全系列—晚期融合模型—1—《Dense depth posterior (ddp) from single image and sparse range》文章细读
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 目录 创新点 实施细节 对比sparse_RGBD tips 方法详解 损失函数 优缺点 总结 创新点 1.提出了基于贝叶斯理论的两步 ...
- 非引导方法深度补全系列——1—— 《Sparsity invariant cnns》文章细读
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 目录 创新点 论文概述 方法详解 网络结构: 杂七杂八 总结 参考 创新点 1.提出了一种稀疏卷积层,在卷积过程中使用二进制有效性掩码 ...
- ICRA2021|嵌入式系统的鲁棒单目视觉惯性深度补全算法
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 标题:Robust Monocular Visual-Inertial Depth Completio ...
- CVPR2022|稀疏融合稠密：通过深度补全实现高质量的3D目标检测
作者丨花椒壳壳@知乎 来源丨https://zhuanlan.zhihu.com/p/500409423 编辑丨3D视觉工坊 论文标题:Sparse Fuse Dense: Towards High ...
- 基于视觉惯性里程计的无监督深度补全方法
标题:Unsupervised Depth Completion From Visual Inertial Odometry 作者:Alex Wong , Xiaohan Fei , Stephani ...
- 《 Python List列表全实例详解系列（四）》__列表删除元素（4种方法）删除重复元素（去重）(8种方法）
< Python List列表全实例详解系列(四)> __列表删除元素(4种方法)删除重复元素(去重)(8种方法) 我的技术成长&学习资料整理分享之路 我遇到问题查找资料时,经常 ...
- 【深度补全算法】基于RGBD相机的深度补全算法(非Lidar)论文与GitHub代码总结
目录 前言 一.经典的深度补全算法(2018-2019) 1.Deep Depth Completion of a Single RGB-D Image 2.Indoor Depth Completi ...
- 基于深度法向约束的稀疏雷达数据深度补全（商汤科技和香港大学联合提出）
作者:Tom Hardy Date:2020-02-09 来源:基于深度法向约束的稀疏雷达数据深度补全(商汤科技和香港大学联合提出)
- 《 Python List列表全实例详解系列（五）》——修改元素(修改单个、修改一组）
< Python List列表全实例详解系列(五)> --修改元素(修改单个.修改一组) 接上一篇:< Python List列表全实例详解系列(四)>__列表删除元素(4种 ...
最新文章
- 一.Linq to JSON是用来干什么的?
- 脑科学真的可以启发AI吗？
- 在WebStorm里配置watcher实现编辑less文件时自动生成.map和压缩后的.css文件
- 【Tiny4412】Tiny4412烧写uboot脚本分析
- 从Google Mesa到百度PALO(数仓)
- 史上最强大型分布式架构详解：高并发+数据库+缓存+分布式+微服务+秒杀
- 【HTML】建站成功默认页面
- Java多线程实现多客户端的通信
- SpringBoot系列(7)：SpringBoot启动流程源码分析()
- 西门子Step7的AT指令示例
- Java部署斗鱼直播,iOS斗鱼直播项目
- 【房价预测】BP神经网络回归的现实应用-上海市二手房价格影响因素分析——思路剖析和结果分享
- excel 打开文件后自动卡死的解决方法
- c++ 统计指定字母开头单词的数量
- 详解：什么是NVMe？
- AD软件关于覆铜的高级规则设置
- 保时捷拟IPO：估值或超800亿美元 与大众有多年恩怨情仇
- 什么是大数据的ETL
- Scavenger：可在不同Paste站点爬取用户泄露凭证的实用工具
- 乐优商城（填坑）——后台登录