DeepMVS: Learning Multi-view Stereopsis

多视图立体视觉（MVS）的重建方法是从已知相机位姿和一系列校准过的图像集中，重建视差图。

传统的MVS方法

传统的 MVS 算法通常通过计算平面扫描体积并使用手工误差函数优化光度一致性来测量斑块之间的相似性来估计视差图。
在MVS的基本解决方案中，其他的三维信息如光照、阴影、颜色、几何结构和语义信息都已经被处理
缺陷：难以处理无纹理、弱纹理、反射、透明物体表面。严重依赖光度一致性，算法不考虑深度感知的其他视觉线索，例如照明、阴影和语义（例如，建筑物具有平面结构）

现状：多为邻域选择算法、光度误差测量。最新的进展为鲁棒的邻域视图选择、可见性一致性的结合

DeepMVS的基本流程

输入：给定场景图像和场景+任意数量的相邻视图
输出：视差图

SFM算法校准相机参数和恢复相机的位姿
为每个相邻的视图生成平面扫面体（plane-sweep volume ），里面包含每个视差处的warp的颜色信息，网络会从这些这些匹配的Patch中提取特征信息
编码器-解码器架构来聚合大空间区域的特征。同时用在ImageNet上预先训练的VGG-Net的特征激活，指导解码器进行视差预测
将每幅相邻图像提取的信息与最大值层进行融合，得到最终的视差预测。

网络结构

数据集

训练：
DeMoN数据集
包括室外和室内场景的真实数据集(SUN3D ， RGBD SLAM ， CITYWALL和ACHTECK-TURM)和一个合成数据集(SCENES11)

MVS-Synth数据集
由电子游戏侠盗猎车手V.2中捕获的120个城市场景序列组成，每个序列由100个RGB帧组成，大小为1920×1080

评估集：ETH3D数据集

训练

过程：首先，用两个简单的3×3卷积层替换intra-volume feature aggregation网络来训练网络。接着将预先训练的网络初始化的权重添加intra-volume feature aggregation，并使用DeMoN和MVSSYNTH数据集训练整个网络。

细节：每一层梯度的l2范数在第一阶段不大于1.0，在第二阶段不大于0.1，来使用梯度裁剪来防止梯度爆炸

设备：NVIDIA P100 GPU

评价指标

几何误差（Geometric errors）：取预测视差与地真值之间的L1距离来计算几何误差。
光度误差（Photometric errors）：使用预测的视差图生成重投影，将像素warp到所有其他相邻图像，从相邻图像中采样颜色，最后在每个像素的所有候选颜色中选择中值。
完整性（completeness）：设置一个误差阈值，误差低于这个阈值的像素百分比则为重建的完整度

结果

定性分析

COLMAP对于天空、墙壁和白色办公桌表面等无纹理区域表现较差，DeepMVS能够给天空赋予0的视差,并且能够给弱纹理区域安排接近ground truth的结果。

定量分析

不足之处

视差量化，导致带来不必要的几何误差和光度误差
难以预测遮挡区域的的真值
计算速度慢，内存消耗大，无法用于大型网络场景

DeepMVS学习笔记相关推荐

PyTorch 学习笔记（六）：PyTorch hook 和关于 PyTorch backward 过程的理解 call
您的位置首页 PyTorch 学习笔记系列 PyTorch 学习笔记(六):PyTorch hook 和关于 PyTorch backward 过程的理解发布: 2017年8月4日 7,195阅读 ...
容器云原生DevOps学习笔记——第三期：从零搭建CI/CD系统标准化交付流程
暑期实习期间,所在的技术中台-效能研发团队规划设计并结合公司开源协同实现符合DevOps理念的研发工具平台,实现研发过程自动化.标准化: 实习期间对DevOps的理解一直懵懵懂懂,最近观看了阿里专家带 ...
容器云原生DevOps学习笔记——第二期：如何快速高质量的应用容器化迁移
暑期实习期间,所在的技术中台-效能研发团队规划设计并结合公司开源协同实现符合DevOps理念的研发工具平台,实现研发过程自动化.标准化: 实习期间对DevOps的理解一直懵懵懂懂,最近观看了阿里专家带 ...
2020年Yann Lecun深度学习笔记（下）
2020年Yann Lecun深度学习笔记(下)
2020年Yann Lecun深度学习笔记（上）
2020年Yann Lecun深度学习笔记(上)
知识图谱学习笔记（1）
知识图谱学习笔记第一部分,包含RDF介绍,以及Jena RDF API使用知识图谱的基石:RDF RDF(Resource Description Framework),即资源描述框架,其本质是一个 ...
计算机基础知识第十讲,计算机文化基础（第十讲）学习笔记
计算机文化基础(第十讲)学习笔记采样和量化PictureElement Pixel(像素)(链接: 采样的实质就是要用多少点(这个点我们叫像素)来描述一张图像,比如,一幅420x570的图像,就表示 ...
Go 学习推荐 —（Go by example 中文版、Go 构建 Web 应用、Go 学习笔记、Golang常见错误、Go 语言四十二章经、Go 语言高级编程）
Go by example 中文版 Go 构建 Web 应用 Go 学习笔记:无痕 Go 标准库中文文档 Golang开发新手常犯的50个错误 50 Shades of Go: Traps, Gotc ...
MongoDB学习笔记(入门)
MongoDB学习笔记(入门) 一.文档的注意事项: 1. 键值对是有序的,如:{ "name" : "stephen", "genda" ...

DeepMVS学习笔记