多视图几何三维重建实战系列- Cascade-MVSNet

MVSNet在2018年提出后，在估计深度图的应用中取得了非常好的结果。应用CNN于立体匹配的技术也使得传统的匹配效率整体提高。但是因为使用3D卷积神经网络进行深度正则化处理，所以即便在比较低的分辨率（900*600）下，也需要比较高的GPU消耗。针对该问题，该团队在CVPR2019上提出利用循环神经网络对3D代价体进行切片处理，大幅度减少GPU消耗，使得该网络框架不仅可以估计更大范围的场景，且估计精度更高。

本篇文章仍将就MVSNet内存消耗大的问题，介绍CVPR2020的一篇文章：Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching. 该文章沿用MVSNet深度估计的框架，具体创新在于改进Cost Volume的构造方式，使得利用深度学习估计深度时，在较低GPU消耗上估计高分辨率、大场景的深度。

1、背景介绍

基于深度学习的多视图立体，例如经典的MVSNet网络架构，通常会构造一个三维的代价体去回归场景的深度值，但MVSNet常受限于显存限制而无法对高分辨率的影像进行深度估计。

在MVSNet框架的基础上，多种方法对显存增长问题提出了改进方案，上一篇文章我们介绍了R-MVSNet，该方法利用循环神经网络GRU，对三维代价体进行切片，这样不仅保留了靠前的深度和纹理信息，也减少了GPU的消耗，深度估计精度和深度估计范围要优于MVSNet，不同方法的比较结果可通过图1体现。

多视图几何三维重建实战系列- Cascade-MVSNet相关推荐

多视图几何三维重建实战系列之MVSNet
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 1. 概述 MVS是一种从具有一定重叠度的多视图视角中恢复场景的稠密结构的技术,传统方法利用几何.光学 ...
视图几何三维重建实战系列之MVSNet
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 1. 概述 MVS是一种从具有一定重叠度的多视图视角中恢复场景的稠密结构的技术,传统方法利用几何.光学 ...
多视图几何三维重建实战系列之R-MVSNet
上期文章介绍了用于三维重建的深度学习框架MVSNet[1],这也是如今比较主流的深度估计的神经网络框架.框架的原理按照双目立体匹配框架步骤:匹配代价构造.匹配代价累积.深度估计和深度图优化四个步骤.使 ...
【算法】多视图几何三维重建+增量式SfM
多视图几何三维重建的基本原理: 从两个或者多个视点观察同一景物,已获得在多个不同的视角下对景物的多张感知图像,运用三角测量的基本原理计算图像像素间位置偏差,获得景物的三维深度信息,这一个过程与人类观察 ...
基于多视图几何的三维重建
前言三维重建是计算机视觉研究的重要内容之一,是根据单视图或者多视图的图像重建三维信息的过程. 早期的三维重建更多的是通过在相机进行预标定.或相机按照特定轨迹运动的情况下进行重建,这样的 ...
多视图几何中的三维重建
1. 简介资料来源为: 1)B站多视图几何三维重建视频讲解:https://www.bilibili.com/video/BV1Sj411f73e 2)武汉大学摄影测量与遥感专业博士李迎松的CSDN ...
重磅！国内首个三维重建系列视频课程，涉及SFM、立体匹配、多视图几何、结构光、单目深度估计等（最新版）...
写在前面感谢大家的一路陪伴与支持,这里赠送一张「3D视觉从入门到精通」知识星球优惠券,有效期两天,有需要的可以使用. 三维重建技术是计算机视觉的重要技术之一,基于视觉的三维重建技术通过深度数据获取. ...
国内首个三维重建系列视频课程，涉及SFM、立体匹配、多视图几何、结构光、单目深度估计等...
原文链接:国内首个三维重建系列视频课程,涉及SFM.立体匹配.多视图几何.结构光.单目深度估计等... 三维重建技术是计算机视觉的重要技术之一,基于视觉的三维重建技术通过深度数据获取.预处理.点云配准 ...
终于来了，国内首个三维重建系列视频课程，涉及SFM、多视图几何、结构光、单目深度估计等...
三维重建技术是计算机视觉的重要技术之一,基于视觉的三维重建技术通过深度数据获取.预处理.点云配准与融合.生成物体表面等过程,把真实场景刻画成符合计算机逻辑表达的数学模型. 由于三维重建对图像.光学.成 ...

多视图几何三维重建实战系列- Cascade-MVSNet

多视图几何三维重建实战系列- Cascade-MVSNet相关推荐

最新文章

热门文章