CVPR2022

Preliminary

首先我们由一组室内的RGB图像 { I i } i = 0 N − 1 , I i ∈ [ 0 , 1 ] H × W × 3 \{I_i\}^{N-1}_{i=0}, I_i \in [0,1]^{H \times W \times 3} {Ii}i=0N−1,Ii∈[0,1]H×W×3。
通过SFM的方法，我们可以获得相机位姿 p i ∈ R 6 p_i \in \mathbb{R}^6 pi∈R6, 内参矩阵 K i ∈ R 3 × 3 K_i \in \mathbb{R}^{3 \times 3} Ki∈R3×3以及稀疏的深度图 Z i s p a r s e ∈ [ 0 , t f ] H × W Z^{sparse}_i \in [0,t_f]^{H \times W} Zisparse∈[0,tf]H×W。

Method

Depth Completion with Uncertainty

论文指出了稀疏深度重建过程中的两个问题，第一，稀疏点是由噪声以及离群点的。第二，稀疏深度点在不同图像上的数量以及位置都变化显著。
针对第一点，论文在预测稠密深度的同时预测方差，类似于Uncertainty的做法。简单来说，就是在进行深度补全过程中，针对离群点和噪声点的限制进行放缩并通过不确定性估计标记噪声和离群点位置，具体可以参考[1].
也就会形成这样的损失函数：
在训练过程中，训练数据的Sparse Depth是从 Sensor Dense Depth中采样来的，为了保证稀疏深度点的真实，会通过SIFT特征点匹配的方法决定深度点的位置。

Radiance Field with Dense Depth Priors

这里对NeRF的表示方法中嵌入了一个向量 l ∈ R e \mathscr{l} \in \mathbb{R}^e l∈Re。这使得网络能够补偿不一致的照明以及镜头阴影等。
NeRF深度估计和方差可以通过以下公式获得：
对于深度的监督Loss如下：

Reference

[1]Zhu Y, Dong W, Li L, et al. Robust depth completion with uncertainty-driven loss functions[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2022, 36(3): 3626-3634.

论文阅读：Dense Depth Priors for Neural Radiance Fields from Sparse Input Views相关推荐

【论文阅读】NeRF: Representing Scenesas Neural Radiance Fieldsfor View Synthesis
NeRF是一篇发表在ECCV 2020的一篇文章,并获得了当年Best Paper称号.该技术一经提出就惊艳了众人,NeRF目前也是计算机视觉领域一个非常有趣并且火热开展的研究方向.博主本人后续的研究 ...
文献翻译阅读-NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录信息简介相关工作神经3D表示视角合成和基于图像的渲染方法体渲染技术(用离散形式表示连续积分) 优化神经场的技术位置编码分层体积抽样实施细节结果结论参考信息 NeRF,即 ...
论文阅读：（NFM）Neural Factorization Machines for Sparse Predictive Analytics
文章目录摘要一.Introduction 二.NFM基本原理 1.系统框架 1.Embedding Layer 2.Bi-Interaction Layer 3.Hidden Layer 4.Pr ...
论文笔记NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF使用神经网络来表示场景.给定一个场景,输入该场景一些视角的图片,NeRF可以合成该场景新视角的图片. 神经辐射场神经辐射场(neural radiance field,NeRF)使用5D的向 ...
论文阅读 [TPAMI-2022] ManifoldNet: A Deep Neural Network for Manifold-Valued Data With Applications
论文阅读 [TPAMI-2022] ManifoldNet: A Deep Neural Network for Manifold-Valued Data With Applications 论文搜索 ...
论文笔记：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录文章摘要 1 Neural Radiance Field Scene Representation (基于神经辐射场的场景表示) 2 Volume Rendering with Radiance ...
NeRF系列(2):NeRF in the wild : Neural Radiance Fields for Unconstrained Photo Collections论文解读与公式推导
NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections 论文:https://openaccess.t ...
【论文笔记 - NeRFs - ECCV2020】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 0背景介绍用神经辐射场来表征场景,用于新视角图像生成任务 ...
[论文解析] NeRF-Art: Text-Driven Neural Radiance Fields Stylization
文章目录 Overview What problem is addressed in the paper? Is it a new problem? If so, why does it matter ...

论文阅读：Dense Depth Priors for Neural Radiance Fields from Sparse Input Views

Preliminary

Method

Depth Completion with Uncertainty

Radiance Field with Dense Depth Priors

Reference

论文阅读：Dense Depth Priors for Neural Radiance Fields from Sparse Input Views相关推荐

最新文章

热门文章