点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

作者丨泡泡机器人

来源丨 泡泡机器人SLAM

标题：Nerual RGB-D Surface Reconstruction

作者：Dejan Azinovic，Ricardo Martin-Brualla，Dan B Goldman，Matthias Nießner，Justus Thies

机构：Technical University of Munich，Google Research ，Max Planck Institute for Intelligent Systems

来源：CVPR2022

编译：张海晗

审核：zhh

代码：https://github.com/dazinovic/neural-rgbd-surface-reconstruction

摘要

大家好，今天为大家带来的文章是Nerual RGB-D Surface Reconstruction，神经网络的RGB-D曲面重建。

获得房间规模场景的高质量3D重建在VR和AR中的应用是至关重要的。虽然当前使用NeRF可以对一些对象和场景的外观进行三维重建，但并不能重建实际表面。在使用Marching Cubes提取表面时，基于密度的体积表示会导致伪影，这是因为在优化的过程中，密度会沿着射线方向积分，而且不会用于某个单独的采样点。我们建议使用隐式函数TSDF（truncated signed distance function)）来表示表面，而不是用体积来表示表面。我们展示了如何在NeRF框架中加入这种表示，并将其扩展为使用来自RGB-D传感器的深度估计。此外，我们还提出了一种相机位姿估计和优化技术，可以提高整体的重建质量。

主要工作与贡献

• 提出了一种基于RGB-D的场景重建方法，该方法利用了密集的颜色和深度信息进行三维重建。

• 本文将深度估计有效地结合到神经辐射场的优化中，使用基于距离的带符号的表面表示来储存场景几何信息。

• 本文提出的姿态估计和相机优化技术能够补偿输入数据中的错位，从而产生高质量的重建模型，并在SCanNet数据集上验证了这一点。

主要方法

混合场景表示

在本文中，混合场景表示是将传统的隐式表面表示与体积外观表示相结合的一种全新表面表示方式。传统的隐式表面表示是基于截断符号距离（truncated signed distance）的一种表示方式，体积外观表示是借鉴Nerf（Nerual Radiance Field）中的基于密度的体积外观表示方法。我们将颜色渲染为沿光线的辐射值的加权和。这里不同的地方是，不是根据介质的密度将权重计算为给定样本点的光反射概率，而是直接从符号距离值计算权重，作为两个 sigmoid 函数的乘积。

该函数产生了带符号距离场的无偏估计。截断距离tr直接控制当与表面的距离增加时权重降为零的速度。为了考虑多个交叉点的可能性，第一个截断区域之外的样本权重设置为零。沿特定光线的颜色近似为 K 个采样颜色的加权和。

混合场景表示网络由两个表示形状和辐射度的MLP 组成，如图 1 所示。形状MLP将查询的 3D 点 γ(p) 的编码作为输入，并将截断符号距离 Di 输出到最近的表面。第二个 MLP 的任务是产生给定编码视图方向 γ(d) 的表面辐射度和形状 MLP 的中间特征输出。视图矢量调节决定我们的方法可以处理与视图相关的效果，例如镜面高光，否则将必须通过变形几何来建模。由于颜色数据经常受到不同的曝光或白平衡的影响，我们学习每帧潜在的corrective code vector作为辐射 MLP 的附加输入。

优化

我们通过从颜色和深度图像的输入数据集中随机抽样一批Pb像素来优化我们的场景表示网络。对于批处理中的每个像素p，使用其对应的相机姿态生成一条射线，并在射线上生成Sp个采样点。我们的全局目标函数L(P)在所有B个输入批次中以未知参数P(网络参数Θ和相机姿态Ti)的w.r.t.的形式最小化，并定义为：

度量第b批射线的观测像素颜色和预测像素颜色之间的平方差

是一个自由空间目标，它迫使MLP预测位于摄像机原点和曲面截断区域之间的样本  的tr值

对于截断区域  内的样本，我们采用  ，即接近表面的样本的符号距离目标。

实验结果

点击阅读原文， 即可获取本文下载链接。

本文仅做学术分享，如有侵权，请联系删文。

3D视觉工坊精品课程官网：3dcver.com

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

13.重磅！四旋翼飞行器：算法与实战

14.ROS2从入门到精通：理论与实战

15.国内首个3D缺陷检测教程：理论、源码与实战

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~