点击上方“3D视觉工坊”，选择“星标”

干货第一时间送达

来源丨计算机视觉SLAM

作者丨Realcat

Neural Radiance Fields (NeRF) 最近在计算机视觉领域获得了极大的关注，它提供了一种崭新的合成真实世界场景新视角的方法。然而，NeRF的一个局限性是它需要准确的相机位姿来学习场景表征。本文提出了一种 Bundle-Adjusting Neural Radiance Fields（BARF）算法，用于从不够准确（甚至是未知）的相机姿势中训练NeRF，可用于同时学习3D表征以及完成相机注册。本文从理论上建立了与经典图像对齐（image alignment）之间的联系，并阐明从粗到细的相机注册也适用于NeRF。此外，本文还发现，在NeRF中简单地使用位置编码对合成目标有负面影响（本文有改进）。在合成和真实世界数据上的实验表明，BARF可以有效地优化神经场景表征，并同时解决摄像机的姿势的错位。这使得视频序列的视图合成和来自未知摄像机姿势的定位成为可能，这为视觉定位系统（如SLAM）开辟了新的途径，也为密集的3D重建提供了潜在的应用。

代码：github.com/chelnhsuanlin/bundle-adjusting-NeRF

论文：arxiv.org/abs/2104.06405

主页：chenhsuanlin.bitbucket.io/bundle-adjusting-NeRF

2D图像配准

给出一只猫的5个图像块（如下图），神经网络能否学会将它们对齐，同时将它们拟合到一个高质量的基于坐标（coordinate-based）的神经图像表示？

可以的——但传统的位置编码会对注册过程产生负面影响。我们将优化过程可视化，证明了位置编码的影响。没有位置编码的简单MLPs在重建中缺乏保真度，而具有完全位置编码的MLPs则会导致次优的注册。通过利用从粗到细的策略，BARF解决了上述问题，并得到高度精确的几何变换和图像表示效果。

3D虚拟物体

下面的视频展示了传统的NeRF使用改进前位置编码以及BARF对于相机注册任务的对比效果（其中红线表示与真值之间的差异）

(左：NeRF，右：BARF)

下面比较了本文提出的新型视图合成结果。BARF 优化了高保真的三维场景表现，减少了伪影。

(左：NeRF w/o positional encoding; 中：NeRF w/ full positional encoding；右：BARF )

3D真实场景

下面的视频展示了BARF如何从RGB视频序列中学习未知摄像机姿势的3D场景。比较了视图合成的结果以及优化过程中的摄像机位姿。在NeRF中直接应用位置编码对注册过程是不利的，它很容易陷入次优解。

(第一行：合成图像，深度图；第二行：优化的摄像机位姿；第三行：相机位姿与COLMAP位姿对齐后的效果；（前两列为ReRF，后两列为BARF）)

海报

本文仅做学术分享，如有侵权，请联系删文。

3D视觉精品课程推荐：

1.面向自动驾驶领域的多传感器数据融合技术

2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)
3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进
4.国内首个面向工业级实战的点云处理课程
5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解
6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦
7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化
8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)

9.从零搭建一套结构光3D重建系统[理论+源码+实践]

10.单目深度估计方法：算法梳理与代码实现

11.自动驾驶中的深度学习模型部署实战

12.相机模型与标定(单目+双目+鱼眼）

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的视频课程（三维重建系列、三维点云系列、结构光系列、手眼标定、相机标定、激光/视觉SLAM、自动驾驶等）、知识点汇总、入门进阶学习路线、最新paper分享、疑问解答五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~