Nerf简介

Nerf（neural Radiance Fileds）为2020年ICCV上提出的一个基于隐式表达的三维重建方法，使用2D的 Posed Imageds 来生成（表达）复杂的三维场景。现在越来越多的研究人员开始关注这个潜力巨大的领域，也有方方面面关于 Nerf 的工作在不断被提出。
Nerf 为输入为稀疏的、多角度、带有姿态信息的图像的神经网络模型，可以用于渲染出任意视角下的清晰照片。（Nerf是使用MLP神经网络来隐式表达的一个三维场景），如下图所示：

背景知识

Nerf本质是图形学的3D渲染（Render）功能，使用隐式表达来表示3D信息。
3D渲染：将场景定义（包括摄像机、灯光、表面几何与材料）转换为模拟摄像机图像的过程称为渲染，渲染的结果为该视角下的一张照片。相机拍摄过程为一个光学物理成像过程，是光线经过镜头到达传感器中被记录的过程如下图所示：

传统的3D渲染方法包括：
光栅化（rasterization）：光栅化是是空间中的物体使用透视投影来"投射 "到2d图像上，然后通过采样技术填充二维三角形所覆盖的图像的所有像素。
光线追踪（ray tracing）：通过图像中的每个像素追踪一条射线，找出相机与该射线相交的任何物体之间的距离。通过该像素可见的物体就是相交距离最小的物体。通过在图像中的所有像素上循环，为每个像素追踪一条光线，然后找出这些光线是否与场景中的任何物体相交来创建图像。该算法需要两个主要循环。外循环遍历图像中的像素，内循环遍历场景中的物体。
隐式表达：使用隐函数 f ( x , y , z ) = 0 f(x, y, z)=0 f(x,y,z)=0来表示空间中3d点的位置关系，所有满足约束的3d点都为待表达的目标点。该方法难以描述复杂物体，且非直观，但是该方式有以下优点：（1）表达方式简单。（2）便于查询，直接通过坐标点代入隐函数中可以查询该点与平面的关系。（3）能以较高的精度表达简单物体。（4）易于处理拓补结构（如流体）。
显示表达：直接给出，或通过参数映射的方式来表达空间中点的信息，如电云与深度图。

3D空间中物体的表达方式：
显示表达：

隐式表达：

Nerf的应用

1 新视点生成（View Synthesis）：https://www.matthewtancik.com/nerf
2 360°重建：https://jonbarron.info/mipnerf360/
3 大型场景重建：http://waymo.com/research/block-nerf
4 人体重建：https://zhaofuq.github.io/humannerf/
5 3D风格迁移：https://www.youtube.com/watch?v=0Z8FYd8MV1k&list=PL6liSIqFR4BW3FTN5lpruLIVGqv3wMpMG&index=13

基于神经辐射场（Neural Radiance Fileds， NeRF）的三维重建- 简介相关推荐

大汇总 | 9种基于神经辐射场NeRF的SLAM方法你都知道吗？
作者 | 秦通编辑 | 算法邦点击下方卡片,关注"自动驾驶之心"公众号 ADAS巨卷干货,即可获取点击进入→自动驾驶之心[SLAM]技术交流群后台回复[SLAM综述]获取 ...
火爆科研圈的三维重建技术：Neural radiance fields (NeRF)
如果说最近两年最火的三维重建技术是什么,相信NeRF[1]是一个绝对绕不过去的名字.这项强到逆天的技术,一经提出,就被众多研究者所重视,对该技术进行深入研究并提出改进已经成为一个热点.仅仅过了不到两年 ...
分享 | 用于视图合成的神经辐射场技术
2020和2021年,最火的计算机视觉技术非Transformer莫属.而除Transformer之外,最受欢迎也最有趣的技术我想应该是ECCV 2020的神经辐射场 (Neural Radiance ...
NeRF论文解析 - Neural Radiance Field
摘要 NeRF 的基本思想是用神经网络作为一个 3D 场景的隐式表达,代替传统的点云.网格.体素.TSDF 等方式,同时通过这样的网络可以直接渲染任意角度任意位置的投影图像. 其主要工作如下: 1)提 ...
论文笔记：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录文章摘要 1 Neural Radiance Field Scene Representation (基于神经辐射场的场景表示) 2 Volume Rendering with Radiance ...
NeRF拜读：Representing Scenes as Neural Radiance Fields for View Synthesis
神经辐射场非显式地将一个复杂的静态场景用神经网络来建模.训练完成后,可以从任意视角渲染出清晰的场景图片. 过程大量已知相机参数的图片作为输入通过输入训练MLP神经网络,隐式地学习静态3D场景利 ...
26、Nerfies:Deformable Neural Radiance Fields
简介主页:https://nerfies.github.io/ DNerf建模了场景内容的变形,但其目的不是为了提供多视角的动态图,而是为了对场景内容发生微小扰动更鲁棒.方法针对的是人的自拍图像,通 ...
神经辐射场的几何编辑CVPR2022
目录摘要 1.引言 2.相关工作 2.1.新视图合成 2.2.3D编辑方法 3.方法 3.1.神经辐射场 3.2.显式曲面网格表示的编辑 3.3.变形转换到离散体积(Discrete Volume) ...
CVPR 2022 | 神经辐射场几何编辑方法NeRF-Editing
阿里巴巴大淘宝技术的研究人员和中科院计算所提出了一种允许用户自由编辑神经辐射场几何内容的方法,以论文<NeRF-Editing: Geometry Editing of Neural Radia ...

基于神经辐射场（Neural Radiance Fileds， NeRF）的三维重建- 简介

Nerf简介

背景知识

Nerf的应用

基于神经辐射场（Neural Radiance Fileds， NeRF）的三维重建- 简介相关推荐

最新文章

热门文章