HumanNeRF：从2D视频提取动态人像，并转换为3D模型

近期，华盛顿大学计算机科学院的GRAIL图形和成像实验室发布了一项基于NeRF合成的新技术：HumanNeRF，该方案的最大特点就是利用AI算法将2D视频合成高保真3D全身模型。科研人员表示：HumanNeRF可从网络视频等2D数据提取动态人像，并进行自由视点渲染。

据了解，GRAIL实验室由Adobe、谷歌、Intel、微软、皮克斯等公司赞助，多年来不断在研发将2D图像、视频中内容风格，并“注入生命”的技术，效果就像是哈利波特中描绘的动态照片那样神奇。此前青亭网曾报道过一个“照片唤醒”AR方案就是GRAIL的研究项目之一，该方案的特点是可将2D图片中的人物变成3D动画，并允许3D动画以AR的形式从图片中脱离。

这一次，GRAIL团队通过HumanNeRF方案，把网络视频中的人渲染成支持自由视点查看的3D模型。HumanNeRF合成的3D模型可结合动捕系统，来合成动态的虚拟人像。

我们知道，NeRF全称是神经辐射场，它是一种小型神经网络，可通过2D图片来学习3D建模和渲染。作为近两年兴起的技术，AI神经渲染方案正在颠覆传统的3D渲染流程。NeRF技术的一些变体在几秒钟内便可学习和渲染复杂的3D模型。

NVIDIA图形研究副总裁David Luebke曾表示：NeRF就像是位图影像，原理是捕捉光线从一个目标出发或在一个场景中照射的规律。值得注意的是，GRAIL的投资者之一，谷歌也是NeRF技术的领军者，此前其曾与UC伯克利、UC圣地亚哥合作开发了NeRF模型方案，并用来渲染3D街区、3D物体。

而与其他NeRF方案相比，HumanNeRF的优势是合成的3D模型更清晰，重影概率小。训练HumanNeRF模型学习非刚性运动后，便可合成动态的服装褶皱变化。值得注意的是，科研人员还利用HumanNeRF来合成视频输入的反向视角，也就是说如果2D视频中的人是正面，那么则合成3D模型的背面，听起来很难，不过HumanNeRF的合成效果看起来足够自然。

HumanNeRF可将任何单视角视频中的人体运动转化为3D模型，也就是说可以将视频中的人像抠出来，做成AR，或是与3D场景结合。细节方面，HumanNeRF实际上是对视频中某一帧的人体动作进行抠图，生成的3D模型可从任意角度查看，也就是说2D图像中没有显示的部分也可以合成出来。这意味着，未来网络上的2D视频资源也可以轻松转化成3D内容。大量的网络视频也可以成为NeRF模型的训练数据。

硬件方面，HumanNeRF需要在四个GeForce RTX 2080 Ti GPU上进行训练，需要72个小时。而利用NVIDIA Instant NGP三维重建训练方案，将大大降低NeRF所需的算力。

通过验证，HumanNeRF利用单一角度视频渲染3D姿态的效果足够有效。HumanNeRF解决了3D人像渲染的两大难题：神经网络渲染动态对象、对于多摄像头方案的依赖。此外还可学习人体T型姿态，并通过运动场来学习刚性骨骼运动和非刚性运动。运动场和姿态预测学习信息可根据2D视频中的姿态去修改3D模型，并在NeRF中渲染。

不过目前，这项技术还有一些需要优化的局限，比如视频中未出现完整的身体，或是部分身体被遮挡，生成的3D模型可能会出现伪影。加入姿态矫正后，可改善图像对其效果。但如果初始姿态预估数据不良，或是包含运动模糊等明显的伪影，逐帧生成的3D姿态在时间维度上依然不平滑。

另一方面，也可以假设人体非刚性运动与姿态相关，从而预测3D数据的运动，但准确性依然不够好（在吹风、运动等情况下，人的衣服也会移动）。此外，HumanNeRF假设视频背景的照明是漫射的，也就是说场景中的人运动时，周围的亮度不会发生变化。如果自动合成的3D模型出现分割错误，那么将需要依靠人工来手动干预。参考：GRAIL

HumanNeRF：从2D视频提取动态人像，并转换为3D模型相关推荐

视频提取关键帧工具类KeyFramesExtractUtils.py，动态支持三种取帧方式，关键参数可配置，代码经过优化处理，效果和性能更好。
同步上一期视频关键帧提取方法: 视频提取关键帧的三种方式[已调通]_君临天下tjm的博客-CSDN博客_视频关键帧提取关键代码如下:# -*- coding: utf-8 -*-"" ...
视频提取关键帧的三种方式【已调通】
推荐优化后的视频关键帧提取方法,已经包装成工具类,代码做了优化,性能和效果更好. 视频提取关键帧工具类KeyFramesExtractUtils.py,动态支持三种取帧方式,关键参数可配置,代码经过优 ...
视频提取gif如何操作？教你用gif制作工具快速截取gif
从视频中提取gif动画就是将电影.电视剧中的某一段视频提取出来做成gif格式的动态图片.那么,如何使用电脑或是手机来将视频转换成gif动图呢? 一.使用什么工具能够完成视频转gif制作呢? 通过使用G ...
单张人像生成视频！中国团队提出最新3D人脸视频生成模型，实现SOTA
来源:IEEE 编辑:新智元 [导读]稀疏人脸特征点生成的人脸图像视频通常会遇到图像质量损失.图像失真.身份改变,以及表情不匹配等问题.为此作者使用重建出的三维人脸动态信息来指导人脸视频的生成.结果显 ...
怎么把动态图从python弄下来_Python将视频或者动态图gif逐帧保存为图片的方法
本文是基于opencv将视频和动态图gif保存为图像帧.可以根据输入视频格式的不同,修改第21行. 对动图的处理不同于视频,PIL库包含对图像序列的基本支持.当打开gif图像时,自动加载第一帧.当图像 ...
如何html中添加动态图片,把动态图片添加到视频画面中视频添加自定义动态图片视频加动态logo...
我前面也编写过关于视频添加动态图片的教程.前面所说的给是视频添加的动态图片是软件中自带的素材,虽然软件中带的动态图片种类繁多,但是不外乎有些时候软件中并没有我们要用的动态图片,这个时候我们就需要重外部 ...
python怎么存为动图_Python将视频或者动态图gif逐帧保存为图片的方法
本文是基于opencv将视频和动态图gif保存为图像帧.可以根据输入视频格式的不同,修改第21行. 对动图的处理不同于视频,PIL库包含对图像序列的基本支持.当打开gif图像时,自动加载第一帧.当图像 ...
FFmpeg将视频提取成帧
首先cd到ffmpeg的bin目录下, D:\Research direction\data set\ffmpeg\ffmpeg-4.4-essentials_build\bin> #将视频提取 ...
全网功能最全的无水印短视频提取工具
介绍: 视频下载简介:全网功能最全的无水印短视频提取工具,只要输入短视频链接,即可一键下载超多的无水印视频哦,欢迎下载体验! 网盘下载地址: https://zijiewangpan.com/8SJk ...

HumanNeRF：从2D视频提取动态人像，并转换为3D模型

HumanNeRF：从2D视频提取动态人像，并转换为3D模型相关推荐

最新文章

热门文章