View Synthesis
一、SynSin: End-to-End Synthesis from a Single Image （CVPR2020）
该论文给出了一个视角图片生成的方法，其pipeline如下图：
首先将图片输入特征和深度网络得到特征map和深度图，接着通过相机参数变换为带特征的点云，接着根据相对变换矩阵T，将带特征的点云渲染到二维像素位置上，接着通过一个GAN生成最终的新视角图片。
该论文的渲染方式值得关注，其并不是简单的使用zbuffer和固定投影像素位置渲染的，在z深度和平面广度上都是软映射的。
平面广度上是线性递减的辐射，在深度上取k近邻并排序后，按照次序递减：
这种软渲染的方式估计会牺牲较大的渲染精度，但是对于优化问题来说非常合适不过。
二、Free View Synthesis （ECCV 2020）
该工作的框架大致为：利用其他角度的视图，经过特征编码之后，用估计的深度和角度进行warping，转换到目标视角下。随后使用Unet为GRU单元的循环神经网络输出多个预测图像和置信度，随后依照置信度进行加权求和，获得最终的图像。由于是循环神经网络，因此可以有任意多个输入帧进行新视角视图预测。
View Synthesis相关推荐
- 【论文笔记】Generative Adversarial Frontal View to Bird View Synthesis - 论文阅读笔记
[论文笔记]Generative Adversarial Frontal View to Bird View Synthesis 这篇论文是一篇发表在3DV会议上的文章,提出了基于GAN进行视角迁移与 ...
- [非卷积5D中文翻译及学习笔记] 神经辐射场 NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
不使用3D建模,使用静态图片进行训练,用(非卷积)深度网络表示场景的5D连续体表示,再通过ray marching进行渲染. 本中文翻译使用"机器学习+人工校准/注解"的方式完成. ...
- 【论文笔记 - NeRFs - ECCV2020】NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis 0背景介绍 用神经辐射场来表征场景,用于新视角图像生成任务 ...
- 【论文阅读】NeRF: Representing Scenesas Neural Radiance Fieldsfor View Synthesis
NeRF是一篇发表在ECCV 2020的一篇文章,并获得了当年Best Paper称号.该技术一经提出就惊艳了众人,NeRF目前也是计算机视觉领域一个非常有趣并且火热开展的研究方向.博主本人后续的研究 ...
- 论文阅读：XraySyn: Realistic View Synthesis From a Single Radiograph Through CT Priors
XraySyn: Realistic View Synthesis From a Single Radiograph Through CT Priors 来源:MICCAI2021 摘要 x光照片通过 ...
- NeRF拜读：Representing Scenes as Neural Radiance Fields for View Synthesis
神经辐射场 非显式地将一个复杂的静态场景用神经网络来建模.训练完成后,可以从任意视角渲染出清晰的场景图片. 过程 大量已知相机参数的图片作为输入 通过输入训练MLP神经网络,隐式地学习静态3D场景 利 ...
- 论文笔记：NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录 文章摘要 1 Neural Radiance Field Scene Representation (基于神经辐射场的场景表示) 2 Volume Rendering with Radiance ...
- 文献翻译阅读-NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
目录 信息 简介 相关工作 神经3D表示 视角合成和基于图像的渲染 方法 体渲染技术(用离散形式表示连续积分) 优化神经场的技术 位置编码 分层体积抽样 实施细节 结果 结论 参考 信息 NeRF,即 ...
- 读论文12——NeRF：Representing Scenes as Neural Radiance Fields for View Synthesis
目录 Abstract Introduction Related Work Neural Radiance Field Scene Representation Volume Rendering wi ...
最新文章
- python手记(45)
- 【Groovy】编译时元编程 ( 编译时元编程引入 | 声明需要编译时处理的类 | 分析 Groovy 类的 AST 语法树 )
- Android version and Linux Kernel version
- POJ 2724 Purifying Machine (二分图匹配)
- 如何快速掌握oracle,教你如何快速从 Oracle 官方文档中获取需要的知识
- 【Qt】modbus之TCP模式写操作
- win10大文件无法移动到U盘
- 80%程序员不知道的职场秘诀，升职加薪不是梦
- 数据结构基础学习（一）数组
- 国内交通产业进入新纪元 智能加码功不可没
- angular发布代码有缓存_[译文]RxJS缓存进阶
- access设置 dolby_Dolby Access免费版
- CMM与ISO9000
- 生物信息学在线服务器,48个实用的生信在线工具强烈推荐，不看是你的损失！...
- 四阶幻方c语言编程,13年 第四届 蓝桥杯C语言C组 第4题 幻方填空
- webpack打包时提示：The following entrypoint(s) combined asset size exceeds the recommended limit
- matebook14支持触摸屏吗_2020款的matebook14增加了多点触控屏是最大亮点
- 加拿大量子计算机原理,量子计算机是基于什么原理而制造出来的？
- kubectl源码分析之config delete-context
- [讲座论坛] 竹资源培育与中国竹产业