[ICCV2019]Deep Single-Image Portrait Relighting

标题：Deep Single-Image Portrait Relighting

链接：http://openaccess.thecvf.com/content_ICCV_2019/papers/Zhou_Deep_Single-Image_Portrait_Relighting_ICCV_2019_paper.pdf

本文解决的问题是在给定一张2D图的情况下如何改变照片中的光照的方向。

首先，作者使用了基于物理的重光照方法，基于CelebA-HQ数据集构建出了一套有多方向光源的数据集Deep Portrait Relighting(DPR)。然后用DPR来训练了一套自己的模型。

构建DPR数据集分为以下步骤：

1.作者检测了CelebA-HQ中每个人脸的landmark，删掉了没有landmark的图。

2.使用3DDFA提取了face normal(人脸法线）。

3.如上图所示，使用As-Rigid-As-Possible-based (ARAP-based)进一步增强了3DDFA提取的face normal，因为3DDFA使用了3DMM的先验，对于面部细节重构的并不好，因此作者通过将渲染图和原始图一起网格化，然后将渲染图扭曲到原始图那样，然后将扭曲方式应用到3D图形上，从而帮助模型学到更细节的东西。

4.用SFSNet提取了spherical harmonic（球谐函数），也即光照参数。之后输入随机的光照先验从而生成新的光照样本。

如上图所示，训练光照模型有以下的组成部分：

1.整体模型是一个auto encoder结构，其中encoder部分的输入就是原始的图片，输出光照和面部特征参数

2.decoder的输入是encoder输出的面部特征参数和目标图片的光照参数

3.在最后其实还有一个disrciminator，给模型提供了gan loss，来帮助模型修正DPR数据集中的错误（因为里面的图片大部分都是人工生成的光照，而不是真实的图片）。方式是将真实图片和生成图片一起输入discriminator，来帮助生成更加真实的光照。

[ICCV2019]Deep Single-Image Portrait Relighting相关推荐

Single Image Portrait Relighting via Explicit Multiple Reflectance Channel Modeling 论文笔记
基于显式多反射通道建模的单像人像重光作者:ZHIBO Wang 清华大学摘要: 现有肖像重打光缺陷: 没考虑镜面反射和阴影(specular and shadow). 已有的数据集不支持学习多反射 ...
Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images阅读札记
Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images阅读札记论文发表于2018年的TIP. 1 Ab ...
Faster Read: Learning a Deep Single Image Contrast Enhancer from Multi-Exposure Images
Single Image Contrast Enhancer IEEE Transactions on Image Processing April 2018 keywords: CNN(Convol ...
【今日CV 计算机视觉论文速览第111期】Fri, 3 May 2019
今日CS.CV 计算机视觉论文速览 Fri, 3 May 2019 Totally 29 papers ?上期速览✈更多精彩请移步主页 Interesting: ?****Single Image P ...
二维码提升对比度文献调研(2)--Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement
简介论文 (期刊和发表时间) Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement (CVPR 会议 2020) ...
计算机视觉论文-2021-04-02
本专栏是计算机视觉方向论文收集积累,时间:2021年4月2日,来源:paper digest 欢迎关注原创公众号 [计算机视觉联盟],回复 [西瓜书手推笔记] 可获取我的机器学习纯手推笔记! 直达笔记 ...
ECCV2022论文列表（中英对照）
Paper ID Paper Title 论文标题 8 Learning Uncoupled-Modulation CVAE for 3D Action-Conditioned Human Motio ...
人像图片Relight
你读的书构成了你,如果用一个词来形容你,那会是----破局者. 论文: Deep Single-Image Portrait Relighting Github:https://github.com/ ...
【CVPR2019】完整论文列表二
CVPR 2019 Paper list No.1001-1294 ?CVPR2019 完整列表一论文题目与链接 Semantic Component Decomposition for Face ...

[ICCV2019]Deep Single-Image Portrait Relighting

[ICCV2019]Deep Single-Image Portrait Relighting相关推荐

最新文章

热门文章