如何实现现实人脸照片的编码

因为目前StyleGAN生成的都是虚拟人物，如果我们能找到现实人物在初始域中对应的编码的话，那就意味着可以对现实中的人物进行操作和变化，这会带来一个很有意思的场景：我们每个人的人脸都可以用一个（18,512）维度的向量来表示，并且只要对这个向量稍作一些变动，就能生成出一个略微不同于我们的新的人脸模样（如下图所示）。

我们认为这个想法是有意义的，因为这意味着虚拟人物的生成能与现实人物产生依托或关联。首先有必要从理论上来简单解释一下这个想法——虽然我们无法保证StyleGAN的生成分布域涵盖了地球上所有人脸的样貌，但是由于StyleGAN的生成基于分级控制特征，并且训练集涵盖了人种、性别、年龄等各种样式的人脸，因此我们可以在生成分布中找到一张与现实人脸无比接近的人脸，并最终计算出其在初始域中对应的编码。

上图便解释了实际要做的事情，下面开始设计模型以实现这一想法。既然要做图像提取特征码，我们首先想到可以借鉴BiGAN（双向GAN）的思维，简言之就是加一个编码器，将生成器的输出当作输入，并将生成器的输入当作输出去进行训练，下面展示一个基于ResNet50模型设计的编码器。

上图是编码器的内部结构，主要是在ResNet50的模型后面加上几个转换层（添加较多的转换层有利于将图像特征转换为隐空间编码），实现上是比较容易的。
下面来看一下训练和测试的流程

如上图所示，训练时采用StyleGAN提供的源源不断的样本（该样本最好加上一些噪音，因为测试时获得的图片往往是不清晰的，而用有噪音的图片训练出的模型更容易在测试图片上获得好效果），得到一个预训练模型。不过考虑到这是在生成图片域上的训练，而在测试时我们用到的是真实图片，因此对于特定的图片还需要进行二次调整（迭代优化），才能找到它在初始分布域上的准确位置（参考的论文在这里，也可以查看译文）。下面展示一个测试效果，采用的是一张我本科同学的照片，发现基于StyleGAN重构生成的图片能与原图达到非常高的重合性。

我还进一步做了很多实验，主要是在大量明星名人的头像上，发现StyleGAN的复原效果是很惊艳的，不仅肖像人物、肖像背景都能基本贴合原图，而且对于粗糙肖像图的重构还能提升其画质。下面展示两张玛丽莲梦露和杨幂的重构生成图片。

如何实现现实人脸照片的编码相关推荐

人脸照片自动生成游戏角色_ICCV2019论文解析
人脸照片自动生成游戏角色_ICCV2019论文解析 Face-to-Parameter Translation for Game Character Auto-Creation 论文链接: http: ...
2块钱就能买上千张人脸照片？央视曝光AI黑产，产业链太惊人了
贾浩楠发自凹非寺量子位报道 | 公众号 QbitAI 「一张人脸照片,只值0.002元,2元钱就能买到上千张」: 「不法分子用公民照片,加上AI换脸技术,直接登录金融app-..」这些,都是 ...
facebook人脸照片_如何处理Facebook上的不良照片
facebook人脸照片 Not everyone is model pretty and capable of posing perfectly on a split second's notice ...
本周AI热点回顾：30行代码，让27吨发电机原地爆炸；Photoshop把AI论文demo打包实现了；2块钱就能买上千张人脸照片
点击左上方蓝字关注我们 01 Photoshop把AI论文demo打包实现了:照片上色.改年龄.换表情只需要点点鼠标这两年,我们从很多论文中看到过一些令人惊艳的 demo,比如老照片自动上色.低画质 ...
工厂用抽象类比接口_用简单的现实类比解释硬编码概念
工厂用抽象类比接口 by Samer Buna 通过Samer Buna 用简单的现实类比解释硬编码概念 (Hard Coding Concepts Explained with Simple Rea ...
清华大学提出APDrawingGAN，人脸照片秒变艺术肖像画
作者 | 刘永进教授来源 | 转载自数据派THU(ID:DatapiTHU) 清华大学提出APDrawingGAN,该项工作被CVPR 2019录取为oral paper.CVPR是计算机视觉和人工 ...
经典回顾 | 人脸照片秒变艺术肖像画：清华大学提出APDrawingGAN CVPR 2019 oral paper...
该项工作被CVPR 2019录取为oral paper.CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中oral paper288篇,仅占全部投稿 ...
人脸照片秒变艺术肖像画：清华大学提出APDrawingGAN CVPR 2019 oral paper
该项工作被CVPR 2019录取为oral paper.CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中oral paper288篇,仅占全部投稿 ...
CVPR 2019 | 人脸照片秒变艺术肖像画：清华大学提出APDrawingGAN
该项工作被CVPR 2019录取为oral paper.CVPR是计算机视觉和人工智能领域内的国际顶级会议,2019共收到投稿5160篇,录取1300篇,其中oral paper288篇,仅占全部投稿 ...
facebook人脸照片_为什么您的Facebook照片看起来如此糟糕（以及您可以如何做）...
facebook人脸照片 Facebook is a popular platform for sharing photos, even though it's not a very good one ...

如何实现现实人脸照片的编码

如何实现现实人脸照片的编码相关推荐

最新文章

热门文章