LeCun转发AgileGAN:人脸转卡通、漫画、油画
点击上方“机器学习与生成对抗网络”,关注星标
获取有趣、好玩的前沿干货!
来源:外媒 编辑:新智元 LRS
【新智元导读】如何把肖像画变成动漫形象一直是一个研究热点,最近NTU的一个华人博士生提出一个新模型AgileGAN,效果碾压老牌模型。把LeCun的肖像画输入进去,竟得到惊天夸赞!
AgileGAN模型是一个能对肖像图进行风格化的模型,论文发表在计算机图形学顶级会议 SIGGRAPH 2021上。
当把Yann LeCun的照片输入到模型中,会发生什么?(Lecun本人会回复你)
LeCun的肖像画输入到AgileGAN中,以三种形式(卡通、漫画、油画)输出,获得了LeCun本人极高的评价:比梵高画的还好!
对于这三张图片,网友表示,最后一张漫画风格图和孙悟空很像!
AgileGAN 模型
肖像画作为一种艺术形式,已经从传统的现实主义描绘演变为其他大量的创作风格。
尽管在肖像自动风格化方面已经取得了实质性进展,但是生成高质量的肖像画仍然是一个挑战,即使是使用最近流行的Toonify,在用于输入真实的图像时也遭受了一些瑕疵的困扰。
这种基于StyleGAN的方法着重于寻找最佳的隐空间映射来重建输入图像。但是,我们发现这并不能很好地作用出不同的肖像风格。
因此,论文提出了AgileGAN,这是一个可以通过隐射一致隐空间的转移学习生成高质量风格肖像的框架。引入了一种新颖的分层变分自编码器,以确保映射隐空间分布符合原始的高斯分布,同时将原始空间扩展为多维度隐空间,以便更好地编码不同级别的细节。
为了更好地捕获面部特征生成,我们还提出了一种属性感知生成器,并采用了一种动态停止策略,以避免过度拟合小型训练数据集。
我们的方法在创建高质量和高分辨率(1024×1024)肖像风格化模型方面提供了更大的敏捷性,只需要有限数量的风格样本(~100)和较短的训练时间(~1小时)。
我们收集了几个用于评估的风格数据集,包括 3D 卡通、漫画、油画和名人。
结果表明,通过定性、定量和通过用户调研研究进行的比较,可以实现优于以前最先进方法的肖像风格化质量。
文中还将演示该方法的两种应用,图像编辑和风格视频生成。
给定单个输入图像,AgileGAN可以快速(130 毫秒)并自动生成各种艺术风格的高质量(1024×1024)风格人像 。对于一种新风格,我们的敏捷训练策略仅需要大约100个训练样本示例,并且可以在1小时内完成训练。
模型的主要流程是一个分层VAE,由一个编码器和生成器组成,带有表示不同训练数据流的不同颜色箭头基于StyleGAN2。蓝色箭头表示图像embedding,橙色箭头表示迁移学习。黑色边框表示块权重,从FFHQ数据集上预先训练的StyleGAN2得到的预训练权重,在训练期间参数保持不变。输入由Erin Wagner(public domain)提供。
为了生成样式化的肖像,模型使用一个相对风格范例的小集合。主要框架基于StyleGAN2,但增强了多路径结构,以更好地适应与已知属性相对应的不同特征,如性别等。
为了缓解解决数据集的特征问题,更好地保留用户身份,训练过程采用了迁移学习和早期停止策略来训练生成器。
属性感知(attribute-aware)生成器网络的体系结构。每个潜在编码????, 从标准高斯分布采样,首先映射到中间编码????. 每个???? 向前转换为样式块中的仿射变换,并通过自适应实例控制生成归一化(AdaIN)。
解码时,首先初始化一个常量特征映射。在较低的层中使用多个路径属性特异性,而共享高层统一纹理外观。使用多属性特定鉴别器来评估生成的图像的质量图像。包括鉴别器的网络权值从StyleGAN2初始化。
给定一个输入的人脸图像????, 它首先被扭曲并标准化为256×256,并由hVAE编码得到隐高斯后验分布????(????|????), 从这以后重要度分布只与hVAE训练相关。
在推断过程中通常不从这个分布中取样,而是直接用分布均值作为latent code ????, 可以更好地保持时间一致性。
这个编码???? 然后通过到所选的样式化生成器以生成1024×1024样式化的形象。
在极少数情况下,可能存在高频伪影生成。在这些情况下,我们可以从输入的高斯分布中抽取多个实例,从而得到多个输出图像。
我们也可以选择一个没有人工制品的手动或在输出图像中选择平均感知距离最小的图像。
对于性别属性,使用一个简单的外部预先训练的性别检测网络。
总的来说,推理阶段需要每幅图像约130毫秒。
生成质量的评估上,文中方法的结果可以与Toonify(2020的一个模型)和其他最近的非配对图像翻译技术,包括CycleGan(2017年),UNIT(2017年)和UGATIT(2020年)。
文中的对比结果由使用了作者的代码和设置来训练他们的模型,在作者提供的卡通数据集上传输给生成器。在他们的方法中,他们使用优化方法嵌入在潜在空间中输入图像,并将相应的编码输入到迁移学习得到的生成器。对于其他三种图像翻译方法,还使用了各自作者的代码和设置,以便在CelebA训练总的数据集和卡通数据集。
由于收敛困难和GPU内存限制,这些方法无法直接支持1024×1024分辨率,因此保持原来的256×256参与训练,输出到1024×1024进行比较。
Toonify的结果展示一些可见的人工制品,如不寻常的淡黄色斑块。
至于其他未配对的图像翻译方法,除了没有支持更高的决议,他们也没有很好地应付时用有限的范例训练。
作者
文中的第一作者是来自南洋理工大学的四年级博士生Song Guoxian,目前在字节跳动美国AI lab实习。
主要的研究兴趣是计算机视觉和图形,包括基于图像的 3D 人脸重建/分析、注视估计、人像重绘,尤其是针对 VR/AR 应用程序。
在线试用
模型提供了一个在线试用的网站。
当输入一张肖像图时,可以选择生成三种风格的动漫图片。
卡通风格:
油画风格:
漫画风格:
你学废了吗?
参考资料:
https://twitter.com/ylecun/status/1402148354688229376?s=21
https://guoxiansong.github.io/homepage/agilegan.html
猜您喜欢:
超100篇!CVPR 2020最全GAN论文梳理汇总!
拆解组新的GAN:解耦表征MixNMatch
StarGAN第2版:多域多样性图像生成
附下载 | 《可解释的机器学习》中文版
附下载 |《TensorFlow 2.0 深度学习算法实战》
附下载 |《计算机视觉中的数学方法》分享
《基于深度学习的表面缺陷检测方法综述》
《零样本图像分类综述: 十年进展》
《基于深度神经网络的少样本学习综述》
LeCun转发AgileGAN:人脸转卡通、漫画、油画相关推荐
- 漫画的由来,卡通漫画、暴走漫画、先锋漫画、漫画与前卫艺术之间的边缘艺术形式、实用漫画、讽刺漫画、幽默漫画的定义...
漫画二字起源于中国北宋,最初用"漫画"二字的是北宋学者画家晃以道,在其著作<景迂生集>中说:"黄河多淘河之属,有曰漫画者,常以嘴画水求鱼."这里说的 ...
- php 照片变成卡通照片,Photoshop实例:变照片为卡通漫画
Photoshop实例:变照片为卡通漫画 一直有朋友问怎么把照片变成卡通漫画般的效果,我这里做了一个尝试,并截了一系列的过程,虽然有些繁琐,但是希望给大家提供一些思路. 原图: 图1 修改以后: 图2 ...
- honeyselect捏脸教程_动漫女生的脸怎么画?卡通漫画少女教学
动漫女生的脸怎么画?卡通漫画少女教学!我们知道,人类的审美是具有时代特征的.在不同的历史时期,人们的审美会发生变化.举个栗子:"楚王好细腰,宫中多饿死""燕瘦环肥&quo ...
- qt 子窗口写到线程就卡死_QT/C++实现卡通漫画风格化
先放一些结果图. 除去界面,图像处理部分的原理很简单,主要用到这4个: 1. 上采样和下采样. 2. 双边滤波. 3. 中值滤波. 4. 边缘检测. 大致流程是先多次下采样缩小图片,然后进行多次双边滤 ...
- 用python画卡通图_需要用Python和OpenCV制作一张卡通漫画版的图片
我正在尝试制作一个能使任何图像看起来像卡通漫画的功能. 这是我到目前为止的代码: import numpy import cv2 __author__ = "Michael Beyeler& ...
- 人工智能个性化和逼真的漫画素描生成输入人脸图像创建漫画照片
人工智能个性化和逼真的漫画素描生成输入人脸图像创建漫画照片摘要 - 在本文中,我们提出了第一个交互式个性化和真实感面部漫画的素描系统.输入人脸图像,用户可以通过操纵其面部特征曲线来创建漫画照片.我们的 ...
- HTML5期末大作业:网站——卡通漫画游戏官方网页 (萌王) 13个页面 HTML+CSS+JavaScript ~ 学生HTML个人网页作业作品下载 ~ web课程设计网页规划与设计
HTML5期末大作业:HTML5期末大作业:网站--卡通游戏官方网页 (萌王)HTML+CSS+JavaScript ~ 学生HTML个人网页作业作品下载 ~ web课程设计网页规划与设计 ~大学生个 ...
- HTML5期末大作业:动漫网页主题设计——卡通漫画教育首页HTML+CSS+JavaScript 动漫网页HTML代码 学生网页课程设计期末作业下载 动漫大学生网页设计制作成...
HTML5期末大作业:动漫网页主题设计--卡通漫画教育首页HTML+CSS+JavaScript 动漫网页HTML代码 学生网页课程设计期末作业下载 动漫大学生网页设计制作成 临近期末, 你还在为HT ...
- AE494 12种卡通漫画风格砰砰弹出对话框气泡视频字幕动画娱乐搞笑电视节目ae片头模板
AE494 12种卡通漫画风格砰砰弹出对话框气泡视频字幕动画娱乐搞笑电视节目ae片头模板 [ae模板介绍] 模板用途:爆炸,泡泡,卡通,卡通,电影,字幕,喷溅,电视节目 软件版本:后效CC 2015~ ...
最新文章
- MethodTrace 生成的trace文件为空
- Codeforces Round#310 div2
- linux系统下怎么修改sshd端口?
- MySQL高级 - SQL技巧 - 数字函数与字符串函数
- 01tire+洛谷P4551 最长异或路径
- 简简单单的代码让你轻松学会 动态代理
- numpy基础笔记02
- 如何在Pr中应用混合模式合成影片中的剪辑?
- ZZULIOJ.1137: 查找最大元素
- 《C陷阱与缺陷》读书笔记
- dos批处理命令注释_如何在批处理文件MS-DOS中写注释块?
- SQL2008升级SQL2008R2完全教程
- 2022-2028中国金属制品市场现状研究分析与发展前景预测报告
- Apache doris 使用过程中常见问题汇总
- GIT部署(三)GIT 远程仓库:添加远程库、从远程库克隆
- golang profiling
- 第二次作业:微信实例分析
- js获取当天0时刻,23点59分59秒的时间戳
- 怎么学习CAD?初学CAD如何入门
- 一些特殊ACII码的用法 在控制台中覆盖显示、刷新显示和删除字符
热门文章
- split(“.“)[1]是什么意思?
- C/C++小案例:汉语自动分词器
- React Table 表格组件使用教程 排序、分页、搜索过滤筛选功能实战开发
- 前端——10.表格标签
- 手机的寿命一般是多久?
- java计算机毕业设计云端小区物业智能管理系统MyBatis+系统+LW文档+源码+调试部署
- 词袋模型TF-IDF
- layui 显示饼图_ECharts 饼图 如何显示比例值
- 预告片场网(最新电影预告片)--希望能在今年春节后正式上线!
- php渲染教程,渲染和不渲染的区别