小样本图像生成新作 | Adobe团队
点击上方“机器学习与生成对抗网络”,关注星标
获取有趣、好玩的前沿干货!
丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI
假如一位大师画了一些画,但是只有10幅,有没有可能利用这仅有的10幅训练出一个模型,产生N幅同样风格的作品来呢?
从目前的图像生成模型来看,似乎不行。
因为它们都需要至少数千张图像才能正常训练,10张真是“为难我胖虎”了。
但办法总比困难多。
来自Adobe Search等团队的研究人员们提出了一种新颖的GAN自适应框架。
该框架经过实验证明,能够发现小样本模型源域和目标域之间的对应关系,用10幅也能生成千变万化,质量也有的保证的图像!
怎么做到的?!
如何保证多样化和真实
要想解决有限的数据样本,就不得不提迁移学习。
它是一种不需要海量数据就能让计算机“举一反三”的方法,已在GAN的背景下进行了多种摸索。
然而这些方法中的大多数都是为具有一百多个训练图像的场景而设计的。
当可用图像的数量降低到只有几个时,结果势必导致过拟合或图像质量较差。
为了解决过拟合这个问题,研究人员在迁移学习的基础上引入了一种新的跨域距离一致性损失算法 (cross-domain distance consistency loss),它可以保持源图像之间的相似性和差异性。如下图第三行所示。
△将源模型(第一行)调整为小样本后,结果由于过拟合而垮掉(第二行)
跨域距离一致性损失算法怎么实现
自适应过程中过拟合的结果就是源域中的相对距离无法保持。如上图第二行所示。
研究人员假设,在自适应前后强制保持成对距离,将有助于防止崩溃。
为此,他们对一批N+1个噪声向量进行采样,并利用它们在特征空间中的成对相似性为每幅图像构造N路概率分布。
并从最新的对比学习中受到启发。
该方法将相似性转换为无监督表征学习的概率分布,以及感知特征损失,并表明在区分性网络的多个层次上的激活有助于保持相似性。
另外,研究人员觉得有必要应用图像级和图像块级对抗损失这两种不同的方式来避免对生成图像的多样性造成过度的惩罚:
对应该映射到真实样本的合成图像运用图像级的对抗损失,对于其他合成图像,则只运用图像块级的对抗损失。
这样,生成的样本中只有一小部分需要看起来像训练图像,而其余部分只需要捕获训练图像的块级特征。
这样,生成图像的多样性就大大增加了。
为了保证图像的质量,研究人员又提出了一个叫做“relaxed” 的判别器,它能使隐空间(latent space)的不同区域具有不同层次的真实感。
效果怎么样?
团队进行了以下三个方面的评估:
质量和多样性评估
定性比较发现,比起TGAN、MineGAN的过拟合,TGAN + ADA那离谱的旋转90度的失真等,
还是该研究团队的方法能够更贴切地捕捉原图的特征,生成各具特色的头像,
并照顾到其他方法没有顾及的细节(eg.草图中的帽子),多样性和质量一应俱全。
定量比较发现,该方法一致实现了更高的平均LPIPS(深度特征度量图像相似度的有效性)距离,这表明生成的图像更清晰。
源域和目标域间的对应关系
当源域和目标域相关时(eg. 人脸和人物漫画),使用该团队的方法生成的结果具有清晰的对应关系。任何细节(eg. 帽子/太阳镜)都在最终生成的草图和漫画中得以体现。(同见上面的大图)
当源域目标域不相关时,生成的结果仅模拟了目标域的外观。对于所有剩余细节,并不能准确地捕获目标分布。然而,仍然会出现部分级别的对应。eg. 教堂的窗户/门大致映射为漫画的眼睛。
这就有点鬼畜了哈。
目标数据集规模对生成图像的质量和多样性的影响
上面所有结果都是由每个目标域10个训练图像生成的。
现在,研究人员分别以1、5、10个训练图像来实现Church→Landscape drawing(教堂变风景画)和FFHQ→sketch(人物到人物漫画)。
可以发现,只有一个样本时,该方法引起了细微变化,例如在生成的草图中,女士以不同的姿势出现,山和瀑布具有不同的形状。
训练图像增加为5个,这些草图中的人物有了性别与年龄大小等更明显的区分。
进一步增加训练样本的数量(到10个)后,可以为人物和风景引入更多细节,以至于在最终的外观上有了很大的差别。
也有瑕疵:红色汽车变橙色
虽然该团队的方法产生了令人信服的结果,但它并非没有局限性。
比如,下图中的“汽车变废弃汽车”中,红色汽车的颜色在其废弃形式中变为了橙色。
可能是因为10个训练图像中存在橙色汽车。
“FFHQ→太阳镜”中人物戴上墨镜,金色头发就变黑。
这表明,源域和目标域之间更好的对应关系还需进一步探索。
参考链接:
https://www.arxiv-vanity.com/papers/2104.06820/
猜您喜欢:
等你着陆!【GAN生成对抗网络】知识星球!
超100篇!CVPR 2020最全GAN论文梳理汇总!
拆解组新的GAN:解耦表征MixNMatch
StarGAN第2版:多域多样性图像生成
附下载 | 《可解释的机器学习》中文版
附下载 |《TensorFlow 2.0 深度学习算法实战》
附下载 |《计算机视觉中的数学方法》分享
《基于深度学习的表面缺陷检测方法综述》
《零样本图像分类综述: 十年进展》
《基于深度神经网络的少样本学习综述》
小样本图像生成新作 | Adobe团队相关推荐
- 给我10张画,我能还你1万张|Adobe团队搞定小样本图像生成
丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI 假如一位大师画了一些画,但是只有10幅,有没有可能利用这仅有的10幅训练出一个模型,产生N幅同样风格的作品来呢? 从目前的图像生成模型来看, ...
- Adobe 也加入内卷战场,推出AI图像生成产品 Firefly,宣称自己是没有原罪的AI模型...
几个小时前,Adobe 刚刚发布了自家的 AI图像生成模型套件 Adobe Firefly,现在还不能开放给用户使用,但可以申请 waitlist (不需要是 Adobe CC 的用户)firefly ...
- 【小样本学习】ICLR2022:基于原型记忆力和注意力机制的少样本图像生成
肯定很多人都看过了吧,也发了很多笔记,但是我还是想写一篇自己的. 这篇文章结合医学,眼前一亮. 原文链接:https://openreview.net/pdf?id=lY0-7bj0Vfz 知乎同步更 ...
- 比Imagen更高效!谷歌新作Muse:通过掩码生成Transformer进行文本到图像生成
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入->CV微信技术交流群 转载自:机器之心 图像生成领域越来越卷了! 文本到图像生成是 2022 ...
- 新加坡管理大学何盛烽团队招收计算机视觉、图像生成方向全奖博士生
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入-> CV 微信技术交流群 博士申请 | 新加坡管理大学(SMU)何盛烽副教授招收计算机视觉. ...
- 图像生成技术发展趋势_如何管理图像和视频中的颜色:最新趋势和最佳做法
图像生成技术发展趋势 During the last world football cup, few people knew that only the flags of Argentina and ...
- 图像生成之扩散模型:靠加入类别条件,效果直达SOTA
来源:AI蜗牛车 本文约1300字,建议阅读7分钟 比GAN更真实.还懂全景局部多角度构图. OpenAI去年年末推出的新作GLIDE,又让扩散模型小火了一把. 这个基于扩散模型的文本图像生成大模型参 ...
- 图像生成王者不是GAN?扩散模型最近有点火:靠加入类别条件,效果直达SOTA
博雯 发自 凹非寺 量子位 报道 | 公众号 QbitAI OpenAI刚刚推出的年末新作GLIDE,又让扩散模型小火了一把. 这个基于扩散模型的文本图像生成大模型参数规模更小,但生成的图像质量却更高 ...
- CycleGAN非配对图像生成,定制你的卡通照
点击上方"AI搞事情"关注我们 ❝ Paper:<Unpaired Image-to-Image Translation using Cycle-Consistent Adv ...
最新文章
- 阿里全球数学竞赛最强10人名单出炉:仅1人来自北大,但北大是最大赢家
- python生成指定长度的列表_python – 如何将列表或字符串解析为固定长度的块
- python3 hashlib加密库 md5 sha1 sha256 sha384 sha512 加盐
- 更改hostname后vnc无法进入图形界面
- e站host地址_Linux系统怎么使用命令行查询公网IP地址
- 源代码管理-SVN自动更新
- 实体零售全渠道及数字化发展报告(2020)
- vue-cli3 DllPlugin 提取公用库
- linker command failed with exit code 1 (错误总结)
- PointCNN程序简介
- 三菱PLC水处理程序加触摸屏程序 三菱PLC水处理程序加触摸屏程序
- MMA8452Q 三轴加速度传感器驱动
- pentaho-server-ce-7.0安装配置说明
- 高等数学——曲线积分的计算(弧长)
- clickhouse优缺点总结
- 基于评论的推荐系统综述
- 十七、电话号码的字母组合
- 淘宝账号 支付宝账号 阿里旺旺账号
- 自适应控制---模型参考自适应控制(一)基于局部参数最优化的设计方法(MIT方案)
- Redis入门指南:深入了解这款高性能缓存数据库