Pix2Pix和CycleGAN

GAN的局限性
即便如此，传统的GAN也不是万能的，它有下面两个不足：

1. 没有**用户控制（user control）**能力
在传统的GAN里，输入一个随机噪声，就会输出一幅随机图像。

但用户是有想法滴，我们想输出的图像是我们想要的那种图像，和我们的输入是对应的、有关联的。比如输入一只喵的草图，输出同一形态的喵的真实图片（这里对形态的要求就是一种用户控制）。

2. 低分辨率（Low resolution）和低质量（Low quality）问题

尽管生成的图片看起来很不错，但如果你放大看，就会发现细节相当模糊。

传统的GAN的种种局限，那么现在，我们相应的目标就是：

提高GAN的用户控制能力
提高GAN生成图片的分辨率和质量
为了达到这样的目标，和把大象装到冰箱里一样，总共分三步：
pix2pix：有条件地使用用户输入，它使用成对的数据（paired data）进行训练。
CycleGAN：使用**不成对的数据（unpaired data）**的就能训练。
pix2pixHD：生成高分辨率、高质量的图像。
pix2pix

pix2pix对传统的GAN做了个小改动，它不再输入随机噪声，而是输入用户给的图片：
CycleGAN

pix2pix必须使用成对的数据进行训练。
但很多情况下成对数据是很难获取到的，比如说，我们想把马变成斑马，现实生活中是不存在对应的真实照片的：

Pix2Pix和CycleGAN相关推荐

深入理解生成对抗网络（GAN 基本原理，训练崩溃，训练技巧，DCGAN，CGAN，pix2pix，CycleGAN）
文章目录 GAN 基本模型模型 GAN 的训练模式崩溃训练崩溃图像生成中的应用 DCGAN:CNN 与 GAN 的结合转置卷积 DCGAN CGAN:生成指定类型的图像图像翻译中的应用 p ...
Pix2Pix(2017)+CycleGAN+Pix2PixHD
GAN 常规的深度学习任务如图像分类.目标检测以及语义分割或者实例分割,这些任务的结果都可以归结为预测.图像分类是预测单一的类别,目标检测是预测Bbox和类别,语义分割或者实例分割是预测每个像素的类别 ...
深度学习（四十五）——Stack GAN, GAN Ensemble, Pix2Pix, CycleGAN
Stack GAN 论文: <StackGAN: Text to Photo-realistic Image Synthesis with Stacked Generative Adversar ...
#萌新日志#3.使用pix2pix CycleGAN和3d CycleGAN实现T1和T2加权模态的互转
#萌新记录某些日子的学习经历.# 前言以GAN为基础的生成式对抗网络从抽象的角度来说是结合一组图像的风格和另一组图像的内容,或者说实现将初始图像从一个域迁移到目标图像的域. 前段时间我尝试了包括pi ...
pix2pix/CycleGAN生成图片上有像破洞的伪影参考解决方法
之前训练pix2pix和CycleGAN就经常遇到这个问题,不知道怎么回事.最近又在用pix2pix又发现这个问题,看百度上没有网友有相关解答,就去github的pix2pix官方库搜了一下issue ...
pix2pix测试报错
错误信息如下: Traceback (most recent call last): File "/workspace/imageregistration/test.py", ...
GAN在产业和学术届的价值！
Datawhale学习方向:GAN,组织:百度技术团队 GAN开始走向主流随着"蚂蚁牙黑"一夜爆火,以及电影<你好,李焕英>中GAN技术的应用,生成对抗网络( Ge ...
吴恩达Deeplearning.ai国庆节上新：生成对抗网络（GAN）专项课程
机器之心报道作者:蛋酱 Coursera 刚刚上新了 GAN 的专项课程,或许在这个国庆假期,你应该学习一波了. 生成对抗网络(Generative Adversarial Network,GAN) ...
干货 | 抖音漫画效果解密
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转自:AI算法与图像处理抖音漫画效果要说最近抖音最火的效果 ...

Pix2Pix和CycleGAN

pix2pix

CycleGAN

Pix2Pix和CycleGAN相关推荐

最新文章

热门文章