参考：Pix2Pix视频解读

一、Pix2Pix是输入图片矩阵而不是标签向量

1、生成器方面

Pix2Pix与CGAN之间的联系：CGAN生成器输入的是一个label，而我们现在要做的是把这个lable换成一个图片，如下所示。这个图片是一个建筑物的模式图，但是没有刻画建筑物的细节。

生成器通过噪声noise和模式图两个输入，最后生成一个建筑物的图：

2、判别器方面

判别器要做两个方面的事情，一个是判断这个图片是否是真实的建筑物图片，另一个是判断这个建筑物图片是否和模式图相匹配。

3、总体过程

生成器吃进去一个噪声和一个模式图，生成一张建筑物图片，判别器对建筑物图片进行判别：一个是判断这个图片是否是真实的建筑物图片，另一个是判断这个建筑物图片是否和模式图相匹配。

二、Auto-encoder（自动编码器）

生成器使用了“U-Net”结构，也就是用到了编码器。

深度encoder就是把层数加深，这样的话编码器就有很强的建模能力，能更好地去提取编码。其中Variational Auto Encoder就是给编码上加一些随机噪声，让编码器更加稳定。

U-net把encoder接到了decoder上面，方便训练。

三、PatchGan

判别器使用了卷积“PatchGAN”分类器（只在patch的规模下惩罚结构）。

pix2pix就是一种更强的CGAN，PatchGAN输出的是一个矩阵，采用L1_loss（两张图片相减取绝对值）判别图片真实性。

Pix2Pix进一步了解相关推荐

如何判断模糊图像_图像翻译三部曲：pix2pix, pix2pixHD, vid2vid
所谓图像翻译,指从一副图像到另一副图像的转换.可以类比机器翻译,一种语言转换为另一种语言.下图就是一些典型的图像翻译任务:比如语义分割图转换为真实街景图,灰色图转换为彩色图,白天转换为黑夜...... ...
pix2pix, pix2pixHD, vid2vid
512*512 https://gitee.com/jacke121/pix2pixHD_ACM 1060 batch-size 1也训练不起来. https://github.com/deepglu ...
【项目实战课】基于Pytorch的Pix2Pix黑白图片上色实战
欢迎大家来到我们的项目实战课,本期内容是<基于Pytorch的黑白图像上色实战>.所谓项目实战课,就是以简单的原理回顾+详细的项目实战的模式,针对具体的某一个主题,进行代码级的实战讲解. ...
AI修图！pix2pix网络介绍与tensorflow实现
1.引言在现实生活当中,除了语言之间的翻译之外,我们也经常会遇到各种图像的"翻译"任务,即给定一张图像,生成目标图像,常见的场景有:图像风格迁移.图像超级分辨率.图像上色.图像去 ...
[人工智能-深度学习-63]：生成对抗网络GAN - 图片创作：普通GAN, pix2pix, CycleGAN和pix2pixHD的演变过程
作者主页(文火冰糖的硅基工坊):文火冰糖(王文兵)的博客_文火冰糖的硅基工坊_CSDN博客本文网址:https://blog.csdn.net/HiWangWenBing/article/detai ...
pix2pix 与 pix2pixHD的大致分析
目录 pix2pix与pix2pixHD的生成器判别器 PatchGAN(马尔科夫判别器) 1.pix2pix 简单粗暴的办法如何解决模糊呢? 其他tricks 2.pix2pixHD 高分辨率图 ...
Pix2Pix(2017)+CycleGAN+Pix2PixHD
GAN 常规的深度学习任务如图像分类.目标检测以及语义分割或者实例分割,这些任务的结果都可以归结为预测.图像分类是预测单一的类别,目标检测是预测Bbox和类别,语义分割或者实例分割是预测每个像素的类别 ...
技术图文：进一步完善自动化交易系统 - 04
背景我们在数字资产量化中的三角套利策略这篇图文中详细的介绍了三角套利的原理以及代码实现. 在进一步完善自动化交易系统 - 02 和进一步完善自动化交易系统 - 03 中利用配置文件的方法,扩 ...
技术图文：进一步完善自动化交易系统 - 03
背景在进一步完善自动化交易系统 - 02 这篇图文中,向大家详细介绍了,满足以下两个条件下: 拥有数字资产:BTC.EOS.USDT.ONE BigOne 提供交易对:ONE-USDT.ONE-E ...

Pix2Pix进一步了解

一、Pix2Pix是输入图片矩阵而不是标签向量

二、Auto-encoder（自动编码器）

三、PatchGan

Pix2Pix进一步了解相关推荐

最新文章

热门文章