Generative adversarial networks (GAN)¹ 自从提出开始，就获得了极大的关注，其对抗的哲学思想也得到了广泛研究以及应用。但 GAN 的难训练问题也是广为人知的，在接触 GAN 的过程中大家不可避免会听到遇到两个问题，Mode Collapse 和 Mode Dropping。介于网上对两者（主要是后者）的材料较少，顾此在这进行记录。此处主要参考李宏毅老师机器学习课程的 GAN 部分²。

Mode Collapse

Mode Collapse，中文又称模式奔溃，主要出现于 GAN 训练的后期阶段，生成器生成图像样式单一问题。回顾 GAN 的原理，判别器用于分辨出真实图像和生成图像而生成器致力于生成让判别器难以分辨真伪的图像。原始的 GAN 损失更关注生成单张图像是否真实，而非生成的图像“们”是否符合实际的图像分布。这给了生成器投机取巧的机会，只生成个别几张逼真的样本，生成的图像真实但单一，不符合实际的图像分布。如图1所示，生成的图像多样性不足，生成数据（generated data）的分布与实际（real）的数据分布还相差甚远。

图1 Mode Collapse

Mode Dropping

Mode Dropping，指 GAN 能很好地生成训练集中的数据，但难以生成非训练集的数据，“缺乏想象力”。因为采样数量的局限性，现实中我们无法采集到全部可能的图像，即采集到所有可能的图像是不可能的（如果有能力采集到所有可能的图像，那么我们也就不需要 GAN 来生成图像了），所以通常我们会采样，采集一定数量的图像来代表整个图像分布。如图2所示，generated data 分布过于与训练集 real data 分布近似，但由于 real data 无法代表整体分布，生成器无法生成没见过的图像。可以看到在 iteration t 和 iteration t+1，生成器生成的图像除了颜色以外没有其他的变化。这就像是我们考试前不理解知识点而直接背答案一般，题目一变，就直接不会了。个人感觉这种现象也更像是过拟合于训练集。

图2 Mode Dropping

总结一下，mode collapse 是由于模型只生成单一图像（生成数据的方差小）；而 mode dropping 更为棘手，在于模型过拟合于训练集。

参考

Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., … & Bengio, Y. (2014). Generative adversarial nets. Advances in neural information processing systems, 27. ↩︎
2021年《机器学习》李宏毅 ↩︎

【GAN】Mode Collapse 和 Mode Dropping 问题定义相关推荐

【李宏毅2020 ML/DL】P78 Generative Adversarial Network | fGAN: General Framework of GAN
我已经有两年 ML 经历,这系列课主要用来查缺补漏,会记录一些细节的.自己不知道的东西. 这是我的李宏毅老师 GAN 系列第5篇笔记,GAN 系列: 1:Basic Idea 2:Conditiona ...
李宏毅2021机器学习笔记——GAN
GAN_P1 Generation Network as Generator 接下来要进入一个,新的主题我们要讲生成这件事情到目前為止大家学到的network,都是一个function,你给他一个 ...
生成式对抗网络（GAN）（李宏毅2022）
到目前為止大家学到的network,都是一个function,你给他一个X就可以输出一个Y 我们已经学到各式各样的,network架构,可以处理不同的X 不同的Y 我们学到输入的X 如果是一张图片的时 ...
史上最全GAN综述2020版：算法、理论及应用
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 转载自:机器之心自从 2014 年 Ian GoodFellow 提出 GAN ...
生死看淡，不服就GAN（七）----用更稳定的生成模型WGAN生成cifar
WGAN提出Wasserstein距离取代原始GAN的JS散度衡量两分布之间距离,使模型更加稳定并消除了mode collapse问题.关于WGAN的介绍,建议参考以下博客: 令人拍案叫绝的Wasse ...
GAN生成对抗网络综述
前阵子学习GAN的过程发现现在的GAN综述文章大都是2016年Ian Goodfellow或者自动化所王飞跃老师那篇(最新发现一篇更新paper,也是王飞跃老师的:http://blog.scienc ...
史上最全GAN综述2020版：算法、理论及应用(A Review on Generative Adversarial Networks: Algorithms, Theory, and Applic)
** ** 史上最全GAN综述2020版:算法.理论及应用** 论文地址:https://arxiv.org/pdf/2001.06937.pdf ** 摘要:生成对抗网络(GANs)是近年来的一个研 ...
李宏毅机器学习——对抗生成网络（GAN）
代码部分参考:李宏毅机器学习作业6-使用GAN生成动漫人物脸_iwill323的博客-CSDN博客目录基本概念介绍生成器(generator) 什么时候需要输出一个分布 Generative A ...
GAN的理解与TF的实现
前言本文会从头了解生成对抗式网络的一些内容,从生成式模型开始说起,到GAN的基本原理,InfoGAN,AC-GAN的基本科普,如果有任何有错误的地方,请随时喷,我刚开始研究GAN这块的内容,希望和 ...
GAN的理解与TensorFlow的实现
前言本文会从头介绍生成对抗式网络的一些内容,从生成式模型开始说起,到GAN的基本原理,InfoGAN,AC-GAN的基本科普,如果有任何有错误的地方,请随时喷,我刚开始研究GAN这块的内容,希望和大 ...

【GAN】Mode Collapse 和 Mode Dropping 问题定义

Mode Collapse

Mode Dropping

参考

【GAN】Mode Collapse 和 Mode Dropping 问题定义相关推荐

最新文章

热门文章