为什么GAN不能处理离散数据？

最初的 GANs 仅仅定义在实数领域，GANs 通过训练出的生成器来产生合成数据，然后在合成数据上运行判别器，判别器的输出梯度将会告诉你，如何通过略微改变合成数据而使其更加现实。一般来说只有在数据连续的情况下，你才可以略微改变合成的数据，而如果数据是离散的，则不能简单的通过改变合成数据。例如，如果你输出了一张图片，其像素值是1.0，那么接下来你可以将这个值改为1.0001。如果输出了一个单词“penguin”，那么接下来可以将penguin对应的高维向量加0.001，但可能不存在改变后对应的单词。因为所有的自然语言处理（NLP）的基础都是离散值，如“单词”、“字母”或者“音节”。

http://www.sohu.com/a/125922509_473283

为什么GAN不适合处理文本数据

1. 文本数据相比较图片数据来说是离散的，因为对于文本来说，通常需要将一个词映射为一个高维的向量，最终预测的输出是一个one-hot向量，假设softmax的输出是（0.2， 0.3， 0.1，0.2，0.15，0.05）那么变为onehot是（0，1，0，0，0，0），如果softmax输出是（0.2， 0.25， 0.2， 0.1，0.15，0.1 ），one-hot仍然是（0， 1， 0， 0， 0， 0），所以对于生成器来说，G输出了不同的结果但是D给出了同样的判别结果，并不能将梯度更新信息很好的传递到G中去，所以D最终输出的判别没有意义。

2. 另外就是GAN的损失函数是JS散度，JS散度不适合衡量不相交分布之间的距离。

（WGAN虽然使用wassertein距离代替了JS散度，但是在生成文本上能力还是有限，GAN在生成文本上的应用有seq-GAN,和强化学习结合的产物）

参考https://blog.csdn.net/qq_25737169/article/details/78857724

https://blog.csdn.net/qq_29997655/article/details/82711333

为什么GAN不能处理离散数据？相关推荐

matlab绘制离散数据图
用Matlab来对实验中获得的数据进行画图,得到更加直观的结果. 工具/原料 Matlab 方法/步骤 Matlab使用stem和stairs函数绘制离散数据,分别生成火柴棍图像和二维阶梯图像. st ...
Excel在统计分析中的应用—第二章—描述性统计-分组数据的中位数的求解方法（组离散数据）
对于未分组数据,可使用Excel的MEDIAN函数求解中位数. 对于分组数据,分为: 1. 组离散数据的中位数: 首先要构造累积频率分布表,然后通过累积频率分布表确定数据的中位数对应的观测值的位置,然 ...
Matplotlib和Seaborn（离散数据的图表选择与一些使用技巧）
文章目录为离散数据选择图表描述统计量.异常值和坐标轴范围标尺和变换替代方法核密度估计: 为离散数据选择图表如果想要绘制离散型数值变量,直方图或条形图都是可能的选择 . 直方图可能是最直接的 ...
MATLAB图形绘制--离散数据绘图
离散数据绘图假如我们现在有五个学生的成绩,我们想要把他们的成绩跟名字一一对应的画在图上,必要的时候可以用折线连接,这个时候我们就要了解以下函数: xtick xticklabel gca set a ...
GAN（生成对抗网络）在合成时间序列数据中的应用（第一部分——利用GAN生成合成(synthetic)数据）
(本文基本是对Jasen 的<Machine Learning for Algorithmic Trading>第二版的第21章进行翻译.改写和复现,并用于我们的实际情况) 1. 准备阶段 ...
matlab离散数据微积分
离散数据积分 function result = integral(x,y,c)result = [];for i=1:1:length(y)c=y(i)*(x(2)-x(1))+c ; result ...
Matab拟合离散数据
Matab拟合离散数据:给定多个离散点,进行曲线拟合并绘图. 方法一:曲线拟合工具箱 cftool 命令窗口输入,打开曲线拟合工具箱: // cftool 输入x,y坐标数值: 选取x,y数值,选取拟 ...
根据离散点画直线_离散数据的最佳直线求解方法
离散数据的最佳直线求解方法高少蔚 ; 丁红胜 [期刊名称] <计量技术> [年 ( 卷 ), 期] 1997(000)012 [摘要] 本文提出了一种在最大偏差最小准则下寻找离散点最佳直 ...
Matlab绘制离散数据杆状图
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 %% =======绘制离散数据杆状图========= ...

为什么GAN不能处理离散数据？

为什么GAN不能处理离散数据？相关推荐

最新文章

热门文章