ICML2018 | PixelSNAIL+:An Improved Autoregressive Generative Model
论文链接:PixelSNAIL: An Improved Autoregressive Generative Model
论文标题:PixelSNAIL: An Improved Autoregressive Generative Model
代码:GitHub - neocxi/pixelsnail-public
GitHub - neocxi/pixelsnail-public
一、问题提出
高维数据上的自回归生成模型x = (x1,……, xn)将联合分布分解为条件的乘积:
训练一个循环神经网络(RNN)来建模p(xi|x1:i−1)。可选地,模型可以以附加的全局信息h为条件(例如类标签,当应用于图像时),在这种情况下,它在模型p(xi|x1:i−1,h)中。这种方法具有高度的表达性,并允许建模复杂的依赖关系。与GANs相比,自回归模型提供了易于处理的似然计算和易于训练,并已被证明优于潜变量模型。主要的设计考虑因素是用于实现RNN的神经网络体系结构,因为它必须能够很容易地引用序列的前面部分。存在以下几种可能性:
传统的RNN,如GRU或LSTM:通过将信息保持在隐藏状态来传播信息,从一个时间步长到下一个时间步长。这种暂时的线性依赖极大地抑制了它们在数据中建模长期关系的程度
Causal convolutions(因果卷积):对序列应用卷积(掩盖或移位,以便当前预测仅受前一个元素的影响)。它们为序列的早期部分提供了高带宽访问。然而,它们感受域是有限的,并且对于序列中较远的元素仍然会经历明显的衰减。
Self-attention:这些模型将序列转换为无序的键值存储,可以根据内容进行查询。它们具有不受限制的接受域,并允许对序列中遥远的信息进行未退化的访问。然而,它们只提供对少量信息的精确访问,并且需要额外的机制来整合位置信息
因果卷积和自我注意表现出互补的优点和缺点:前者允许在有限的上下文大小上进行高带宽访问,后者允许在无限大的上下文上进行访问。因此,将两者交织在一起提供了两全其美的服务,模型可以获得高带宽访问,而不受其有效使用的信息量的限制。
新的架构PixelSNAIL。
二、PixelSNAIL
1、组件
Residual Block对其输入应用几个2d卷积,每个卷积都有残差连接。为了使它们具有因果关系,卷积被mask,以便当前像素只能访问它左边或上面的2个像素。使用类似于的门控激活函数。在整个模型中,每个块使用4个卷积,每个卷积中使用256个filters。
Attention执行单个键值查找。它将输入投影到较低的维度以产生key和value,然后使用softmax-attention(进行了mask,以便当前像素只能关注先前生成的像素)。使用大小为16的键和大小为128的值。
2、架构
仅在CIFAR-10模型中,在每个残差块的第一次卷积后应用了0.5的dropout,以防止过拟合。对于ImageNet没有使用任何dropout,因为数据集要大得多。
三、实验
1、baseline及其NLL损失:
2、生成采样
ICML2018 | PixelSNAIL+:An Improved Autoregressive Generative Model相关推荐
- 2019 ICCV best paper:sinGAN: Learning a Generative Model from a Single Natural Image解读
sinGAN: Learning a Generative Model from a Single Natural Image 论文地址: https://arxiv.org/abs/1905.011 ...
- 【李宏毅机器学习】05:概率生成模型Probabilistic Generative Model
李宏毅机器学习05:概率生成模型 Probabilistic Generative Model 文章目录 李宏毅机器学习05:概率生成模型 Probabilistic Generative Model ...
- 李宏毅 机器学习 2016 秋:5、Classification:Probabilistic Generative Model
文章目录 五.Classification:Probabilistic Generative Model 五.Classification:Probabilistic Generative Model ...
- 机器学习入门系列05,Classification: Probabilistic Generative Model(分类:概率生成模型)
Gitbook整理地址: Classification 分类 分类要找一个function,输入就是对象 xx ,输出是这个对象属于n个类别的哪一个. 比如信用评分 输入:收入,储蓄,行业,年龄,金融 ...
- Score-based Generative Model:一统DDPM和SMLD两大生成式模型
Diffusion Models专栏文章汇总:入门与实战 前言:2019年宋博士提出了SMLD模型,2020年Jonathan Ho提出了DDPM,这两大生成式随即成为顶会宠儿.2021年,宋博士提 ...
- 机器学习与深度学习系列连载: 第一部分 机器学习(五) 生成概率模型(Generative Model)
生成概率模型(Generative Model) 1.概率分布 我们还是从分类问题说起: 当我们把问题问题看做是一个回归问题, 分类是class 1 的时候结果是1 分类为class 2的时候结果是- ...
- Paper:《First Order Motion Model for Image Animation》翻译与解读
Paper:<First Order Motion Model for Image Animation>翻译与解读 目录 <First Order Motion Model for ...
- Paper/CV之IA:《First Order Motion Model for Image Animation图像动画的一阶运动模型》翻译与解读
Paper/CV之IA:<First Order Motion Model for Image Animation图像动画的一阶运动模型>翻译与解读 目录 <First Order ...
- 论文阅读——WaveNet: A Generative Model for Raw Audio
论文阅读--WaveNet: A Generative Model for Raw Audio 1.文献名称:wavenet 2.期刊会议:由Google旗下的Deepmind团队推出 3.影响因子: ...
最新文章
- 悟道 · 文溯详解:蛋白质序列的大规模预训练
- 独家 | 快速掌握spacy在python中进行自然语言处理(附代码链接)
- hdu 4059 The Boss on Mars
- ZeroC ICE的远程调用框架 代理引用地址
- How does “Coded UI test” finds a control ?
- 【转】未能加载文件或程序集或它的某一个依赖项,系统找不到指定的文件
- 2021年第十二届蓝桥杯 - 省赛 - C/C++大学C组 - D.相乘
- Ubuntu安装amule和编译安装amule-dlp
- (十四)Java springcloud B2B2C o2o多用户商城 springcloud架构- Spring Cloud构建分布式电子商务平台...
- 《专家速成手册》 做专家只需记住6点
- dtreeviz 画树模型
- 你绝对猜不到 Java 14 有什么新特性?
- c语言程序有哪几类词汇,c语言是什么 必背词汇有哪些
- SQL Server 2008 R2 安装及登录
- win 10 安装nginx
- 动态规划之马拉车算法(Python解法)
- python爬取下厨房本周受欢迎菜谱
- 【BZOJ1921】【CTSC2010】珠宝商(点分治,后缀自动机)
- Modulo Summation——UPC
- java兔子繁殖_兔子繁衍问题 (考虑死亡)