概述

文章指出一些成功的神经网络所有的两个共同点：首先是会拟合一个训练集，其次是模型规模随着数据集样本增多而增大。同时也指出一些问题：一是尽管在很强的正则化下，模型也可以记住训练数据，而不是根据泛化得到；二是模型容易被对抗样本攻击。

方法

因此提出MixUp数据增强方法：

其中x, y是数据集中的随机样本。

MixUp作用理解

MixUp扩展了训练数据集的分布，相当于告诉模型，训练样本的线性组合，对应的gt也是线性组合，让模型认为样本间的区域也应该是线性区域，降低了模型在训练样本分布区域中间可能的过拟合震荡。

实验发现

在具体实现上，作者也发现组合更多的样本并没有带来性能提升，反而增加了计算量；并且只使用一个data_loader，在一个mini_batch里面随机进行样本组合效果也良好。

另外的一些发现，例如α值在[0.1, 0.4]之间时提升了模型性能，否则可能造成欠拟合；更大的模型或者更长时间的训练更有可能在MixUp中受益；MixUp和dropout的组合进一步提升了泛化性能，达到了更强的正则化的效果；增大α将增大训练损失，但对泛化性能提升有帮助。

实验结果

最终的实验结果，主要验证了几个现象：

MixUp提升了分类模型精度指标；
更大的模型或者更长时间的训练更有可能从MixUp中获益；
MixUp有正则化的作用；
MixUp还能提升GAN网络训练的稳定性；
这种线性组合效果已经足够好，其它的组合方式还不如这种简单的两个随机样本的线性组合。

mixup: BEYOND EMPIRICAL RISK MINIMIZATION 小笔记相关推荐

mixup:beyond empirical risk minimization
全网最全:盘点那些图像数据增广方式Mosiac,MixUp,CutMix等. - 知乎全网最全:盘点那些图像数据增广方式Mosiac,MixUp,CutMix等. 本文由林大佬原创,转载请注明出处,来 ...
【深度学习】Mixup: Beyond Empirical Risk Minimization
博主整理了近几年混合样本数据增强(Mixed Sample Data Augmentation)相关论文和代码,并分享在github上,地址如下, https://github.com/JasonZh ...
[ICLR 2018] mixup: Beyond Empirical Risk Minimization
Contents Mixup Experiments Image Classification Task Speech data Memorization of Corrupted Labels Ro ...
mixup: BEYOND EMPIRICAL RISK MINIMIZATION
原文:https://arxiv.org/pdf/1710.09412.pdf 代码:https://github.com/hongyi-zhang/mixup 摘要:深度神经网络非常强大,但也有一些 ...
【Mixup】《Mixup：Beyond Empirical Risk Minimization》
ICLR-2018 文章目录 1 Background and Motivation 2 Related Work 3 Advantages / Contributions 4 Method 5 Ex ...
ICLR2018_mixup: Beyond Empirical Risk Minimization
作者 Hongyi Zhang 张宏毅 @ 张宏毅知乎北大->MIT 论文所属FAIR Abstract 深度神经网络有些不好的行为:强记忆和对对抗样本敏感 Christian ...
[论文评析]Cross-Domain Empirical Risk Minimization for Unbiased Long-Tailed Classification,AAAI,2022
Cross-Domain Empirical Risk Minimization for Unbiased Long-Tailed Classification 文章信息背景动机方法因果分析 ...
机器学习理论之经验风险最小化（Empirical Risk Minimization）
该理论探讨的是模型在training set上的error 与 generation error的关系. 训练模型时,需要多少个样本,达到什么精度,都是由理论依据的. 理论点: 偏差方差权衡(Bias ...
经验风险最小化（ERM, Empirical risk minimization）
转自:http://sophic.blog.163.com/blog/static/35997947201362975230995/

mixup: BEYOND EMPIRICAL RISK MINIMIZATION 小笔记

概述

方法

MixUp作用理解

实验发现

实验结果

mixup: BEYOND EMPIRICAL RISK MINIMIZATION 小笔记相关推荐

最新文章

热门文章