ICML 2022|Pure Noise to the Rescue of Insufficient Data:Improving Imbalanced Classification by Train

代码：https://github.com/shiranzada/pure-noise

ICML2022 | 纯噪声解决数据不足问题

摘要

本文针对训练数据稀缺或高度不平衡问题，提出了一种简单且高效的方法来减轻这一限制：使用纯噪声图像作为额外的训练数据。同时，提出了一种新的分布感知路由批处理归一化层(DAR-BN)，它可以在同一网络内同时训练自然图像和纯噪声图像。

长尾分布

在实际的视觉应用中，数据集大多服从长尾分布，即少数类别占据绝大多数样本，多数类别仅有少量样本。训练数据稀缺或高度不平衡时，会导致模型偏向于大多数类，对少数类的泛化性较差。
有两种常见的方法来弥补训练过程中的类不平衡：重新加权损失项，以便对少数样本的预测误差惩罚更高；重采样数据集以重新平衡训练期间的类分布，但会导致对少数样本的过度拟合。

Architecture

左边为OPeN，重新平衡了一个不平衡的数据集与纯噪声图像，以及过采样的自然图像。在OPeN中，用DAR-BN替换了标准的批处理归一化层。右边为“分布感知路由BN”(DAR-BN)，通过处理自然图像和纯噪声图像之间的分布差距，分别对它们进行归一化。仅在自然输入上学习仿射参数，并用于正确地缩放和移动噪声输入。

方法

平衡数据集

对原始图像(蓝色部分)进行过采样(绿色部分)，同时添加纯随机噪声图像(橙色部分)，由于标准的过采样会导致少数类的过拟合问题，所以文章用纯随机噪声图像替换部分过采样图像。

替换成纯随机噪声图像的概率如下，其中ρ表示i类别在总样本中的占比：

随机生成的噪声图像服从正态分布，按照正态分布从噪声图像中采样，并裁剪到可行域[0,1]；在每一个epoch，随机采样新的噪声图像，因为这有助于网络避免对特定噪声图像的过拟合。

Batch Normalization

先回顾一下BN的公式，因为本文的DAR-BN是在BN基础上改进得到的。

DAR-BN

DAR-BN将噪声激活图和自然激活图分别归一化, 利用自然激活映射学习到的仿射参数来缩放和移动噪声激活映射。

实验

AA代表在CIFAR-10上优化的AutoAugment。

消融实验

总结

本文提出了一种新的不平衡图像分类框架(OPeN)：通过使用纯噪声图像作为额外的训练样本，以及特殊的分布感知归一化层(DAR-BN)来重新平衡训练集。方法在各种不平衡的分类benchmark上实现了SOTA结果。