论文分享 MetaBalance: High-Performance Neural Networks for Class-Imbalanced Data
摘要
类不平衡数据，其中一些类包含比其他类多得多的样本，在现实世界的应用程序中无处不在。处理类不平衡的标准技术通常通过对重新加权损失或重新平衡数据进行训练来工作。
不幸的是，针对此类目标训练过度参数化的神经网络会导致少数类数据的快速记忆。为了避免这个陷阱，我们利用元学习，它同时使用“外环（outer-loop）”和“内环（inner-loop）”损失，每个损失都可以使用不同的策略进行平衡。我们在图像分类、信用卡欺诈检测、贷款违约预测和具有严重不平衡数据的面部识别任务上评估我们的方法 MetaBalance。我们发现 MetaBalance 优于旨在处理类不平衡的各种流行策略，尤其是在少数类样本很少的场景中。
2.1 LEARNING ON CLASS IMBALANCED DATA
处理类不平衡的现有方法可以大致分为三组：增加少数类样本数量的重采样方法、减少多数类样本的方法以及修改训练例程以将模型的重点转移到训练期间的少数样本。
过采样
侧重于从可用的不平衡数据中生成新的少数类样本。一种简单的方法是简单地从少数类中复制点，但是这不会产生关于少数类的新信息，并且已知会导致对过采样示例的严重过度拟合。为了解决这个问题，Chawla 等人。 (2002) 提出了 SMOTE，它通过在少数类别的现有观测值之间进行线性插值来生成独特的少数样本。对 SMOTE 进行了一些改进，目的是生成额外的训练数据，从而在训练后产生更好的决策边界（Han et al., 2005; Nguyen et al., 2011; He et al., 2008）。例如，SVMSmote 沿支持向量机找到的边界生成新的少数示例（Han et al., 2005）。 SMOTE 及其修改适用于表格数据，而不适用于图像等高维数据。然而，一些旨在防止图像过度拟合的强大数据增强技术以类似的方式运行。例如，mixup 通过对数据集中的图像进行凸组合来生成新图像（Zhang 等人，2017 年），而 CutMix 通过从一张图像中剪切一个补丁并将其插入另一个图像来混合两张图像（Y un 等人，2019 年） ）。这两种方法都通过对混合图像的标签进行加权平均来为新样本生成标签。 SMOTE 与 mixup 密切相关，主要区别在于 SMOTE 只在少数类中进行混合，而 mixup 将所有类之间的样本混合在一起。金等人。 （2020）建议通过应用对抗性扰动将多数样本转换为少数样本，并以此利用多数信息的多样性。最后，越来越多的工作提出 GAN 从少数类中生成真实样本，但训练 GAN 很困难，而且这些模型因在不同数据集上表现不佳或记忆其训练数据而臭名昭著（Shamsolmoali 等人，2020；Deepshikha & Naman，2020；Ali-Gombe & Elyan，2019；Mullick 等人，2019）。
- Hongyi Zhang, Moustapha Cisse, Y ann N Dauphin, and David Lopez-Paz. mixup: Beyond empirical risk minimization. arXiv preprint arXiv:1710.09412, 2017.
- Sangdoo Y un, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe, and Y oungjoon Y oo.Cutmix: Regularization strategy to train strong classifiers with localizable features. In Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 6023–6032, 2019.
- Jaehyung Kim, Jongheon Jeong, and Jinwoo Shin. M2m: Imbalanced classification via major-to-
minor translation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern
Recognition, pp. 13896–13905, 2020.- Jun Shu, Qi Xie, Lixuan Yi, Qian Zhao, Sanping Zhou, Zongben Xu, and Deyu Meng. Meta-
weight-net: Learning an explicit mapping for sample weighting. arXiv preprint arXiv:1902.07379,
欠采样
是处理类不平衡的另一种常用技术。与添加少数类数据的过采样相比，欠采样从多数样本中移除以形成平衡的数据集。随机删除数据会导致大多数类中的关键数据点丢失，一些作品提出了巧妙选择样本的方法，这些样本可以在不丢失关于多数类的重要信息的情况下被删除（Lin 等人，2017b；Wilson，1972；Tomek 等人。 , 1976)。 Wilson (1972) 提出了一种编辑最近邻算法 (ENN)，其中删除了与 KNN 算法的预测不一致的多数类数据点。另一种方法是聚类质心，通过用 k-means 算法发现的多数类的聚类替换它们各自的质心来进行欠采样（Lin 等人，2017b）。当数据非常高维时，这些方法会出现问题，因为最近邻分类器在这种情况下往往会变得无信息（例如，'2 距离通常不是衡量图像之间相似性的好方法）。此外，欠采样会阻止用户利用大量的多数类数据来学习更好的特征表示。
分类器级方法
修改训练例程以强调少数类样本。此类别中存在几种不同的技术。例如，成本敏感学习通过重新加权损失或改变学习率来改变少数类点的损失（Elkan，2001；Kukar 等人，1998；Cui 等人，2019；Lin 等人）。等人，2017a）。直观地说，对训练样本应用不同的权重类似于以适当的频率对这些数据点进行过采样。其他分类器级别的方法包括正则化器，它们可以促进少数类数据的较大边际或对在小型平衡数据集上测量的“平衡性能”施加限制（Sangalli 等人，2021；Huang 等人，2016；Li 等人。 , 2019)。最后，还有一些后处理方法旨在重新调整分类器输出的分数以实现更好的性能（Richard & Lippmann, 1991; Chan et al., 2019）。
- Yin Cui, Menglin Jia, Tsung-Yi Lin, Y ang Song, and Serge Belongie. Class-balanced loss based on effective number of samples. In Proceedings of the IEEE/CVF Conference on Computer Vision
and Pattern Recognition, pp. 9268–9277, 2019.- Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Doll´ar. Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision, pp. 2980–2988,2017a.
- Sara Sangalli, Ertunc Erdil, Andreas Hoetker, Olivio Donati, and Ender Konukoglu. Constrained optimization for training deep neural networks under class imbalance. arXiv preprint arXiv:2102.12894,2021.
- Chen Huang, Yining Li, Chen Change Loy, and Xiaoou Tang. Learning deep representation for
imbalanced classification. In Proceedings of the IEEE conference on computer vision and pattern
recognition, pp. 5375–5384, 2016.- Zeju Li, Konstantinos Kamnitsas, and Ben Glocker. Overfitting of neural nets under class imbalance: Analysis and improvements for segmentation. In International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 402–410. Springer, 2019.
论文分享 MetaBalance: High-Performance Neural Networks for Class-Imbalanced Data相关推荐
- 论文---overcoming catastrophic forgetting in neural networks
不定期更新--论文 overcoming catastrophic forgetting in neural networks 出处:2017 Jan 25 PNAS(proceedings of t ...
- 论文阅读：Multi-view Convolutional Neural Networks for 3D Shape Recognition
Preface 今天阅读一篇ICCV2015的论文:<Multi-view Convolutional Neural Networks for 3D Shape Recognition>, ...
- 【论文精读】CMT: Convolutional Neural Networks MeetVision Transformers
声明 不定期更新自己精读的论文,通俗易懂,初级小白也可以理解 涉及范围:深度学习方向,包括 CV.NLP.Data fusion.Digital Twin 论文标题: CMT: Convolution ...
- 【论文阅读】OUTRAGEOUSLY LARGE NEURAL NETWORKS: THE SPARSELY-GATED MIXTURE-OF-EXPERTS LAYER
一.背景 神经网络的吸收信息的容量(capacity)受限于参数数目. 条件计算(conditional computation)针对于每个样本,激活网络的部分子网络进行计算,它在理论上已证明,可以作 ...
- [论文翻译]V-Net:Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation
论文下载: 地址 V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation V-Net: ...
- 论文分享--＞Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN
本周开始,我将一周分享和总结三篇关于自然语言处理方面的论文及其开源代码(如果有的话),以期在三个月后的校招面试中能招架住面试官的各种提问. 本篇论文中了 C V P R 2018 CVPR\ 2018 ...
- 对抗样本论文阅读Intriguing properties of neural networks
Intriguing properties of neural networks 文章提出了神经网络中的两个有趣的特性,首次提出了对抗样本adversarial examples的概念 Represe ...
- 论文阅读：Meta-Learning in Neural Networks: A Survey
题目:Meta-Learning in Neural Networks: A Survey 论文地址:https://arxiv.org/abs/2004.05439 作者:Timothy Hospe ...
- [论文品读]·d-vector解读(Deep Neural Networks for Small Footprint Text-Dependent Speaker Verification)
Deep Neural Networks for Small Footprint Text-Dependent Speaker Verification 目录 ABSTRACT 1. INTRODUC ...
最新文章
- JS 总结之事件循环
- 【百家稷学】深度学习与计算机视觉核心理论与实践（中国地质大学实训）
- Linux 之八 完整嵌入式 Linux 环境、（交叉）编译工具链、CPU 体系架构、嵌入式系统构建工具
- Vue项目目录结构注解附assets与static目录的区别
- 神经网络之感知器算法简单介绍和MATLAB简单实现
- 7. Simple Product
- Python 异常处理
- 网易秋招编程题——优雅的点
- 有关一级域名二级域名三级域名
- python--RGB转HSV
- Win10(11)下Qt6.2编译Qtxlsx库
- 改进YOLOv7系列：21.添加ShuffleAttention注意力机制
- 有些东西，你学不来的
- phpfilter的妙用
- 千兆以太网工程（高速接口）
- 阿里月薪15k的测试岗，面试原来这么简单
- 微信浏览器中打开QQ聊天QQ群
- 电脑安全模式怎么进？
- CANoe——CAPL案例
- 2020web前端学习路线（附全套前端视频教程+教学大纲）