多标签分类之非对称损失-Asymmetric Loss

论文：Asymmetric Loss For Multi-Label Classification

GitHub：https://github.com/Alibaba-MIIL/ASL

https://github.com/Alibaba-MIIL/TResNet

阿里巴巴

论文基于focal loss解决正负样本不平衡问题，提出了focal loss的改进版，一种非对称的loss，即Asymmetric Loss。

主要贡献：

设计了一个新颖的loss，解决了多标签分类任务中，正负样本不平衡问题，标签错误问题。
通过梯度分析，对该loss进行了分析。
提出了自适应的方法来控制非对称的级别，简化了超参数选择过程。
使用ASL loss，在主流的数据集上取得了 state-of-the-art的效果。其中， MS-COCO 达到86.6%map，超过之前最好的结果2.8%。
该方法，高效，容易使用。相比于最近的其他方法，该方法基于主流的网络结构，并且不需要其他的信息。

非对称loss-ASL:

Binary Cross-Entropy:

focal loss:

Asymmetric Loss:

为了方便，可以设置 γ+ = 0，这样L+就是正常的交叉熵损失。而L-可以通过阈值m减少容易负样本的loss贡献。其中， γ− > γ+。

最终，ASL loss不仅具备focal loss进行正负样本平衡的作用，还具备减少容易负样本loss贡献的效果。

网络结构：

网络结构这里采用了TResNet，也是阿里内部发明的网络结构。在相同推理速度，训练速度的条件下，具有比EfficientNet更高的精度。

TResNet系列一共有三种型号：TResNet-M，TResNet-L和TResNet-XL，它们的区别仅在深度和通道数量不同。

实验结果：

总结：

ASL loss，一种基于focal loss改进的非对称loss，不仅具备focal loss进行正负样本平衡的作用，还具备减少容易负样本loss贡献的效果。
本文验证ASL loss的落脚点是多标签分类，但是，ASL loss不仅可以应用于多标签分类，还可以应用于单标签分类任务，物体检测任务。对缓解长尾（long-tail）数据分布具有很好的效果。

多标签分类之非对称损失-Asymmetric Loss相关推荐

计算机视觉之分类任务常用损失值loss对比分析
计算机视觉分类任务常用损失值loss对比分析一.对比分析cross-entropy loss.Focal Loss.asymmetric_loss.GFocal Loss之间的关系及改进 1. 分类 ...
【CV】RetinaNet：使用二分类类别不平衡损失 Focal Loss 实现更好的目标检测
论文名称:Focal Loss for Dense Object Detection 论文下载:https://arxiv.org/abs/1610.02357 论文年份:ICCV 2017 论文被引 ...
多标签分类方法总结——实现方法、评价指标、损失函数
目录一.两种思想总结 1.问题转换 2.算法改编二.深度网络多标签分类三.多标签分类评价指标四.多标签分类的损失函数 1.二分类和多分类 2.多标签分类五.参考文章注:本文为总结性文章,应 ...
基于Ernie-3.0 CAIL2019法研杯要素识别多标签分类任务
相关项目: Paddlenlp之UIE模型实战实体抽取任务[打车数据.快递单] Paddlenlp之UIE分类模型[以情感倾向分析新闻分类为例]含智能标注方案) 应用实践:分类模型大集成者[Paddl ...
分类问题的评价指标：多标签分类【基于标签度量（同多分类一样）：准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F1】【基于样本度量：Hamming Loss...】
多标签分类的分类评价指标分为两大类: 基于标签上的度量:同多分类一样,在每一个标签上计算 Accuray.P.R.F-- 基于样本上的度量:又分为基于分类的度量.基于排序的度量基于分类的度量:Sub ...
多标签分类的Focal loss设计
多标签分类中存在类别不平衡的问题,想要尝试用focalloss损失函数,但是网上很少有多标签分类的损失函数设计,终于在kaggle上别人做的keras下的focalloss中举例了多标签问题: Foc ...
pytorch多标签分类交叉熵loss
import torch import numpy as np def multilabel_categorical_crossentropy(y_true, y_pred):"" ...
asymmetric loss for multi-label classification
[论文笔记] Asymmetric Loss For Multi-Label Classification - 知乎在多标签图像识别问题中,由于标签空间往往很大,再加上正类样本的稀疏性,这使得多标签图 ...
mmcls多标签分类实战（三）：多标签分类指标
前面两篇分别介绍了制作多标签数据,resnet多标签分类.接下来,我将介绍多标签分类的指标并分享一些关于多标签分类的细节,即如何操作可以提点. 在此之前,想提一下损失函数cross_entropy与b ...

多标签分类之非对称损失-Asymmetric Loss

多标签分类之非对称损失-Asymmetric Loss相关推荐

最新文章

热门文章