DAMO Academy, Alibaba Group 2020.9
https://github.com/Alibaba-MIIL/ASL

摘要

日常生活的图片本质上是多标签的。因此，多标签分类通常用于分析其内容。在典型的多标签数据集中，每张图片只包含几个正标签，以及许多负标签。

这种正负不平衡会导致训练过程中来自正标签的梯度强调不足，从而导致准确性差。在这篇文章中，我们介绍了一种新的非对称损失(“ASL”)，它在正负样本上有不同的操作。这种损失动态地降低了简单阴性样本的重要性，导致优化过程更多地关注阳性样本，并且还能够丢弃错误标记的阴性样本。

我们展示了ASL如何导致一个更“平衡”的网络，增加了正样本的平均概率，并展示了与常用的损失相比，这个平衡的网络如何转化为更好的mAP分数。此外，我们提供了一种在整个训练过程中动态调整不对称程度的方法。通过美国手语，我们在三个常见的多标签数据集上获得了新的最先进的结果，包括在MS-COCO上达到86.6%。我们还证明了美国手语对于其他任务的适用性，如细粒单标签分类和目标检测。ASL有效，易于实施，不增加训练时间或复杂度。

普通交叉熵(γ= 0，m = 0，蓝线)提供了损失梯度与概率之间的简单线性相关性，没有简单样本的专用衰减。
非对称聚焦(γ> 0，m = 0，橙色线)相当于(解耦的)焦点损失，提供非线性衰减，特别针对容易采样的软阈值。
具有不对称概率裕度(γ= 0，m > 0，红线)的交叉熵为非常简单的样本(p < m)提供了硬阈值。此外，对于非常硬的阴性样本(p > p*，其中p*定义为d(dL/dz)/dp = 0)，损耗梯度为负斜率。这可以解释为一种丢弃错误标记的阴性样本的机制——如果网络给出的阴性样本概率非常大，则有可能是样本被错误标记，其正确标记应该是阳性的。在处理高度不平衡的数据集时，即使负样本的误标注率很小，也会对正样本的训练统计量产生很大影响。因此，专门剔除贴错标签的阴性样本可能是有益的，因为多标签数据集容易出现负样本错误标签[10]。然而，使用过大的概率裕度会导致网络不能传播来自实际错误分类的负面例子的梯度，这是一种折衷。请注意，硬负样本的负斜率也出现在非对称聚焦(和常规聚焦损失)处，但强调程度明显较低。只有在应用概率转移时，我们才能得到:d(L-)/dz | p→1 = 0。非对称概率裕度的交叉熵也有显著的缺点:损失梯度不连续(p = m时)。此外，与普通交叉熵相比，它对易负样本的衰减更小。
当我们结合非对称聚焦和非对称概率裕度(γ> 0，m > 0，绿线)时，我们可以享受所有的优势:非常容易的样本的硬阈值、容易的样本的非线性衰减、连续的损失梯度和拒绝非常难的负样本的能力，这些被怀疑为误标记错误。

论文分享 Asymmetric Loss For Multi-Label Classification相关推荐

asymmetric loss for multi-label classification
[论文笔记] Asymmetric Loss For Multi-Label Classification - 知乎在多标签图像识别问题中,由于标签空间往往很大,再加上正类样本的稀疏性,这使得多标签图 ...
多标签分类之非对称损失-Asymmetric Loss
论文:Asymmetric Loss For Multi-Label Classification GitHub:https://github.com/Alibaba-MIIL/ASL https:/ ...
论文解读《Co-Correcting:Noise-tolerant Medical Image Classification via mutual Label Correction》
论文解读<Co-Correcting:Noise-tolerant Medical Image Classification via mutual Label Correction> 论文 ...
【医学+深度论文：F14】2018 Joint Optic Disc and Cup Segmentation Based on Multi Label Deep Network
14 2018 T-MI (IEEE Transactions on Medical Imaging ) Joint Optic Disc and Cup Segmentation Based on ...
论文分享 | Yann LeCun 联合发布、工程师都在读的自监督学习论文
文章导读本期文章中,我们为大家带来了 3 篇自监督学习的相关论文,其中两篇是由卷积网络之父 Yann LeCun 参与发布. 对于大型机器视觉训练任务而言,自监督学习 (Self-supervise ...
【微软亚洲研究院】CVPR2020 论文分享会，他们带着论文来了！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 国际计算机视觉与模式识别会议(CVPR)是人工智能领域最有学术影响力的顶级会议之一 ...
【论文分享】基于微信小程序的快递取寄系统设计与实现
[论文分享]基于微信小程序的快递取寄系统设计与实现免责声明:本文章已收录至<电脑知识与技术>,仅供参考学习,切勿抄袭或他用,搬运请注明来源,谢谢各位小伙伴的配合. 文章编号:1009-3 ...
[论文分享]去中心化金融（DeFi）安全与防护现状
[论文分享]去中心化金融(DeFi)安全与防护现状前情前言去中心化金融常见安全问题概述智能合约编码安全溢出问题特权函数暴露校验缺失漏洞黑客典型攻击手段重入攻击闪电贷攻击操纵预言机 ...
CVPR 2021论文分享会日程公布！
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale学术活动:CVPR 2021论文分享会随着人工智能的火热,AAAI.Neu ...
CVPR 2020最佳学生论文分享回顾：通过二叉空间分割（BSP）生成紧凑3D网格
机器之心发布机器之心编辑部在近日举行的 CVPR 2020 大会上,最佳论文.最佳学生论文等奖项悉数公布.加拿大西蒙弗雷泽大学陈之钦(Zhiqin Chen )等人的「BSP-Net」相关研究获得 ...

论文分享 Asymmetric Loss For Multi-Label Classification

摘要

论文分享 Asymmetric Loss For Multi-Label Classification相关推荐

最新文章

热门文章