label smoothing

背景:当我们将交叉熵损失函数用于分类任务的时候,我们期望真实的标签为1,而其他虚假的标签为0。换句话来说,我们认为原始数据的标注是准确无误的。但是，真实情况并不是这样，在某些领域，或者使用一些数据增强的方法时,都会存在着一些标注错误的问题出现。

因此,label smoothing的方法可以降低我们对于标签的信心，比如我们将损失目标的值从1降低到0.9，当然与此同时我们需要稍微增加一下其他label(label==0)的目标值。这种方法被称为标签平滑。

操作方式:

import tensorflow as tftf.keras.losses.binary_crossentropy(y_true,y_pred,from_logits = False, label_smoothing=0)"""
当label_smoothing 参数非0时, 指数平滑为 1/num_classesnew_onehot_labels = onehot_labels * (1-label_smoothing) + label_smoothing / num_classes比如而分类任务中,label_smoothing = 0.2时new_labels = [0 1] * (1-0.2) + 0.2/2 = [0 1] * (0.8) + 0.1
new_labels = [0.1, 0.9]
"""# 或者可以直接设置即可
train[np.where(y==0)] = 0.1
train[np.where(y==1)] = 0.9

一般来说，我们将0，1看作true or false。而设置为0.1和0.9则可以看作,此情况存在可能性很低，此情况存在情况很大。但是使用这样的标签，在训练的过程中，同时导致了更小的梯度，因此我并不确定这个方法是否在程序中会起到作用。

通过实验对比可以看出，在有错误标签存在的情况下，确实是可以拥有更好的结果当然，这个平滑指数α需要去搜索才能得到最佳值，默认值0.1在大多数情况下效果很好。

Reference

1.https://arxiv.org/pdf/1906.02629.pdf

2.https://www.flixstock.com/label-smoothing-an-ingredient-of-higher-model-accuracy/

3.https://medium.com/@nainaakash012/when-does-label-smoothing-help-89654ec75326

4.https://www.kaggle.com/shahules/tackle-with-label-smoothing-proved

label smoothing相关推荐

label smoothing（标签平滑）
label smoothing是一种在分类问题中,防止过拟合的方法. label smoothing(标签平滑) 交叉熵损失函数在多分类任务中存在的问题 label smoothing(标签平滑) 参 ...
【正则化】Label Smoothing详解
1. 概述 Label Smoothing(标签平滑),像 L1.L2 和 Dropout 一样,是一种正则化方法,通常用于分类问题,目的是防止模型在训练时过于自信地预测标签,改善泛化能力差的问题(也 ...
优化策略5 Label Smoothing Regularization_LSR原理分析
Label Smoothing Regularization(LSR)是一种通过在输出y中添加噪声,实现对模型进行约束,降低模型过拟合(overfitting)程度的一种约束方法(regulariza ...
【AI面试】hard label与soft label，Label Smoothing Loss 和 Smooth L1 Loss
往期文章: AI/CV面试,直达目录汇总 [AI面试]NMS 与 Soft NMS 的辨析 [AI面试]L1 loss.L2 loss和Smooth L1 Loss,L1正则化和L2正则化在一次询问 ...
[轻笔记] label smoothing(标签平滑)
看google AI最新的开源代码,发现有个技巧--label smoothing,网上查到的公式与代码中的公式不一样,于是做个笔记,并对见到的觉得有问题的关于label smoothing的博客也列 ...
标签平滑论文笔记：2020《When Does Label Smoothing Help?》
标签平滑介绍实验1:标签平滑作用实验2:针对ECE与温度缩放进行对比(作用相近) 实验3:标签平滑对知识蒸馏影响(变差) 实验3知识蒸馏:互信息I(X;Y) 链接介绍看成距离: 这里 ...
label smoothing理论推导
我们知道,softmax容易使模型过度自信过拟合,label smoothing作为一种改善方案可以提高模型的泛化能力. label_smoothing 上篇博客推导过反向求导的结果如下softmax ...
【损失函数】NLLLoss损失、CrossEntropy_Loss交叉熵损失以及Label Smoothing示例与代码
机缘巧合下,近期又详细学习了一遍各损失函数的计算,特此记录以便后续回顾. 为了公式表示更加清晰,我们设 y n ∈ { 1 , 2 , - , K } {{y_n} \in \{ 1,2, \ ...
浅谈Label Smoothing技术
目录一.从 One-Hot 到 Label Smoothing 二.Label Smoothing 的简单实现三.Label Smoothing 的优缺点四.什么时候使用 Label Smoot ...
分类任务中常用的Label smoothing
目录 1.Label smoothing的原理 2.pytorh中如何使用Label smoothing 3.适用场景 1.Label smoothing的原理交叉熵损失(softmax cross ...

label smoothing

label smoothing

label smoothing相关推荐

最新文章

热门文章