浅谈Label Smoothing技术
目录
- 一、从 One-Hot 到 Label Smoothing
- 二、Label Smoothing 的简单实现
- 三、Label Smoothing 的优缺点
- 四、什么时候使用 Label Smoothing？
一、从 One-Hot 到 Label Smoothing
考虑单个样本的交叉熵损失
H(p,q)=−∑i=1CpilogqiH(p,q)=-\sum_{i=1}^C p_i\log q_i H(p,q)=−i=1∑Cpilogqi
其中 CCC 代表类别个数，pip_ipi 是真实分布（即 target），qiq_iqi 是预测分布（即神经网络输出的 prediction）。
如果真实分布采用传统的 One-Hot 向量，则其分量非 000 即 111。不妨设第 kkk 个位置是 111，其余位置是 000，此时交叉熵损失变为
H(p,q)=−logqkH(p,q)=-\log q_k H(p,q)=−logqk
从上面的表达式不难发现一些问题：
- 真实标签跟其他标签之间的关系被忽略了，一些有用的知识无法学到；
- One-Hot 倾向于让模型过度自信（Overconfidence），容易造成过拟合，进而导致泛化性能降低；
- 误标注的样本（即
target错误）更容易对模型的训练产生影响； - One-Hot 对 “模棱两可” 的样本表征较差。
缓解这些问题的方法就是采用 Label Smoothing 的技术，它也是一种正则化的技巧，具体如下：
pi:={1−ϵ,i=kϵ/(C−1),i≠kp_i:= \begin{cases} 1-\epsilon,& i=k \\ \epsilon/(C-1),&i\neq k\\ \end{cases} pi:={1−ϵ,ϵ/(C−1),i=ki=k
其中 ϵ\epsilonϵ 是一个小正数。
例如，设原始 target 为 [0,0,1,0,0,0][0,0,1,0,0,0][0,0,1,0,0,0]，取 ϵ=0.1\epsilon=0.1ϵ=0.1，则经过 Label Smoothing 后 target 变为 [0.02,0.02,0.9,0.02,0.02,0.02][0.02,0.02,0.9,0.02,0.02,0.02][0.02,0.02,0.9,0.02,0.02,0.02]。
浅谈Label Smoothing技术相关推荐
- 浅谈Android保护技术__代码混淆
浅谈Android保护技术__代码混淆 浅谈Android保护技术__代码混淆 代码混淆 代码混淆(Obfuscated code)亦称花指令,是将计算机程序的代码,转换成一种功能上等价,但是难于阅读 ...
- 浅谈第四层交换机技术及应用
原文地址:浅谈第四层交换机技术及应用 作者:ylky_2000 一. 什么是第四层交换机 要想认识第四层交换机,先得对传统的第二层交换机和现在广泛应用的第三层交换机的基本工作原理和性能,有一些简单了解 ...
- 浅谈区块链技术应用场景
浅谈区块链技术应用场景 摘要 一,区块链技术简介 二,区块链技术基础 1. 点对点之间传输信息的网络 2. 非对称加密技术 3. 共识机制 三,基于软件层面区块链技术应用场景 应用层 区块链技术与身份 ...
- 教师运用计算机技术的难点,浅谈运用电脑技术进行备课的几点优势
浅谈运用电脑技术进行备课的几点优势 备课是教师在教学工作中必不可少的环节.教师在备课过程中,要通过钻研教材和分析学生的状况,完成课堂教学的整体设计任务并且为教学设计的实施做好充分的准备工作.教师备课质 ...
- 我国对计算机科学与技术专业人才社会需求,浅谈计算机科学与技术专业应用技术型人才的培养研究论文...
浅谈计算机科学与技术专业应用技术型人才的培养研究论文 培养应用型专业技术人才是我国高等教育的重要任务,目前我国社会和经济的发展对于,应用技术型人才的需求在不断提升.因此高校在进行计算机专业应用技术人才 ...
- 浅谈GPU虚拟化技术（四）- GPU分片虚拟化
让各位久等了,阿里小二这就开始上新菜:"GPU分片虚拟化". 对于"分片"的理解,相信大家已经不陌生了.此处的分片从两个维度上来定义:其一,是对GPU在时间片段 ...
- 如何用python抓取文献_浅谈Python爬虫技术的网页数据抓取与分析
浅谈 Python 爬虫技术的网页数据抓取与分析 吴永聪 [期刊名称] <计算机时代> [年 ( 卷 ), 期] 2019(000)008 [摘要] 近年来 , 随着互联网的发展 , 如何 ...
- 动物克隆技术应用价值_浅谈生物克隆技术及其未来应用问题与前景
浅谈生物克隆技术及其未来应用问题与前景 肖婷 2012333500202 浙江理工大学经管学院工商管理专业 指导老师:解纯刚 浙江理工大学生科学院 [摘 要] : 随着生命科学时代的到来,基因研究已经 ...
- 浅谈产品事业部“技术管理”思路
浅谈产品事业部"技术管理"思路 本系列文章由ex_net(张建波)编写,转载请注明出处. http://blog.csdn.net/ex_net/article/details/8 ...
最新文章
- 第二章 基础查询 2-2 算术运算符和比较运算符
- 转： 网卡名字eth0,eth1的修改方法
- RequireJS首次加载偶尔失败
- Nacos更新配置参数不生效
- 地壳中元素含量排名记忆口诀_Nature：利用熔融包裹体的元素和同位素示踪俯冲带流体来源...
- 参数化的JUnit测试
- Gartner 最新预测：全球云收入将超非云收入，云原生、低代码、SASE 继续普及
- 四二拍用音符怎么表示_每个音符都是赞美歌拍子分析 0基础识简谱每日必看
- Atitit..net clr il指令集 以及指令分类 与指令详细说明
- python模态窗口_python webdriver 对模态窗口的处理
- ionic中select下拉框点击无反应解决办法
- 推荐系统的几种常用算法总结
- Homography 单应性变换详解
- win11 windows安全中心无法打开
- 查看Python版本和位数
- SEODONG Medical推出创新干眼症治疗仪器，深受海外消费者好评
- Word中如何删除某一页的页眉，不影响其他页眉
- 微信小程序 - 获取汉字拼音首字母（汉字英文首字母）
- Java多线程篇--AQS
- 学习类APP如何正确激发孩子的学习兴趣和提升数学思维能力？
热门文章