AI学习[随堂笔记1109]_交叉熵损失函数_方差损失函数_基础
交叉熵损失函数
一种用于分类问题1的损失函数2，原理为：将模型输出的概率，与标准答案3的值对比。
和正确答案越接近，则计算结果：交叉熵越低，模型质量越好
和错误答案越接近，则交叉熵越大，模型质量越差
下图为交叉熵损失函数的图像
横轴为“输出与标答的符合程度”，横轴为“交叉熵大小”
优点：
①值域（0 ~ +∞），且斜率变化在整个定义域中都很明显，不容易出现梯度消失
②在模型学习的初期阶段，容易出错的，此损失函数的损失值保持在很高的程度，有利于模型在初期时自我纠正
——————————
缺点：
①在模型学习的后期阶段，模型趋于平稳，曲线的变化率也变低，反而不利于后期进一步纠正模型
②随着分类数目的增大，分类层的线性变化矩阵参数也随着增大（多分类问题时）（？）
③对于封闭集(?)分类问题，学习到的特征是可分离的，但对于开放集(?)人脸识别问题，所学特征却没有足够的区分性(?)
④擅长于学习类间的信息，因为它采用了类间竞争机制(?)，它只关心对于正确标签预测概率的准确性，忽略了其他非正确标签的差异，导致学习到的特征比较散
【优缺点来源链接: https://zhuanlan.zhihu.com/p/35709485】
小概念：独热（one hot/一位有效编码）
在交叉熵损失函数中，意为用0、1来表示唯一的正确标准答案
如三种动物识别，猫、狗、猪
在任意一张图片的正确结果中，只有一个作为正确答案
如
[1,0,0]代表此图片正确答案为“猫”
在交叉熵损失函数中的使用如下图：
方差损失函数
一种用于回归问题4的损失函数，原理为：计算模型输出的值，与需要回归的值之间的差，再进行平方。得到模型输出与实际值的损失
图像如下
横轴为“输出与实际值的偏离程度(注意±)”，横轴为“方差损失大小”
优点：
①无论对于什么样的输入值，都有着稳定的梯度，相比于Re_lu(线性整流函数)。不容易梯度爆炸(?)
②对于个别偏离趋势的值，会随着偏离得越远而降低此值的影响。也就是说，更关注数据整体的趋势（惩罚值是固定的）
缺点：
①大部分情况下梯度5保持相等（虽然在y−f(x)=0【曲线完美符合时】导数不存在），这意味着即使对于小的损失值，其梯度也是大的。这不利于函数的收敛和模型的学习。
输出为概率的问题 ↩︎
监督学习中会用到此函数 ↩︎
（转化为1/0、即：正确答案/非正确答案） ↩︎
输出为具体值的问题 ↩︎
高维时的导数和 ↩︎
AI学习[随堂笔记1109]_交叉熵损失函数_方差损失函数_基础相关推荐
- 交叉熵损失函数分类_PyTorch学习笔记——多分类交叉熵损失函数
理解交叉熵 关于样本集的两个概率分布p和q,设p为真实的分布,比如[1, 0, 0]表示当前样本属于第一类,q为拟合的分布,比如[0.7, 0.2, 0.1]. 按照真实分布p来衡量识别一个样本所需的 ...
- 平均符号熵的计算公式_交叉熵(Cross Entropy)从原理到代码解读
交叉熵(Cross Entropy)是Shannon(香浓)信息论中的一个概念,在深度学习领域中解决分类问题时常用它作为损失函数. 原理部分:要想搞懂交叉熵需要先清楚一些概念,顺序如下:==1.自信息 ...
- 交叉熵损失函数公式_交叉熵损失函数对其参数求导
1.Sigmoid 二分类交叉熵 交叉熵公式: 其中y是laebl:0 或1. hθ(xi)是经过sigmoid得到的预测概率.θ为网络的参数, m为样本数. hθ()函数如下所示, J(θ) 对参数 ...
- 【深度学习】sigmoid - 二次代价函数 - 交叉熵 - logistic回归 - softmax
1. sigmoid函数:σ(z) = 1/(1+e^(-z)) sigmoid函数有个性质:σ'(z) =σ(z) * ( 1 - σ(z) ) sigmoid函数一般是作为每层的激活函数,而下边的 ...
- 交叉熵损失函数优缺点_交叉熵损失函数
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式.与二次代价函数相比,它能更有效地促进ANN的训练.在介绍交叉熵代价函 ...
- 交叉熵损失函数优缺点_交叉熵损失函数的优点（转载）
第一篇: 利用一些饱和激活函数的如sigmoid激活时,假如利用均方误差损失,那么损失函数向最后一层的权重传递梯度时,梯度公式为 可见梯度与最后一层的激活函数的导数成正比,因此,如果起始输出值比较大, ...
- 交叉熵损失函数分类_交叉熵损失函数
我们先从逻辑回归的角度推导一下交叉熵(cross entropy)损失函数. 从逻辑回归到交叉熵损失函数 这部分参考自 cs229-note1 part2. 为了根据给定的 预测 (0或1),令假设函 ...
- sigmoid函数求导_交叉熵损失函数的求导(Logistic回归)
目录 前言 交叉熵损失函数 交叉熵损失函数的求导 前言 最近有遇到些同学找我讨论sigmoid训练多标签或者用在目标检测中的问题,我想写一些他们的东西,想到以前的博客里躺着这篇文章(2015年读研时机 ...
- 毕业十年｜我的嵌入式AI学习路线（笔记、代码）
嵌入式从业者接下来会有怎样的黄金十年? 在物联网和人工智能的促进下,嵌入式在未来的5-10年内会迎来更多的发展机会,一方面嵌入式开发会迎来更多的应用场景,另一方面嵌入式开发的技术体系也会逐渐丰富,从而 ...
最新文章
- 知乎高赞怎么自学 python，大概要多久？
- 2020年丘赛放榜：北大斩获5金11银强势霸榜
- ML_Multiple Linear Regression
- mysql创建临时表 主键_MySQL中临时表的基本创建与使用教程
- IT男几时而立（上）
- java 定时器qz xm配置_java_Java的作业调度类库Quartz基本使用指南，一、常用接口： 1、Job接口： - phpStudy...
- 基于jquery鼠标点击图片翻开切换效果
- [LeetCode] One Edit Distance 一个编辑距离
- nmap扫描器的使用
- 基于ssm校园餐厅订餐管理系统获取（java毕业设计）
- java 汉字排序_Java中文排序
- Android 原生的人脸识别Camera+FaceDetector示例
- 【转载】财务主管的ERP实施之路
- 51单片机贪吃蛇程序
- PySide2嵌入外部程序
- 二级展开式斜齿圆柱齿轮减速器
- 斐讯AI音箱怎么绑定扫地机器人_斐讯智能音箱常见问题解答
- Instrument使用总结
- 读《灵魂只能独行》乱摘
- win10无限蓝屏修复加重置