Softmax分类器
在前面我们已经讲了得分函数和损失函数，如果我们将类别的得分转换成概率的形式，则会更加直观。
首先介绍一下sigmoid函数：
sigmoid函数可以将输入的一个实数映射到0——1区间上。从图中我们可以看到自变量X的取值范围为正无穷到负无穷的一切实数，Y的取值范围是从0到1的。那么任意的一个X1我们都可以得到一个在[0,1]上的Y1，也就是我们可以把所有的值都压缩到0到1这个区间内，结合之前的得分函数，一个输入对于每一个类别的得分X，我们都可以把这个得分映射到[0,1]区间内，也就是把我们的得分数值转成了相应的概率值。
下面介绍一下softmax分类器：
softmax损失函数：
其中被称为softmax函数。
下面我们介绍一下分类器最终的LOSS值是怎么计算的：
第一步：对应于一个输入计算出它属于每种类别的得分数值。
第二部：利用sigmoid函数把所有的得分值映射成一个概率值。
第三部：对最终正确分类所占的概率求一个log值再取负号就。
我们利用这个图片具体介绍一下计算过程：
对于前面的小猫的图片输入，最终得出是三种类别的得分，从图中我们可以看到三个得分之间的差值其实很小，区分并不明显，所以这里我们进行一个值域的映射。因为我们需要他们之间的差异更大，这样我们就可以很轻松的分辨出来这个输入到底是什么。
对于e^x这个函数来说，越大的值映射完成之后越大，越小的值映射完之后也就越小。值域映射完成之后可以看到三种类别之间的差异更明显了分别为24.5、164.0、0.18。这一步就是
在我们得到这个得分值之后，我们需要得到一个概率值，这里我们想要得到的三个概率和为1，简单进行一个规划，就是用每一个得分除以总的得分，最后得到概率分别为0.13、0.87、0。这一步就是
下面的求和部分就是进行规划的过程。
现在我们得到了三种类别的概率值，从前一篇文章我们可以知道正确分类的概率越大损失函数值越小，正确分类的概率越小则损失函数的值应该越大，当正确分类的概率为1时，也就是分类结果完全正确的时候我们的损失函数值应该为0。
这里我们先来分析一下log函数：
从图中我们可以看到当X的值为1时，Y的取值为0，而当X的取值越小的时候这个Y的绝对值也就越大，所以log函数满足了我们这个要求，由于X在[0,1]中取值的时候，Y的值为负数，所以我们需要的是Y的绝对值，这里在log前面加上一个负号，log内的概率为正确分类的概率值，当正确分类的概率越小也就是分错了这时损失函数值也就越大。（神经网络的最后一层）
Softmax分类器相关推荐
- 3.9 训练一个 Softmax 分类器-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.8 Softmax 回归 回到目录 3.10 深度学习框架 训练一个 Softmax 分类器 (Training a Softmax Classifier) 上一个视频中 ...
- 训练softmax分类器实例_CS224N NLP with Deep Learning（四）：Window分类器与神经网络
Softmax分类器 我们来回顾一下机器学习中的分类问题.首先定义一些符号,假设我们有训练集 ,其中 为输入, 为标签,共包括 个样本: 表示第 个样本,是一个 维的向量: 表示第 个样本的标签,它的 ...
- SVM与SoftMax分类器
出处:http://blog.csdn.net/han_xiaoyang/article/details/49999299 声明:版权所有,转载请注明出处,谢谢. 转给自己 1. 线性分类器 在深度 ...
- 深度学习与计算机视觉（二）线性SVM与Softmax分类器
2.线性SVM与Softmax分类器 2.1 得分函数(score function) 2.1.1 线性分类器 2.1.2 理解线性分类器 2.2 损失函数 2.2.1 多类别支持向量机损失(Mult ...
- 深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器--在深度学习的视觉分类中的，这两个分类器的原理和比较
作者: 寒小阳 时间:2015年11月. 出处:http://blog.csdn.net/han_xiaoyang/article/details/49999299 声明:版权所有,转载请注明出 ...
- 深度学习系列--1.入坑模型: 线性回归，logistic 回归，softmax分类器
惭愧啊,读研的时候学得正是模式识别:当看着书本上都是公式推导.博士师兄们也都在公式推导研究新算法的时候,排斥心理到了顶点,从此弃疗. 工作三年,重新捡起,因为更关注实际操作,所以选择了<pyth ...
- 训练softmax分类器实例_一个值得深思的问题？为什么验证集的loss会小于训练集的loss...
编辑:zero 关注 搜罗最好玩的计算机视觉论文和应用,AI算法与图像处理 微信公众号,获得第一手计算机视觉相关信息 在本教程中,您将学习在训练自己的自定义深度神经网络时,验证损失可能低于训练损失的三 ...
- 04 Softmax分类器
Softmax分类器 我们处理多分类问题时,使用 SVM 输出的是一个得分值,但是得分值最后比来比去不是很直观.那么我们能不能将得分值进行转换,转换成一个概率值,如果一个新数据样本到达,如果属于某 ...
- softmax 分类器
1.从两个角度理解 (1)信息论中交叉熵 H(p,q)=−∑xp(x)log(q(x))=H(p)+DKL(p∣∣q)H(p,q)=-\sum_xp(x)log(q(x))=H(p)+D_{KL}(p ...
- 训练softmax分类器实例_作业：softmax.ipynb
这个作业与svm.ipynb类似,要求: 为类Softmax分类器实现一个全向量化运算的损失函数 .类Softmax分类器定义在linear_classifier.py中,而损失函数实现在 softm ...
最新文章
- python同步两张数据表_Python 如何实现数据库表结构同步
- 帧同步和状态同步（一）
- 遇到 oracle 错误 25153,EXP时,出现3113的错误,不知道怎么解决?
- 02-07 Python库-pytest
- linux中启动与终止lnmp的脚本
- 【hashcat help中文注释】
- 使用matlab的appdesigner绘制Steward并联机构
- (executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after
- rust拆除建筑_破败建筑除了拆除或修复，变成废墟花园是更浪漫的一种可能
- 如何注册阿里大于申请签名和短信模板
- 运维派 企业面试题2 创建10个 十个随机字母_test.html 文件
- MTK Kernel Log 看电池信息
- linux操作系统2试题,linux操作系统试题
- Python几种基本的字符串格式化方法
- 寻找技术中国——渴望不再被扼住喉咙！
- 如何使用WPS进行文档内容对比
- 三层交换机与路由器对接上网配置示例
- 使用python裁剪mp3
- python 单词拆音节_y在单词或音节中间的单词有哪些？
- 字节跳动音乐梅开二度，腾讯音乐、网易云要警惕了