训练softmax分类器实例_作业：softmax.ipynb

这个作业与svm.ipynb类似，要求：

为类Softmax分类器实现一个全向量化运算的损失函数。类Softmax分类器定义在linear_classifier.py中，而损失函数实现在 softmax.py文件中。
实现一个基于微分分析梯度法的全向量化运算表达式（包含在损失函数定义中）。
与数值梯度法求出的损失函数和梯度值进行比较。
使用校验数据集来调节学习速率和正则化强度两个超参数。
使用SGD方法来优化损失函数
将最终学习到的权重集可视化。

在svm和softmax作业中都只讲了1和2的实现，强调公式推导和算法的性能优化（主要是使用向量化运算），并没有对一些辅助性功能及运行结果作说明。这篇文章补上这部分内容。

在softmax_loss_naive和 softmax_loss_vectorized 完成后，要求对两个函数的运行时间进行对比，在我的MBA上，前者运行时间是后者的14倍。

接下来是对softmax进行训练，并找到最优的超参数。下面的代码是留空处应该补全的代码：

for

这里对学习速度和正则化惩罚强度两个超参数各给出了两组数据：

learning_rates

由于精度问题，#01行处的代码会将1e-7显示为零。当正则化惩罚强度参数为1e8时，在我的MBA和python 2.7上运行出错：

Trying learning rate as 0.000000, regularization strength as 100000000.000000
reg penalty is 1530787.678522
iteration 0 / 1500: loss 1530793.446178
iteration 100 / 1500: loss nan
iteration 200 / 1500: loss nan
iteration 300 / 1500: loss nan
iteration 400 / 1500: loss nan

出现数值溢出，导致loss取值为非数字（nan， Not a number)。这是因为当强度参数取值为1e8时，正则化惩罚达到 1530787，不光远远超过loss的基本值，也会传递给第二次参与计算的权重集W，从而最终导致在sum(W*W)的计算中溢出。

最后一段代码揭示了经过学习而得的权重集W在本质上应该是什么：W中的每一个分类对应的数值（维度为D的数组，D = 32 * 32 * 3），本质是就是这个分类中所有图像的像素值的综合，因而将它还原成图像后，你会发现它就是它所代表的分类的图像。在我的机器上，经过训练后的W图形化后的结果如下：

训练softmax分类器实例_作业：softmax.ipynb相关推荐

训练softmax分类器实例_第四章.模型训练
迄今为止,我们只是把机器学习模型及其大多数训练算法视为黑盒.但是如果你做了前面几章的一些练习,你可能会惊讶于你可以在不知道任何关于背后原理的情况下完成很多工作:优化一个回归系统,改进一个数字图像分类器 ...
训练softmax分类器实例_一个值得深思的问题？为什么验证集的loss会小于训练集的loss...
编辑:zero 关注搜罗最好玩的计算机视觉论文和应用,AI算法与图像处理微信公众号,获得第一手计算机视觉相关信息在本教程中,您将学习在训练自己的自定义深度神经网络时,验证损失可能低于训练损失的三 ...
训练softmax分类器实例_吴恩达深度学习笔记(56)-训练一个 Softmax 分类器
训练一个 Softmax 分类器(Training a Softmax classifier) 上一个笔记中我们学习了Softmax层和Softmax激活函数,在这个笔记中,你将更深入地了解Softm ...
训练softmax分类器实例_知识蒸馏：如何用一个神经网络训练另一个神经网络
作者:Tivadar Danka 编译:ronghuaiyang 原文链接知识蒸馏:如何用一个神经网络训练另一个神经网络mp.weixin.qq.com 导读知识蒸馏的简单介绍,让大家了解知识蒸 ...
训练softmax分类器实例_CS224N NLP with Deep Learning（四）：Window分类器与神经网络
Softmax分类器我们来回顾一下机器学习中的分类问题.首先定义一些符号,假设我们有训练集 ,其中为输入, 为标签,共包括个样本: 表示第个样本,是一个维的向量: 表示第个样本的标签,它的 ...
训练softmax分类器实例_assignment1-softmax分类器
理论知识 softmax函数如下: 一个样本在C个类别的评分为z,可以看出z为一个向量.softmax函数对进行压缩,输出一个向量,其中每个元素值在0到1之间,且所有元素之和为1. 交叉熵定义如下: ...
深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器
作者: 寒小阳 &&龙心尘时间:2015年11月. 出处:http://blog.csdn.net/han_xiaoyang/article/details/49999299 声明: ...
3.9 训练一个 Softmax 分类器-深度学习第二课《改善深层神经网络》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.8 Softmax 回归回到目录 3.10 深度学习框架训练一个 Softmax 分类器 (Training a Softmax Classifier) 上一个视频中 ...

训练softmax分类器实例_作业：softmax.ipynb

训练softmax分类器实例_作业：softmax.ipynb相关推荐

最新文章

热门文章