深度学习——Softmax回归+损失函数（笔记）

一。Softmax回归

1.Softmax回归，名字是回归，其实是一个分类问题。

2.回归和分类的区别是什么？

①回归估计的是一个连续值：比如预测二手房卖出的价格

Ⅰ回归是在自然区间R单连续值的输出

Ⅱ跟真实值的区别作为损失

②分类是预测一个离散类别。比如：图片是猫还是狗

Ⅰ分类有多个输出o1,o2,o3。等于类别的个数

Ⅱ 输入的i是预测第i类的置信度

3.介绍两个数据集

①MNIST：手写数字识别（10类）

②ImageNet：自然物体分类（1000类）

4.从回归到多类分类——均分损失【无校验比例】

①对类别进行一位有效编码：独热编码。

独热编码是一个向量，它的分量和类别一样多。类别对应的分量设置为1，其他所有分量设置为0。 “猫”（1，0，0）、对应于“鸡”（0，1，0）、对应于“狗”（0，0，1）。

②使用均分损失训练

③找出o1,o2,o3数值最大的一个为预测值

④需要更置信的识别正确类（大余量）：真正的类和其他的类拉开距离。

5.从回归到多类分类—校验比例

把softmax(o)展开，第i类的概率。

分子：e为底oi的指数，非负数

分母：e为底oi的指数从第一个加到最后一个的和。

这样第的值从第1类相加最后一类，分子等于分母和为1.

②概率y和区别作为损失

6.交叉熵：作为概率的损失函数

①交叉熵衡量两个概率的区别

②损失函数：

损失函数的个人理解：输入一张照片y=(猫，狗，兔)，真实值y=(0,1,0)

预测值=（0.05，0.8，0.15）.

然后展开求和。最后只剩下-log(0.8),这就是损失值。所以，只跟正确哪一类的对应输出有关。（只关心正确类。）

③损失函数的梯度：

总结：用softmax将结果概率化，用交叉熵做损失函数。

二。损失函数:衡量真实值和预测值的区别

1.L2Loss均方损失函数

2.L1Loss 绝对值损失函数:

L1=

①优点：即使当预测值跟真实值相差大，但是梯度一直是常数，权重更新的时候不会相差太大，比较稳定。

②缺点：但0点数不可导，不平滑。真实值跟预测值想接近的是时候，变得不稳定

3.Robust Loss(结合上两个的优点)

好处：真实值和预测值远的时候，梯度是常数，权重更新变得均匀。

真实值和预测值接近的时候，梯度慢慢变小，没有大幅度更新。

深度学习——Softmax回归+损失函数（笔记）相关推荐

深度学习-softmax回归
softmax regression 1- softmax 基本概念 1-1 极大似然估计 2- Fashion-MNIST图像分类数据集 2-1 下载数据集 2-2 可视化 3- softmax回归 ...
跟李沐学深度学习-softmax回归
softmax回归分类和回归的区别无校验比例校验比例交叉熵常见损失函数均方误差 L2 loss 绝对值损失L1 loss 鲁棒损失图像分类数据集分类和回归的区别回归:估计一个连续值 ...
动手学深度学习——softmax回归之OneHot、softmax与交叉熵
目录一.从回归到多类分类 1. 回归估计一个连续值 2. 分类预测一个离散类别二.独热编码OneHot 三.校验比例--激活函数softmax 四.损失函数--交叉熵五.总结回归可以用于预测多 ...
【动手学深度学习】Softmax 回归 + 损失函数 + 图片分类数据集
学习资料: 09 Softmax 回归 + 损失函数 + 图片分类数据集[动手学深度学习v2]_哔哩哔哩_bilibili torchvision.transforms.ToTensor详解 | 使用 ...
【CS224n】2斯坦福大学深度学习自然语言处理课程笔记——词向量、词义和神经分类器
Natural Language Processing with Deep Learning 课程笔记2 1. 词向量和word2vec 2. 优化基础知识 3. 我们能否通过计数更有效地抓住词义的本 ...
Yann Lecun纽约大学《深度学习》2020课程笔记中文版，干货满满！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! [导读]Yann Lecun在纽约大学开设的2020春季<深度学习>课 ...
《Python深度学习》第一章笔记
<Python深度学习>第一章笔记 1.1人工智能.机器学习.深度学习人工智能机器学习深度学习深度学习的工作原理 1.2深度学习之前:机器学习简史概率建模早期神经网络核方法 ...
《神经网络与深度学习》nndl读书笔记
目录本书的知识体系深度学习与神经网络概要人工智能机器学习机器学习模型步骤表示学习局部表示与分布式表示深度学习常用的深度学习框架端到端学习神经网络人工神经网络神经网络的发展历史 ...
损失能收敛到0么深度学习_人工智能-Tensorflow进行深度学习的一些损失函数的可视化...
TensorFlow目前是数值计算的最佳开源库,它使机器学习更快更容易.在这篇文章中,您将学习机器学习中使用的一些损失函数.损失函数在机器学习领域非常重要.它们用作测量模型预测输出Y_out与grou ...

深度学习——Softmax回归+损失函数（笔记）

深度学习——Softmax回归+损失函数（笔记）相关推荐

最新文章

热门文章