深度学习入门(鱼书)学习笔记

2024-06-30 05:51:46

第1章 Python入门

第2章感知机

第3章神经网络

3.2.激活函数

sigmoid函数：
h(x)=11+exp⁡(−x)h(x)=\frac{1}{1+\exp(-x)} h(x)=1+exp(−x)1
ReLU（Rectified Linear Unit）函数：
h(x)={x,(x>0)0,(x≤0)h(x)= \begin{cases} x, & (x>0) \\ 0, &(x \le 0) \end{cases} h(x)={x,0,(x>0)(x≤0)

3.5.输出层的设计

softmax函数：
yk=exp⁡(ak)∑i=1nexp⁡(ai)y_k=\frac{\exp (a_k)}{\sum_{i=1}^n \exp (a_i)} yk=∑i=1nexp(ai)exp(ak)

第4章神经网络的学习

4.2.损失函数

交叉熵误差（cross entropy error）：
E=−∑ktklog⁡ykE=-\sum_{k} t_k \log y_k E=−k∑tklogyk

问题：为什么数值微分的计算非常费时？复杂度有多高？

4.3.数值微分

# 数值微分
def numerical_diff(f, x):h = 1e-4return (f(x+h) - f(x-h)) / (2*h)

4.4.梯度

梯度下降法
学习率

第5章误差反向传播法

5.1.计算图

计算图解题流程：

1.构建计算图

2.在计算图上，从左向右进行计算

使用计算图的原因：可以通过反向传播高效计算导数。

计算图的优点：可以通过正向传播和反向传播高效地计算各个变量的导数值。

5.2.链式法则

定义：如果某个函数由复合函数表示，则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。
∂z∂x=∂z∂t∂t∂x\frac{\partial z}{\partial x}=\frac{\partial z}{\partial t}\frac{\partial t}{\partial x} ∂x∂z=∂t∂z∂x∂t
举例：z=(x+y)2,t=x+yz=(x+y)^2, \ t=x+yz=(x+y)2, t=x+y
反向传播计算过程如下：

图5.7-5.8 计算图的正向与反向传播

5.3.反向传播

加法的反向传播：将上游的值传给下游，不需要正向传播的输入信号。
乘法的反向传播：将上游的值乘以正向传播时的输入信号的“翻转值”后传给下游，需要正向传播的输入信号。

图5-14 购买苹果的反向传播的例子

5.4.简单层的实现

图5-17 购买2个苹果和3个橘子

5.5.激活层函数的实现

图5-18 ReLU层的计算图

图5-21 Sigmoid层的计算图（简洁版）

为什么是exp(-x)而不是exp(x)?

图5-22 Sigmoid层的计算图：可以根据正向传播的输出y计算反向传播

5.6.Affine/Softmax层的实现

todo

深度学习入门(鱼书)学习笔记相关推荐

深度学习入门之PyTorch学习笔记：深度学习介绍
深度学习入门之PyTorch学习笔记:深度学习介绍绪论 1 深度学习介绍 1.1 人工智能 1.2 数据挖掘.机器学习.深度学习 1.2.1 数据挖掘 1.2.2 机器学习 1.2.3 深度学习第 ...
深度学习入门教程UFLDL学习实验笔记三：主成分分析PCA与白化whitening
深度学习入门教程UFLDL学习实验笔记三:主成分分析PCA与白化whitening 主成分分析与白化是在做深度学习训练时最常见的两种预处理的方法,主成分分析是一种我们用的很多的降维的一种手段,通 ...
深度学习入门教程UFLDL学习实验笔记一：稀疏自编码器
深度学习入门教程UFLDL学习实验笔记一:稀疏自编码器 UFLDL即(unsupervised feature learning & deep learning).这是斯坦福网站上的一篇 ...
深度学习入门之PyTorch学习笔记：卷积神经网络
深度学习入门之PyTorch学习笔记绪论 1 深度学习介绍 2 深度学习框架 3 多层全连接网络 4 卷积神经网络 4.1 主要任务及起源 4.2 卷积神经网络的原理和结构 4.2.1 卷积层 1. ...
深度学习入门之PyTorch学习笔记：多层全连接网络
深度学习入门之PyTorch学习笔记绪论 1 深度学习介绍 2 深度学习框架 3 多层全连接网络 3.1 PyTorch基础 3.2 线性模型 3.2.1 问题介绍 3.2.2 一维线性回归 3.2 ...
深度学习入门之PyTorch学习笔记：深度学习框架
深度学习入门之PyTorch学习笔记绪论 1 深度学习介绍 2 深度学习框架 2.1 深度学习框架介绍 2.1.1 TensorFlow 2.1.2 Caffe 2.1.3 Theano 2.1.4 ...
深度学习入门之PyTorch学习笔记
深度学习入门之PyTorch学习笔记绪论 1 深度学习介绍 2 深度学习框架 3 多层全连接网络 4 卷积神经网络 5 循环神经网络 6 生成对抗网络 7 深度学习实战参考资料绪论深度学习如今 ...
重磅！深度学习圣经“花书”核心笔记、代码发布
点击上方"AI有道",选择"置顶"公众号重磅干货,第一时间送达 <深度学习>,又名"花书".该书由三位大佬 Ian Goodf ...
机器学习入门-西瓜书总结笔记第十六章
西瓜书第十六章-强化学习一.任务与奖赏二.K-摇臂赌博机 1.探索与利用 2. ϵ \epsilon ϵ-贪心 3.Softmax 三.有模型学习 1.策略评估 2.策略改进 3.策略迭代与值迭代 ...
机器学习入门-西瓜书总结笔记第十一章
西瓜书第十一章-特征选择与稀疏学习一.子集搜索与评价二.过滤式选择三.包裹式选择四.嵌入式选择与 L 1 L_1 L1正则化五.稀疏表示与字典学习六.压缩感知一.子集搜索与评价将属性 ...

最新文章

热门文章