0. 前言

神经网络（Neural Network），是通过模拟生物大脑的突触神经传播电信号的一系列过程，来模拟生物思考，进而解决分类问题，通常，神经网络可以用来解决一些非线性的问题。

输入层（input layer）：输入 $x$
隐藏层（hidden layer）：对输入层作一系列“处理”，“处理”通常由系数的运算和激活函数组成，隐藏层可以有多层
输出层（output layer）：接受隐藏层的输出，再进行一系列处理，最终输出

给出符号的初始定义：

$\theta^{(j)}$ --- 第 $j$ 层到第 $j+1$ 层之间的权重矩阵
$z_{i}^{(j)}$ --- 为第 $j$ 层的第 $i$ 个激活单元所计算的值
$a_{i}^{(j)}$ --- 第 $j$ 层的第 $i$ 个激活单元

1. 神经网络模型

简单神经网络模型如下所示（图源：吴恩达机器学习，更改后）。Layer1为输入层，Layer2为隐藏层，Layer3为输出层。

隐藏层中的每一个激活单元，都使用了来自输入层的每一个单元的数值；输出层中的每一个激活单元，都使用了来自隐藏层中的每一个单元的数值。

注： $x_{0}\ a_{0}^{(2)}$ 是偏置单元（bias unit），为一常数，不接收前一层的输入。

这里 $x_{i}$ 可以看作是 $a_{i}^{(1)}$ ，为第一层（输入层）的激活单元。

2. 前向传播（forward propagation）

对于隐藏层和输出层的激活单元的计算，我们可给出如下计算公式，其中 $g(z)$ 仍然表示 $sigmoid$ 函数：

$\begin{align*} a_{1}^{(2)} &= g(z_{1}^{(2)})= g(\theta_{10}^{(1)}x_{0}+\theta_{11}^{(1)}x_{1}+\theta_{12}^{(1)}x_{2}+\theta_{13}^{(1)}x_{3})\\ a_{2}^{(2)} &= g(z_{2}^{(2)})= g(\theta_{20}^{(1)}x_{0}+\theta_{21}^{(1)}x_{1}+\theta_{22}^{(1)}x_{2}+\theta_{23}^{(1)}x_{3})\\ a_{3}^{(2)} &= g(z_{3}^{(2)})= g(\theta_{30}^{(1)}x_{0}+\theta_{31}^{(1)}x_{1}+\theta_{32}^{(1)}x_{2}+\theta_{33}^{(1)}x_{3}) \end{align*}$

$h_{\theta}(x)=a^{(3)}=g(z^{(3)})= g(\theta_{10}^{(2)}a_{0}^{(2)}+\theta_{11}^{(2)}a_{1}^{(2)}+\theta_{12}^{(2)}a_{2}^{(2)}+\theta_{13}^{(2)}a_{3}^{(2)})$

简单来说，这一层的每一个激活单元，都需要由上一层的每一个激活单元乘以一个系数再求和，包裹一个激活函数（此处为 $sigmoid$ 函数）得到，然后为这一层增加一个偏置单元，继续进行下一层的计算。这种由输入层，逐渐向后计算，计算到输出层的方式，称为前向传播（forward propagation）。

同样，我们可以将其向量化， $x= \begin{bmatrix} x_{0}\\ x_{1}\\ x_{2}\\ x_{3} \end{bmatrix}$ ， $\theta^{(j)}= \begin{bmatrix} \theta_{10}^{(j)} &\theta_{11}^{(j)} &\theta_{12}^{(j)} &\theta_{13}^{(j)} \\ \theta_{20}^{(j)} &\theta_{21}^{(j)} &\theta_{22}^{(j)} &\theta_{23}^{(j)} \\ \theta_{30}^{(j)} &\theta_{31}^{(j)} &\theta_{32}^{(j)} &\theta_{33}^{(j)} \end{bmatrix}$ ， $z^{(j)}= \begin{bmatrix} z_{1}^{(j)}\\ z_{2}^{(j)}\\ z_{3}^{(j)} \end{bmatrix}$ ， $a^{(j)}= \begin{bmatrix} a_{0}^{(j)}\\ a_{1}^{(j)}\\ a_{2}^{(j)}\\ a_{3}^{(j)} \end{bmatrix}$ ，给出公式如下：

$\begin{align*} z^{(2)} &= \theta^{(1)}x = \theta^{(1)}a^{(1)}\\ a^{(2)} &= g(z^{(2)})\\ Add& \ a_{0}^{(2)}=1 \\ z^{(3)} &= \theta^{(2)}a^{(2)}\\ h_{\theta}(x) &= a^{(3)}=g(z^{(3)}) \end{align*}$

其中， $\theta^{(j)}$ 的维度为 $s_{j+1}\times(s_{j}+1)$ ， $s_{j}$ 表示第 $j$ 层的单元数量（不包括偏置单元）。

一般化，可得以下公式：

$\begin{align*} z^{(j)} &= \theta^{(j-1)}a^{(j-1)} \\ a^{(j)} &= g(z^{(j)})\\ Add &\ a_{0}^{(j)}=1 \\ z^{(j+1)} &= \theta^{(j)}a^{(j)} \\ &... \end{align*}$

3. 神经网络中的多分类

在逻辑回归中，我们已经学习得知 $h_{\theta}(x)=sigmoid(\theta^{T}x)$ 表示分类至此类别的概率。所以，多分类由几个基分类器组成，计算每个类别的 $h_{\theta}(x)$ ，最大的 $h_{\theta}(x)$ 的类别即为分类结果。

同理，在神经网络中，也是运用此原理，如下图所示（图源：吴恩达机器学习）：

图为一个4分类的例子，输出层不再只有一个单元，而是4个单元，每一个单元表示分类至此类别的 $h_{\theta}(x)$ ，也就是概率，概率最大的即为分类结果。

如果这篇文章对你有一点小小的帮助，请给个关注喔~我会非常开心的~

吴恩达机器学习（六）神经网络（前向传播）相关推荐

吴恩达机器学习4——神经网络
吴恩达机器学习4--神经网络 1. 非线性假设 2. 神经网络算法 2.1 神经元 2.2 神经网络 3. 神经网络算法实例 3.1 例子1:单层神经网络表示逻辑运算 3.2 例子2 4. 多分类 1 ...
吴恩达机器学习[9]-神经网络学习
神经网络学习 Neural Network 非线性假设 Non-linear hypotheses 神经元与大脑 Neurons and the brain 模型展示1 Model represent ...
吴恩达机器学习：神经网络 | 反向传播算法
上一周我们学习了神经网络 | 多分类问题.我们分别使用逻辑回归和神经网络来解决多分类问题,并了解到在特征数非常多的情况下,神经网络是更为有效的方法.这周的课程会给出训练神经网络所使用的 ...
吴恩达机器学习 6.神经网络学习
一.非线性假设学习了线性回归和逻辑回归,二者都有的缺点有:当特征太多时,计算的负荷会非常大. 假如: 当使用x1,x2x_1,x_2x1,x2的多项式进行预测时,我们可以应用的很好. 之前有了解 ...
吴恩达机器学习 7.神经网络参数的反向传播算法
1.神经网络算法的代价函数标记方法神经网络的训练样本有m个每个包含一组输入x和一组输出信号y L表示神经网络层数 SIS_ISI表示每层的神经元个数 SlS_lSl表示输出层的神经元个数 S ...
吴恩达机器学习：神经网络学习和作业
神经网络 (一)神经网络模型理解 1.1 模型 1.2 神经网络模型(前馈) 1.3 建立神经网络模型 1.4 多元分类 1.5 循环神经网络与对称连接网络 (二)神经网络模型实现 2.1 代价函数 ...
吴恩达机器学习Week4神经网络表述
神经元模型定义:神经网路是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应[Kohomen,1988]. 神经网络中最基本的成分是神经元(N ...
吴恩达机器学习5——神经网络的学习
神经网络的学习 1. 代价函数和反向传播 1.1 代价函数 1.2 反向传播算法 1.3 反向传播算法的直观理解 2. 神经网络算法技巧 2.1 参数展开技巧 2.2 梯度检验 2.3 随机初始化参数 ...
python分类预测降低准确率_python实现吴恩达机器学习练习3（多元分类器和神经网络）...
Programming Exercise 3: Multi-class Classification and Neural Networks 吴恩达机器学习教程练习3,练习数据是5000个手写数字(0 ...

吴恩达机器学习（六）神经网络（前向传播）

目录

0. 前言

1. 神经网络模型

2. 前向传播（forward propagation）

3. 神经网络中的多分类

吴恩达机器学习（六）神经网络（前向传播）相关推荐

最新文章

热门文章