机器学习05神经网络--表示

神经网络：表示（Neural Networks: Representation）

如今的神经网络对于许多应用来说是最先进的技术。

对于现代机器学习应用，它是最有效的技术方法。

神经网络模型是许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。

下图为一个 3 层的神经网络：

第一层为输入层（Input Layer）

中间一层为隐藏层（Hidden Layers）

最后一层为输出层（Output Layer）

我们为每一层都增加一个偏差单位（bias unit）：

代表第 j 层的第 i 个激活单元。

代表从第 j 层映射到第 j+1 层时的权重的矩阵。

其尺寸为：以第 j+1 层的激活单元数量为行数，以第 j 层的激活单元数加1为列数的矩阵。

对于上图所示的模型，激活单元和输出分别表达为：

每一个 a 都是由上一层所有的 x 和每一个 x 所对应的权重决定的。

把这样从左到右的算法称为前向传播算法( FORWARD PROPAGATION )

完整计算过程：

其实神经网络就像是 logistic regression，只不过我们把 logistic regression 中的输入向量[x1~x3]变成了中间层的[a(2)1~a(2)3]。

我们可以把 a0,a1,a2,a3看成更为高级的特征值，也就是 x0,x1,x2,x3的进化体，并且它们是由 x 与决定的。

这些更高级的特征值远比 x 次方厉害，也能更好的预测新数据。

这就是神经网络相比于逻辑回归和线性回归的优势。

—————————————————————————————————————————————————————————

从本质上讲，神经网络能够通过学习得出其自身的一系列特征。

神经网络中，单层神经元（无中间层）的计算可用来表示逻辑运算，比如逻辑 AND、逻辑或 OR 、逻辑非NOT。

可以利用神经元来组合成更为复杂的神经网络以实现更复杂的运算，例如 XNOR 功能。

按这种方法我们可以逐渐构造出越来越复杂的函数，也能得到更加厉害的特征值。

这就是神经网络的厉害之处。

—————————————————————————————————————————————————————————

多类分类（Multiclass Classification）

假设k类，则输出层有k个神经元。

每个样例的类标都是一个k向量，对应下标置1，其余置0。

如有4类：

机器学习05神经网络--表示相关推荐

基于Apache Spark的机器学习及神经网络算法和应用
使用高级分析算法(如大规模机器学习.图形分析和统计建模等)来发现和探索数据是当前流行的思路,在IDF16技术课堂上,英特尔公司软件开发工程师王以恒分享了<基于Apache Spark的机器学习及 ...
机器学习实战-神经网络-21
机器学习实战-神经网络-手写数字识别项目 # pip install scikit-learn --upgrade from sklearn.neural_network import MLPClas ...
【机器学习】神经网络BP理论与python实例系列
理论部分 <机器学习--人工神经网络之发展历史(神经元数学模型.感知器算法)> <机器学习--人工神经网络之多层神经网络(多层与三层)> <机器学习--人工神经网络之后向 ...
机器学习——人工神经网络之BP算法编程（python二分类数据集：马疝病数据集）
目录一.理论知识回顾 1.神经网络模型 2.明确任务以及参数 1)待估参数: 2)超参数: 3)任务 3.神经网络数学模型定义 1)激活函数 2)各层权重.阈值定义 3)各层输入输出定义 4.优 ...
机器学习——人工神经网络之后向传播算法（BP算法）
目录一.后向传播算法的本质--梯度下降法求局部极值 1.w迭代公式的合理性二.后向传播算法的推导(以二层神经网络为例) 1.问题描述(创建目标函数loss函数,求参数) 2.求解参数的流程(四步曲 ...
机器学习——人工神经网络之多层神经网络（多层与三层）
目录一.多层神经网络 1.多层神经网络数学模型 2.数学模型中的非线性函数fai 1)非线性函数fai存在的意义 2)非线性函数fai具体是什么? 3.多层神经网络与单层神经网络的区别与改进 1)单 ...
机器学习——人工神经网络之发展历史（神经元数学模型、感知器算法）
目录一.神经元的数学模型二.感知器算法(SVM算法前身) 1.目的 2.流程 >>>问题1:下图w和b的调整是什么意思? 3.算法的有效性验证 1)原算法 2)增广矩阵 3) ...
猿宵节正确打开方式：你要的大数据、机器学习、神经网络…已配齐
导读:数据叔听说,程序猿们今晚要通宵了: 但数据叔真心希望,在这个以团圆为关键词的节日里,你能早点下班,跟家人一起过节.光说几句祝福的话好像诚意不够,数据叔再送一本书,愿你在新年开工之际提高姿势水平. ...
机器学习：神经网络的代价函数及反向传播算法
在<机器学习:神经网络的模型构建>中,我记录了神经网络的一些基础知识,包括神经网络的逻辑单元.模型表示.前向传播等等.这篇笔记中,我会整理神经网络的代价函数以及反向传播算法- 那么如何在给 ...

机器学习05神经网络--表示

机器学习05神经网络--表示相关推荐

最新文章

热门文章