深度学习个人总结（1）

一、了解深度学习
1、什么是深度学习？
深度学习是机器学习的一个子集，被用于解决多个领域的实际任务，如计算机视觉（图像）、自然语言处理（NLP）和自动语音识别，是一个强大的工具，是机器学习众多方法的子集，主要使用人工神经网络，灵感在某种程度上来自于人类的大脑。

2、什么是神经网络？
神经网络是一种运算模型（机器学习的模型），由大量的节点（或称“神经元”）和之间相互的联接构成。每个节点代表一种特定的输出函数，称为激励函数、激活函数（activation function）。每两个节点间的联接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

3、神经网络如何构造？
神经网络和人类的大脑中的神经网络相同，需要大量的神经元组成。
1）神经元
构成神经网络的基本单位。
yk=f（∑wik x xi + bk）
yk表示输出，f表示激活函数，xi表示输入，wi表示权重，bk表示偏置值
2）神经网络

输入层一般为我们想预测的数据，输出层一般为预测的结果

二、学习深度学习
1、前向传播
前向传播即神经网络中的各神经元的输出变成下一个神经元的输入的过程，层层递进，直到输出层输出结果。

2、反向传播
根据预测结果的的误差来修正神经网络中的各参数（如权值、偏差、层数等），使神经网络能更好更准确的预测结果。即通过输出反向来修正输入阶段的参数。
反向传播是训练神经网络的关键

3、激活函数
神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值，并将输入值传递给下一层，输入层神经元节点会将输入属性值直接传递给下一层（隐层或输出层）。在多层神经网络中，上层节点的输出和下层节点的输入之间具有一个函数关系，这个函数称为激活函数（又称激励函数）。
作用：使输出不再是输入的线性组合
选择合适的激活函数对模型预测的准确性非常关键！

4、损失函数
损失函数就是用来表现预测与实际数据的差距程度，以此来反向传播调整参数，可以用预测值和真实结果的差值，也可以用差值的绝对值或平方等来当作损失函数。

5、训练神经网络
一般用来训练的数据分为训练集和测试集，训练集用来训练模型，测试集用来检测模型的可用性。
训练集或测试集中数据又分为输入数据和真实结果数据。
初始的各参数可使用默认值或随机值，最后的参数需要通过训练来不断修改得到。
训练大致过程：通过前向传播得到预测结果，再与真实结果进行比较（损失函数），将结果反向传播，并修改路径上的各参数。

深度学习个人总结（1）相关推荐

从2012年到现在深度学习领域标志成果
2006年,Hinton 发表了一篇论文<A Fast Learning Algorithm for Deep Belief Nets>,提出了降维和逐层预训练方法,该方法可成功运用于训练 ...
各种优化算法公式快速回忆优化器-深度学习
本文是Deep Learning 之最优化方法系列文章的RMSProp方法.主要参考Deep Learning 一书. 整个优化系列文章列表: Deep Learning 之最优化方法 Deep ...
卷积神经网络之卷积计算、作用与思想深度学习
博客:blog.shinelee.me | 博客园 | CSDN 卷积运算与相关运算在计算机视觉领域,卷积核.滤波器通常为较小尺寸的矩阵,比如3×33×3.从这个角度看,多层卷积是在进行逐层映射,整 ...
矩阵的卷积核运算（一个简单小例子的讲解）深度学习
卷积运算:假设有一个卷积核h,就一般为3*3的矩阵: 有一个待处理矩阵A: h*A的计算过程分为三步第一步,将卷积核翻转180°,也就是成为了第二步,将卷积核h的中心对准x的第一个元素,然后对应元 ...
深度学习优化函数详解（5）-- Nesterov accelerated gradient (NAG) 优化算法
深度学习优化函数详解系列目录深度学习优化函数详解(0)– 线性回归问题深度学习优化函数详解(1)– Gradient Descent 梯度下降法深度学习优化函数详解(2)– SGD 随机梯度下降 ...
transformer bert seq2seq 深度学习编码和解码的逻辑-重点
参考文献: 详解从 Seq2Seq模型.RNN结构.Encoder-Decoder模型到 Attention模型 [NLP]Attention Model(注意力模型)学习总结(https://ww ...
入门指南目录页 -PaddlePaddle 飞桨入门指南 FAQ合集-深度学习问题
入门指南目录页 -PaddlePaddle 飞桨入门指南 FAQ合集 GT_Zhang关注 0.1012019.08.01 18:43:34字数 1,874阅读 795 Hi,欢迎各位来自Paddl ...
深度学习的分布式训练--数据并行和模型并行
<div class="htmledit_views"> 在深度学习这一领域经常涉及到模型的分布式训练(包括一机多GPU的情况).我自己在刚刚接触到一机多卡,或者分布式 ...
1-1 机器学习和深度学习综述-paddle
课程>我的课程>百度架构师手把手教深度学习>1-1 机器学习和深度学习综述> 1-1 机器学习和深度学习综述 paddle初级课程王然(学生) Notebook 教育初级深 ...
深度学习的Xavier初始化方法
在tensorflow中,有一个初始化函数:tf.contrib.layers.variance_scaling_initializer.Tensorflow 官网的介绍为: variance_sca ...

深度学习个人总结（1）

深度学习个人总结（1）

深度学习个人总结（1）相关推荐

最新文章

热门文章