深度学习（二）：传统神经网络

标签：深度学习CNN神经网络知识总结

2017-03-20 20:19 121人阅读评论(0)收藏举报

分类：

深度学习（5）

一、常用的非线性激励函数

1.Sigmoid

优点：输出可以映射到[0,1]

缺点：一次求导后梯度损失了75%,梯度损失严重

2.Than

优点：输出可以映射到[-1,1]

缺点：梯度损失明显

3.Relu

特性：正向截断负值，损失大量特征，但由于特征数量足够，仍然足够推动机器进行学习

通过引入非线性层使得神经网络能够拟合非线性问题。

【问题】是否存在线性回归网络？

答：没有，存粹的线性问题并不存在多层网络的概念，由其线性特性，只需要一层便能表示“多层”的

二、神经网络构建

1、神经元的并联和串联

从第一层神经元的最后一层的神经元，每一个神经元的数值由前一层神经元数值，神经元参数W，b以及激励函数共同决定。

2.神经网络优化：链式法则

计算梯度

Output->last layer

Layer->layer

Layer->parameter

3.训练过程中调参技巧

刚开始适用较大的学习率，加快收敛，后期使得学习率衰减，提高训练精度。

三、神经网络的“配件”

1.常见的损失函数

影响深度学习性能的最重要参数之一，是外部世界（标签）对神经网络模型训练的直接指导，合适的损失函数能确保深度学习模型收敛，设计合理的损失函数是研究工作中主要内容之一

1.1Sofmax

例：一组数据【1，2，3，4，1，2，3】----》【0.024，0.064，0.175，0.475，0.024，0.064，0.175】

对Loss的影响：指数型的性质将放大数据间的区别，因此对于分类问题的预测结果更为清晰

1.2Cross entropy(交叉熵)

缺点：当Yn=0时，会造成损失无限大。

用途：目标为[0,1]区间的回归问题以及生成问题（如针对一张图片的生成问题，刚开始生成0到1间的回归值，之后再乘以255得到像素级彩色图片）单独将某些预测值取出或者赋予不同大小的参数

1.3损失函数设计

1.3.1看中某一个属性

1.3.2合并多个loss：多目标训练任务，设置合理的Loss结合方式（如FAST-RCNN中融合两个Loss(分类与空间位置的回归)）

1.3.3神经网络融合：不同神经网络loss结合，共同loss对网络进行训练指导

2.学习率

1.性质：学习率大时候收敛快，学习率小时精度高

2.学习率的选择:固定，步进

3.惯性因子

对新出现的梯度方向，优化方向会沿着之前已经得到的优化方向前进，不会直接变为新方向，只会微调

4.过拟合

过度关注训练数据，从模型上的体现便是过于关注某些神经元，权重过高，导致模型灵活性下降，下图中黑色曲线比绿色更高

4.1应对方法：

4.1.1正则化，在考虑损失函数的设计时，同时考虑模型，得到模型较小请款下的最优决策函数

4.1.2Dropout:对隐藏层中的神经元训练过程中进行随机丢弃，这样训练得到的结果各神经元参数分布将比较均匀，不容易过拟合

4.1.3Fine-tuning:利用已经训练好的模型，对其中某些层参数固定，训练一小部分参数，对整个网络进行微调，示例如下

4.2面试题Dropout ,Pooling区别？

Pooling的本质是降维（降维的原因是经过ReLU后，很多数据值为0，不对训练有效果，因此通过最大/平均降维进行抛弃）

Dropout本质是：正则化

深度学习（二）：传统神经网络相关推荐

【深度学习】LSTM神经网络解决COVID-19预测问题（二）
[深度学习]LSTM神经网络解决COVID-19预测问题(二) 文章目录 1 概述 2 模型求解和检验 3 模型代码 4 模型评价与推广 5 参考 1 概述建立一个普适性较高的模型来有效预测疫情的达 ...
深度学习之卷积神经网络(Convolutional Neural Networks, CNN)(二)
前面我们说了CNN的一般层次结构, 每个层的作用及其参数的优缺点等内容.深度学习之卷积神经网络(Convolutional Neural Networks, CNN)_fenglepeng的博客-CS ...
深度学习 VS 传统计算机视觉
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达本文转载自:机器之心作者:Niall O' Mahony等 | ...
深度学习～卷积神经网络(CNN)概述
目录 1. 卷积神经网络的形成和演变 1.1 卷积神经网络结构 1.2 卷积神经网络的应用和影响 1.3 卷积神经网络的缺陷和视图 1.3.1 缺陷:可能错分 1.3.2 解决方法:视图 ...
深度学习之循环神经网络（2）循环神经网络原理
深度学习之循环神经网络(2)循环神经网络原理 1. 全连接层 2. 共享权值 3. 全局语义 4. 循环神经网络现在我们来考虑如何吃力序列信号,以文本序列为例,考虑一个句子: "I di ...
零基础入门深度学习(7) - 递归神经网络
无论即将到来的是大数据时代还是人工智能时代,亦或是传统行业使用人工智能在云上处理大数据的时代,作为一个有理想有追求的程序员,不懂深度学习(Deep Learning)这个超热的技术,会不会感觉马上就o ...
【深度学习】循环神经网络（RNN）的tensorflow实现
[深度学习]循环神经网络(RNN)的tensorflow实现一.循环神经网络原理 1.1.RNN的网络结构 1.2.RNN的特点 1.3.RNN的训练二.循环神经网络的tensorflow实现参 ...
独家思维导图！让你秒懂李宏毅2020深度学习（三）——深度学习基础（神经网络和反向传播部分）
独家思维导图!让你秒懂李宏毅2020深度学习(三)--深度学习基础(神经网络和反向传播部分) 长文预警!!!前面两篇文章主要介绍了李宏毅视频中的机器学习部分,从这篇文章开始,我将介绍李宏毅视频中的深度 ...
什么是机器学习、深度学习、图神经网络？
人工智能是追求目标,机器学习是实现手段,深度学习是其中一种方法. 1 机器学习机器学习是一类算法的总称,这些算法企图从大量历史数据中挖掘出其中隐含的规律,并用于预测或者分类,更具体的说,机器学习可以 ...
深度学习与传统图像识别
深度学习与传统图像识别概述传统方法中特征提取主要依赖人工设计的提取器,需要有专业知识及复杂的调参过程,同时每个方法都是针对具体应用,泛化能力及鲁棒性较差. 深度学习主要是数据驱动进行特征提取,根据 ...

深度学习（二）：传统神经网络

深度学习（二）：传统神经网络相关推荐

最新文章

热门文章