ReLU激活函数的特点

ReLU（Rectified Linear Unit，修正线性单元）函数

1.公式：

可以看出这是个非常简单的函数，大于0部分不变，小于0的值全部压缩成0.

2.优点

①作为激活函数，计算简单，更加高效，速度快

神经元得到一个值，可以直接看这个值的大小，然后直接得出结果，不用多余的加减乘除计算

②ReLU 函数也被认为具有生物学合理性

单侧抑制，小于0全部抑制；
宽兴奋边界，大于0的部分达到无穷都可以，没有限制，即兴奋程度可以很高；
有很好的稀疏性，能让小于0的全部变为0，增大了稀疏性。

稀疏性越大：是指数据中0的数量很多；反之，则稀疏性小

③在优化时，不像Sigmoid型函数的两端饱和（两端的梯度都接近0），ReLU函数为左饱和函数，且在x> 0 时导数为1，而且导数也好求，在一定程度上能解决梯度消失的问题，加速梯度下降的收敛速度

饱和：就是趋于无穷的时候，导数为0

3.缺点

①ReLU 神经元在训练时比较容易“死亡”

要是进行不正确的梯度更新后，使得神经元计算出的值小于0，经过ReLU激活函数后，也为0，反向传播时激活函数的导数即为0，无法再进行梯度更新，即w不变，那么以后经过这个神经元的值也不会变化，训练数据就不能被更新，在以后神经元也不会被激活，就出现了坏死现象，这种现象称为死亡 ReLU 问题。

②ReLU 函数的输出是非零中心化的，给后一层的神经网络引入偏置偏移，会影响梯度下降的效率．

零中心化：数据均值为0

ReLU激活函数的特点相关推荐

使用opencv dnn 模块调用darknet模型时候出错，不支持relu激活函数
问题: 使用opencv dnn 模块调用darknet模型时候出错,报错信息为不支持relu激活函数以下过程为笔者自己解决该问题的过程,供各位参考学些,因为中间又遇到新的坑,所以各位务必看完再决 ...
零基础学caffe源码 ReLU激活函数
零基础学caffe源码 ReLU激活函数原创 2016年08月03日 17:30:19 1.如何有效阅读caffe源码 1.caffe源码阅读路线最好是从src/cafffe/proto/caffe ...
【深度学习】ReLU激活函数的缺点
关于ReLU的详细介绍可以参考: ReLU激活函数 - 知乎训练的时候很"脆弱",很容易就"die"了,训练过程该函数不适应较大梯度输入,因为在参数更新以后, ...
【激活函数】ReLU激活函数的思考
优点: a. 克服梯度消失的问题 b. 加快训练速度缺点: a. 0 点连续不可导(直上直下),梯度下降过程中不那么流畅. b. ReLU 只有正值,没有负值,bp 时有 zigzag 现象, 容易 ...
input自适应_一种Dynamic ReLU：自适应参数化ReLU激活函数（调参记录13）
自适应参数化ReLU,本身就是一种动态的ReLU(Dynamic ReLU,Dy-ReLU).该论文在2019年5月的时候,投稿到IEEE Transactions on Industrial Ele ...
转：ReLU激活函数：简单之美
纯粹学习收藏. 转载地址:https://blog.csdn.net/cherrylvlei/article/details/53149381 导语在深度神经网络中,通常使用一种叫修正线性单元(Re ...
用尽可能多的字数介绍Leaky ReLU激活函数
Leaky ReLU激活函数是一种常用的非线性激活函数,它可以有效防止ReLU函数出现"死亡神经元"问题.它的函数形式为:f(x)=max(αx,x),其中α是衰减系数,常取0.0 ...
为什么要ReLU激活函数
导语在深度神经网络中,通常使用一种叫修正线性单元(Rectified linear unit,ReLU)作为神经元的激活函数.ReLU起源于神经科学的研究:2001年,Dayan.Abott从生物学 ...
R语言使用自定义函数编写深度学习Leaky ReLU激活函数、并可视化Leaky ReLU激活函数
R语言使用自定义函数编写深度学习Leaky ReLU激活函数.并可视化Leaky ReLU激活函数目录
深度残差网络+自适应参数化ReLU激活函数：调参记录18（Cifar10~94.28%）
本文将残差模块的数量增加到27个.其实之前也这样做过,现在的区别在于,自适应参数化ReLU激活函数中第一个全连接层中的神经元个数设置成了特征通道数量的1/16.同样是在Cifar10数据集上进行测试. ...

ReLU激活函数的特点

ReLU（Rectified Linear Unit，修正线性单元）函数

1.公式：

2.优点

①作为激活函数，计算简单，更加高效，速度快

②ReLU 函数也被认为具有生物学合理性

③在优化时，不像Sigmoid型函数的两端饱和（两端的梯度都接近0），ReLU函数为左饱和函数，且在x> 0 时导数为1，而且导数也好求，在一定程度上能解决梯度消失的问题，加速梯度下降的收敛速度

3.缺点

①ReLU 神经元在训练时比较容易“死亡”

②ReLU 函数的输出是非零中心化的，给后一层的神经网络引入偏置偏移，会影响梯度下降的效率．

ReLU激活函数的特点相关推荐

最新文章

热门文章

ReLU激活函数的特点

ReLU（Rectified Linear Unit，修正线性单元）函数

1.公式：

2.优点

①作为激活函数，计算简单，更加高效，速度快

②ReLU 函数也被认为具有生物学合理性

③在优化时，不像Sigmoid型函数的两端饱和（两端的梯度都接近0），ReLU函数为左饱和函数，且在x> 0 时导数为1，而且导数也好求，在一定程度上能解决梯度消失的问题，加速梯度下降的收敛速度

3.缺点

①ReLU 神经元在训练时比较容易“死亡”

②ReLU 函数的输出是非零中心化的，给后一层的神经网络引入偏置偏移， 会影响梯度下降的效率．

ReLU激活函数的特点相关推荐

最新文章

热门文章

②ReLU 函数的输出是非零中心化的，给后一层的神经网络引入偏置偏移，会影响梯度下降的效率．