【激活函数】ReLU激活函数的思考

优点：

a. 克服梯度消失的问题
b. 加快训练速度

缺点：

a. 0 点连续不可导（直上直下），梯度下降过程中不那么流畅。
b. ReLU 只有正值，没有负值，bp 时有 zigzag 现象，容易陷入局部最优。
c. 当 x<0 时，结果为0，有信息损失。

对于缺点b解释如下：

公式第一行是正向传播计算公式，其中x为经过激活函数后的上一个神经元，f 为当前神经元，如果使用ReLU激活函数的话，x的值是大于0的。第二行是 f 对 w 求偏导，结果为 x，是大于 0 的，第三行是损失函数L对权重w求偏导（即w的梯度，更新权重时要用，也是我们反向传播的最终目的），结果等于 L 对 f 求偏导乘以x。此时x的值一定是大于0的，因此可以得出 L 对于 w 的偏导的符号就等于 L 对于 f 的偏导的符号（符号即正或负）。权重导数的符号可以等价于权重更新的方向，所以最终可以得出所有的权重w都会朝着一个方向更新，方向取决于L对于f求偏导的符号，正或者负。

如右图所示，假设w_i只有w1和w2两个值。那么由以上推断可以得出，w1和w2每次更新的方向是一致的，因此权重最终的更新过程便如右图所示。那么更新时走的路程会更长，就更容易进入局部最小值点，假设此时局部最小值点不可导，那么权重将无法更新。

【激活函数】ReLU激活函数的思考相关推荐

tensorflow中Relu激活函数
tensorflow中Relu激活函数引用API:tensorflow.nn.relu(x) 初学者建议选择Relu激活函数 Relu激活函数 Relu激活函数是一个分段函数,只需要考虑值是否大于0 ...
转：ReLU激活函数：简单之美
纯粹学习收藏. 转载地址:https://blog.csdn.net/cherrylvlei/article/details/53149381 导语在深度神经网络中,通常使用一种叫修正线性单元(Re ...
为什么要ReLU激活函数
导语在深度神经网络中,通常使用一种叫修正线性单元(Rectified linear unit,ReLU)作为神经元的激活函数.ReLU起源于神经科学的研究:2001年,Dayan.Abott从生物学 ...
ReLU激活函数：简单之美
导语在深度神经网络中,通常使用一种叫**修正线性单元(Rectified linear unit,ReLU)**作为神经元的激活函数.ReLU起源于神经科学的研究:2001年,Dayan.Abott ...
使用opencv dnn 模块调用darknet模型时候出错，不支持relu激活函数
问题: 使用opencv dnn 模块调用darknet模型时候出错,报错信息为不支持relu激活函数以下过程为笔者自己解决该问题的过程,供各位参考学些,因为中间又遇到新的坑,所以各位务必看完再决 ...
零基础学caffe源码 ReLU激活函数
零基础学caffe源码 ReLU激活函数原创 2016年08月03日 17:30:19 1.如何有效阅读caffe源码 1.caffe源码阅读路线最好是从src/cafffe/proto/caffe ...
【深度学习】ReLU激活函数的缺点
关于ReLU的详细介绍可以参考: ReLU激活函数 - 知乎训练的时候很"脆弱",很容易就"die"了,训练过程该函数不适应较大梯度输入,因为在参数更新以后, ...
卷积神经网络(卷积层，激活函数Relu,池化层，计算公式及API解释)
1. 卷积神经网络 (卷积层,激活函数,池化层,全连接层) (1) 把神经网络的隐藏层分为卷积层和池化层(又叫下采样层) · 卷积层 : 通过在原始图像上平移来提取特征 · 池化层 : 通过特征 ...
input自适应_一种Dynamic ReLU：自适应参数化ReLU激活函数（调参记录13）
自适应参数化ReLU,本身就是一种动态的ReLU(Dynamic ReLU,Dy-ReLU).该论文在2019年5月的时候,投稿到IEEE Transactions on Industrial Ele ...

【激活函数】ReLU激活函数的思考

【激活函数】ReLU激活函数的思考相关推荐

最新文章

热门文章