ReLU、LReLU、PReLU、CReLU、ELU、SELU

2024-06-23 20:36:04

ReLU
LReLU
PReLU
CReLU
ELU
SELU

ReLU

tensorflow中：tf.nn.relu(features, name=None)

LReLU

(Leaky-ReLU)

其中aia_i是固定的。ii表示不同的通道对应不同的aia_i.
tensorflow中：tf.nn.leaky_relu(features, alpha=0.2, name=None)

PReLU

其中aia_i是可以学习的的。如果ai=0a_i=0，那么 PReLU 退化为ReLU；如果 aia_i是一个很小的固定值（如ai=0.01a_i=0.01），则 PReLU 退化为 Leaky ReLU（LReLU）。
PReLU 只增加了极少量的参数，也就意味着网络的计算量以及过拟合的危险性都只增加了一点点。特别的，当不同 channels 使用相同的aia_i时，参数就更少了。BP 更新aia_i时，采用的是带动量的更新方式（momentum）。
tensorflow中:没找到啊!

CReLU

（Concatenated Rectified Linear Units）

tensorflow中：tf.nn.crelu(features, name=None)

ELU

其中α是一个可调整的参数，它控制着ELU负值部分在何时饱和。
右侧线性部分使得ELU能够缓解梯度消失，而左侧软饱能够让ELU对输入变化或噪声更鲁棒。ELU的输出均值接近于零，所以收敛速度更快
tensorflow中：tf.nn.elu(features, name=None)

SELU

经过该激活函数后使得样本分布自动归一化到0均值和单位方差(自归一化，保证训练过程中梯度不会爆炸或消失，效果比Batch Normalization 要好)
其实就是ELU乘了个lambda，关键在于这个lambda是大于1的。以前relu，prelu，elu这些激活函数，都是在负半轴坡度平缓，这样在activation的方差过大的时候可以让它减小，防止了梯度爆炸，但是正半轴坡度简单的设成了1。而selu的正半轴大于1，在方差过小的的时候可以让它增大，同时防止了梯度消失。这样激活函数就有一个不动点，网络深了以后每一层的输出都是均值为0方差为1。

tensorflow中：tf.nn.selu(features, name=None)

ReLU、LReLU、PReLU、CReLU、ELU、SELU相关推荐

Difference between ReLU、LReLU、PReLU、CReLU、ELU、SELU
Difference between ReLU.LReLU.PReLU.CReLU.ELU.SELU 激活函数 ReLU.LReLU.PReLU.CReLU.ELU.SELU 的定义和区别 ReLU ...
A.深度学习基础入门篇[四]：激活函数介绍:tanh、sigmoid、ReLU、PReLU、ELU、softplus、softmax、swish等
[深度学习入门到进阶]必看系列,含激活函数.优化策略.损失函数.模型调优.归一化算法.卷积模型.序列模型.预训练模型.对抗神经网络等专栏详细介绍:[深度学习入门到进阶]必看系列,含激活函数.优化策略 ...
1、常用激活函数：Sigmoid、Tanh、ReLU、LReLU、RReLU、ELU
目录常用激活函数介绍 1. Sigmoid函数 2.Tanh / 双曲正切激活函数 3.ReLU(rectified linear unit)修正线性单元函数 4.LReLU(Leaky ReLU) ...
神经网络激活函数sigmoid、tanh、Relu、LeakyRelu、Elu、PRelu、MaxOut的java实现
神经网络常用激活函数包括sigmoid.tanh.Relu.LeakyRelu.Elu.PRelu和MaxOut.对每一种函数采用java进行实现.前面四种激活函数是固定形式,后面三种激活函数部分参数 ...
神经网络激活函数汇总（Sigmoid、tanh、ReLU、LeakyReLU、pReLU、ELU、maxout）
神经网络激活函数汇总(Sigmoid.tanh.ReLU.LeakyReLU.pReLU.ELU.maxout) 常规 sigmoid 和 tanh sigmoid 特点:可以解释,比如将0-1之间的 ...
0_3-激活函数的反向传播-ReLU、LeakyReLU、PReLU、ELU、SELU
numpy实现神经网络系列工程地址:https://github.com/yizt/numpy_neuron_network 基础知识 0_1-全连接层.损失函数的反向传播 0_2_1-卷积层的反向 ...
深度学习之常见激活函数-Sigmoid、Tanh、ReLu、softplus、softmax、ELU、PReLU
一.常见激活函数总结激活函数: 就是在神经网络的神经元上运行的函数,负责将神经元的输入映射到输出端. 常见的激活函数包括 Sigmoid TanHyperbolic(tanh) ReLu softp ...
激活函数relu、leaky-relu、elu、selu、serlu比较
什么是激活函数简单来说我们知道神经网络中的每个神经元节点接受上一层神经元的输出值作为本神经元的输入值,并将输入值传递给下一层,输入层神经元节点会将输入属性值直接传递给下一层(隐层或输出层).在多层神 ...
最全面：python绘制Sigmoid、Tanh、Swish、ELU、SELU、ReLU、ReLU6、Leaky ReLU、Mish、hard-Sigmoid、hard-Swish等激活函数（有源码）
python绘制激活函数代码示例代码我构建了一个关于激活函数的类,大家可以随意使用,包括其输出值和梯度值. 关于这些激活函数详解可以参考我这篇博客:深度学习-激活函数详解(Sigmoid.ta ...

最新文章

热门文章