sigmoid、tanh、relu激活函数

sigmoid:

tanh:

ReLU，线性整流函数（Rectified Linear Unit）：

relu函数有哪些优势：
1. relu更符合大脑神经元的工作原理
从relu图像中可以看出，在x<=0的范围内都处于非激活状态，只在x>0时激活，这样保证了网络的稀疏性。而其他激活函数始终处于激活状态，只不过激活的程度不同，这与大脑神经元的工作方式不同。所以，从稀疏性的角度来说，relu更符合大脑神经元的工作原理。
2. relu运算速度足够快
sigmoid和 tanh等激活函数都是指数运算。而relu如果不激活，直接置零，即使激活，也是线性运算，速度非常快。
3. 避免梯度爆炸和梯度消失
4. 更符合生物神经元刺激曲线

上图是生物神经元激活的曲线。横轴是激活电流，纵轴是发射频率。发射频率我们可以简单理解为单位时间内的平均电峰数量，也就是细胞核对输入的触发响应。例如受神经驱动的肌肉的收缩力量，就单纯取决于动作神经元的"发射频率"，也就是单位时间内的平均电峰数量。
可以看到，对于生物神经元的刺激曲线，有如下特点：

单侧抑制
广阔的兴奋区域
这些特点恰好都是relu所具备的，而前面介绍的sigmoid和tanh激活函数在两侧都有明显的抑制，与实际的生物神经元工作机理不同。

参考文献：

https://zhuanlan.zhihu.com/p/63775557
https://www.zhihu.com/question/52668301

sigmoid、tanh、relu激活函数相关推荐

三种激活函数——Sigmoid,Tanh, ReLU以及卷积感受野的计算
1. 三种激活函数--Sigmoid, Tanh, ReLU 1.1 Sigmoid 1.1.1 公式 S ( x ) = 1 1 + e − x S(x) = \frac{1}{1 + e^{-x} ...
Sigmoid和Relu激活函数的对比
深度学习笔记(4)--Sigmoid和Relu激活函数的对比 https://blog.csdn.net/qq_21190081/article/details/64127103 Relu是一个非常优 ...
激活函数总结sigmoid,tanh,relu,Leaky ReLU,RRelu,ELU,PRelu,SELU,swish
本文总结深度学习的损失函数及其优缺点. 激活函数是深度学习模型的重要成分,目的是将线性输入转换为非线性.常见的激活函数有sigmoid,tanh,ReLU等 1.sigmoid Sigmoid 非线性 ...
【深度学习】激活函数：原理+常见激活函数（Sigmoid\Tanh\ReLU\Leaky ReLU\Softmax）
首先需要知道为什么要引入激活函数:激活函数是用来加入非线性因素的,因为线性模型的表达能力不够.引入非线性激活函数,可使深层神经网络的表达能力更加强大. 在深度学习中,线性模型只需要简单的全连接层就能实 ...
常见激活函数持续更新)sigmoid Tanh Relu Leaky-ReLU RReLU
激活函数是来向神经网络中引入非线性因素的,通过激活函数,神经网络就可以拟合各种曲线. sigmoid 公式: 函数图像: Sigmoid函数也叫 Logistic 函数,用于隐层神经元输出,取值范 ...
常用的激活函数汇总-Sigmoid, tanh, relu, elu
激活函数(又叫激励函数,后面就全部统称为激活函数)是模型整个结构中的非线性扭曲力,神经网络的每层都会有一个激活函数.那他到底是什么,有什么作用?都有哪些常见的激活函数呢? 深度学习的基本原理就是基于人 ...
【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU
①激活函数:主要通过加入非线性因素,你不线性模型表达能力不足的缺陷,因为神经网络中的数学基础是处处可微分的函数,故要求激活函数也应该保证数据的输入与输出是可微分. ②激活函数可以分为饱和激活函数与不饱 ...
激活函数--Sigmoid,tanh,RELU,RELU6,Mish,Leaky ReLU等
激活函数目前自己使用比较多的激活函数RELU, RELU6; LeakyReLU; SELU; Mish :激活函数看:计算量:准确率: 大多数激活函数pytorch里有已经包装好了: Non-li ...
深度学习- 激活函数总结（Sigmoid, Tanh, Relu, leaky Relu, PReLU, Maxout, ELU, Softmax,交叉熵函数）
激活函数是用来加入非线性因素的,解决线性模型所不能解决的问题激活函数通常有以下性质 – 非线性 – 可微性 – 单调性 –
3 神经网络基础（阶跃、sigmoid、relu激活函数的代码实现）
目录 1. 输入权重计算 2.与门的实现 3.非门的实现 4.或门的实现 5.感知机可以实现与.或.非门的逻辑 6.阶跃函数的实现 7.sigmoid 函数的实现 8.阶跃函数和sigmoid函数相比 ...

sigmoid、tanh、relu激活函数

sigmoid、tanh、relu激活函数相关推荐

最新文章

热门文章