饱和非线性（saturating nonlinearities）和非饱和非线性（non-saturating nonlinearities）的区别(转载)

其实我是在：

＜Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift＞看到这两个词语的

转载内容如下：

在论文《 ImageNet Classification with Deep Convolutional Neural Networks》中描述激活函数时，用了饱和非线性函数和非饱和非线性函数的区别。这里在这里描述其差别。

直观理解
饱和激活函数会压缩输入值。
定义
举例
对于Rectified Linear Unit (ReLU)激活函数f(x) = max(0, x)，当x趋于正无穷则f(x)也趋于正无穷。所以该函数是非饱和的。

sigmoid函数的范围是[0, 1]所以是饱和的。

tanh函数也是饱和的，因为其取值范围为[-1,1]。

本文是下面链接的翻译：英文原文

饱和非线性（saturating nonlinearities）和非饱和非线性（non-saturating nonlinearities）的区别(转载)相关推荐

饱和非线性、非饱和非线性
论文AlexNet中提到饱和非线性.非饱和非线性神经元 1.先说一下线性和和非线性线性linear,指量与量之间按比例.成直线的关系,在数学上可以理解为一阶导数为常数的函数: 非线性non-line ...
matlab 非线性常微分方程,Matlab数值求解非线性常微分方程 - 仿真模拟 - 小木虫 - 学术科研互动社区...
我最近也在用牛顿迭代解一个非线性方程组 Newton迭代有程序我拷给你你编写Newton迭代法的M文件NewtonIterate.如下: function s=NewtonIterate(x,ep ...
matlab 画非线性曲线,MATLAB实例：非线性曲线拟合
MATLAB实例:非线性曲线拟合用最小二乘法拟合非线性曲线,给出两种方法:(1)指定非线性函数,(2)用傅里叶函数拟合曲线 1. MATLAB程序 clear clc xdata=[0.1732;0 ...
非线性动力学 matlab,科学网—非线性脉冲耦合动力学以及Matlab 源程序 - 王又法的博文...
在这篇文章中,我们给出了非线性脉冲和孤子耦合的理论,它包含了2阶3阶色散,模间色散,损耗增益,色散不匹配,高阶非线性等等.文章主要说明了几个非线性耦合的基本问题: 非线性脉冲耦合行为主要依赖于参量Lc ...
matlab非线性方程组求解得到矩阵,非线性方程组求解——附Matlab原程序
在科学与工程计算中,经常遇到求解非线性方程组的问题:非线性方程组在收敛速度及收敛性比线性方程组要差,特别对于非凸的非线性方程组,其求解更是困难.下面简要介绍非线性方程组的三种解法--牛顿法.拟牛顿法. ...
non-saturating neurons非饱和神经元、saturating neurons饱和神经元的含义和区别
参考知乎回答:https://www.zhihu.com/question/264163033 含义: non-saturating neurons = 没有被挤压(到一个特定的区间)处理过的值 sa ...
为什么使用非线性激活函数？常见的非线性激活函数及优缺点对比
为何使用非线性激活函数? 如上图的神经网络,在正向传播过程中,若使用线性激活函数(恒等激励函数),即令,则隐藏层的输出为即可以看到使用线性激活函数神经网络只是把输入线性组合再输出,所以当有很多 ...
非线性时延系统matlab框图,非线性主-从时延系统的时滞相关有限时间同步控制方法与流程...
本发明属于涉及非线性主-从时延系统控制技术领域,具体涉及一种非线性主-从时延系统的时滞相关有限时间同步控制方法. 背景技术: 近年来融合了控制理论.计算机技术以及网络通信技术的主-从时延机器人系统吸引 ...
Php 线性非线性,什么是线性函数与非线性函数？
① 线性函数是一次函数的别称. ② 非线性函数,即函数图像不是一条直线的函数. 注:非线性函数包括指数函数.幂函数.对数函数.多项式函数等等基本初等函数以及他们组成的复合函数. Python基础积累 ...

饱和非线性（saturating nonlinearities）和非饱和非线性（non-saturating nonlinearities）的区别(转载)

饱和非线性（saturating nonlinearities）和非饱和非线性（non-saturating nonlinearities）的区别(转载)相关推荐

最新文章

热门文章