tanh Function

1. Introduction

To limit all data within the range of -1 to 1. Comparing to Sigmoid Function which output range is [0,1]

2. Formula

The formula and derivative of tanh is:

f(z)f′(z)=tanh(z)=ez−e−zez+e−z=1−(f(z))2

\begin{align*} f(z) &= tanh(z) = \frac{e^z - e^{-z}}{e^z+e^{-z}} \\ f'(z) &= 1 - (f(z))^2 \end{align*}
where as the sigmoid function is pretty close

f(z)f′(z)=sigmoid(z)=11+e−z=1−f(z)

\begin{align*} f(z) &= sigmoid(z) = \frac{1}{1+e^{-z}} \\ f'(z) &= 1 - f(z) \end{align*}

See the figure of tanh and sigmoid below.

tanh Function

sigmoid Function

3. Implementation

3.1 Octave

 x = linspace(-10, 10 ,10000);y = zeros( size(x, 1), size(x, 2));for i = 1:length(x)y(i) = 1/(1+e^(-x(i)));endforfigure();plot( x,y);grid on;xlabel("x");ylabel("y=1/(1+e^-x)");title("Sigmoid Function");

Output figure

tanh Function

Relative

Sigmoid Function

tanh Function相关推荐

Sigmoid Tanh and Relu 原函数导函数图像python绘制
import matplotlib.pyplot as plt import numpy as np plt.rcParams['font.family']='SimHei' plt.rcParams ...
Tanh函数代码实现
Tanh是双曲函数中的一个,Tanh()为双曲正切.在数学中,双曲正切"Tanh"是由基本双曲函数双曲正弦和双曲余弦推导而来.公式如下: import numpy as np im ...
神经网络常用激活函数
激活函数:只是一个抽象概念,使用激活函数时为了让中间输出多样化,能够处理更复杂的问题. 激活函数给神经元引入了非线性因素,若无激活函数,则每一层最后输出的都是上一层输入的线性函数,不管加多少层神经网络 ...
C++从零实现神经网络（收藏版：两万字长文）
作者 | 冰不语本文转自微信公众号CVPy 01 Net类的设计与神经网络初始化闲言少叙,直接开始既然是要用C++来实现,那么我们自然而然的想到设计一个神经网络类来表示神经网络,这里我称之为Ne ...
如何从NumPy直接创建RNN？
木易发自凹非寺量子位报道 | 公众号 QbitAI 使用成熟的Tensorflow.PyTorch框架去实现递归神经网络(RNN),已经极大降低了技术的使用门槛. 但是,对于初学者,这还是远 ...
Lesson 13.3 梯度不平稳性与Glorot条件
Lesson 13.3 梯度不平稳性与Glorot条件从本节开始,将正式进入到优化方法的具体方法部分内容.首先是关于激活函数使用过程的优化.在上一节的结尾,我们发现,尽管激活函数的使用能够有效提 ...
Stanford UFLDL教程线性解码器
线性解码器 Contents [hide] 1稀疏自编码重述 2线性解码器 3中英文对照 4中文译者稀疏自编码重述稀疏自编码器包含3层神经元,分别是输入层,隐含层以及输出层.从前面(神经网络)自编 ...
Stanford UFLDL教程反向传播算法（BP算法）
反向传播算法(BP算法) 假设我们有一个固定样本集 ,它包含个样例.我们可以用批量梯度下降法来求解神经网络.具体来讲,对于单个样例,其代价函数为: 这是一个(二分之一的)方差代价函数.给定一个包含 ...
c++从零实现神经网络
C++从零实现神经网络(收藏版:两万字长文) AI科技大本营 2018-01-09 00:00:00 12280 收藏 75 作者 | 冰不语本文转自微信公众号CVPy 01 Net类的设计与神 ...

tanh Function

tanh Function

1. Introduction

2. Formula

3. Implementation

3.1 Octave

Relative

tanh Function相关推荐

最新文章

热门文章