tansig与tanh激活函数

发现matlab一个比较奇怪的地方
之前刚接触神经网络的时候是用的matlab，选用激活函数的时有sigmoid，tansig等等
后面转其他平台设计网络的时候发现再也没见过tansig函数？
看着tanh和tansig比较像又不敢确定，于是心血来潮搜一下
发现网上根本没人比较这两个东西…就更好奇了
查了公式，matlab的tansig表达式是：
2 1 + e − 2 x − 1 \frac{2}{1+e^{-2x}}-1 1+e−2x2−1
而看pytorch中tanh的表达式又都是：
e x − e − x e x + e − x \frac{e^{x}-e^{-x}}{e^{x}+e^{-x}} ex+e−xex−e−x
懵逼，但是有了一个大胆的想法。
虽然本人数学底子差，但还是推导了一下
发现是一样的。。。
matlab党和python党还是得多交流啊，不然容易出现“生殖隔离”

tansig与tanh激活函数相关推荐

model.train()与model.eval()的用法、Dropout原理、relu,sigmiod,tanh激活函数、nn.Linear浅析
转载:原文地址-传送门 1.model.train()与model.eval()的用法看别人的面经时,浏览到一题,问的就是这个.自己刚接触pytorch时套用别人的框架,会在训练开始之前写上mode ...
PyTorch学习笔记：nn.Tanh——Tanh激活函数
PyTorch学习笔记:nn.Tanh--Tanh激活函数 torch.nn.Tanh() 功能:逐元素应用Tanh函数(双曲正切)对数据进行激活,将元素调整到区间(-1,1)内函数方程: Tanh ...
Tanh 激活函数及求导过程
原函数: 导数: 当 x = 10, 或 x = -10 时, ; 当 x = 0 时, 先化简为替代: ...
多角度理解sigmoid，relu和tanh激活函数
sigmoid激活函数函数表达式: 函数图像: 通过该图,可以看出对于sigmoid激活函数的一下几个特点: 1.当输入大于零时,输出一定大于0.5 2.当输入超过6时,输出将会无限接近于1,该函数 ...
激活函数、Sigmoid激活函数、tanh激活函数、ReLU激活函数、Leaky ReLU激活函数、Parametric ReLU激活函数详细介绍及其原理详解
相关文章梯度下降算法.随机梯度下降算法.动量随机梯度下降算法.AdaGrad算法.RMSProp算法.Adam算法详细介绍及其原理详解反向传播算法和计算图详细介绍及其原理详解激活函数.Sigmo ...
遗传+BP神经网络求解故障诊断问题（python）
遗传+BP神经网络求解拖拉机齿轮箱故障诊断问题(python3) 通过学习书籍<matlab智能优化算法30个案例分析(第2版)>中有关神经网络算法的编程知识,初步了解神经网络的编码思想 ...
激活函数之 Sigmoid、tanh、ReLU、ReLU变形和Maxout
Sigmoid函数 Sigmoid函数计算公式 sigmoid:x取值范围(-∞,+∞),值域是(0, 1). sigmoid函数求导这是sigmoid函数的一个重要性质. 图像代码 # -*- ...
激活函数(sigmoid、Tanh、ReLU、Leaky ReLU、ELU、Maxout)
sigmoid函数公式: 图像: sigmoid可以将数据压缩到[0,1]范围内,可看作神经元的饱和放电率.在历史上,sigmoid函数非常有用,这是因为它对神经元的激活频率有很好的解释:从完全不激 ...
激活函数（Relu，sigmoid，Tanh，softmax）详解
目录 1 激活函数的定义 2 激活函数在深度学习中的作用 3 选取合适的激活函数对于神经网络有什么样的重要意义 4 常用激活函数 4.1 Relu 激活函数 4.2 sigmoid 激活函数 4.3 ...

tansig与tanh激活函数

tansig与tanh激活函数相关推荐

最新文章

热门文章