python：实现并绘制 sigmoid函数，tanh函数，ReLU函数，PReLU函数

python实现并绘制 sigmoid函数，tanh函数，ReLU函数，PReLU函数

# -*- coding:utf-8 -*-
from matplotlib import pyplot as plt
import numpy as np
import mpl_toolkits.axisartist as axisartistdef sigmoid(x):return 1. / (1 + np.exp(-x))def tanh(x):return (np.exp(x) - np.exp(-x)) / (np.exp(x) + np.exp(-x))def relu(x):return np.where(x<0,0,x)def prelu(x):return np.where(x<0,0.5*x,x)def plot_sigmoid():x = np.arange(-10, 10, 0.1)y = sigmoid(x)fig = plt.figure()# ax = fig.add_subplot(111)ax = axisartist.Subplot(fig,111)ax.spines['top'].set_color('none')ax.spines['right'].set_color('none')# ax.spines['bottom'].set_color('none')# ax.spines['left'].set_color('none')ax.axis['bottom'].set_axisline_style("-|>",size=1.5)ax.spines['left'].set_position(('data', 0))ax.plot(x, y)plt.xlim([-10.05, 10.05])plt.ylim([-0.02, 1.02])plt.tight_layout()plt.savefig("sigmoid.png")plt.show()def plot_tanh():x = np.arange(-10, 10, 0.1)y = tanh(x)fig = plt.figure()ax = fig.add_subplot(111)ax.spines['top'].set_color('none')ax.spines['right'].set_color('none')# ax.spines['bottom'].set_color('none')# ax.spines['left'].set_color('none')ax.spines['left'].set_position(('data', 0))ax.spines['bottom'].set_position(('data', 0))ax.plot(x, y)plt.xlim([-10.05, 10.05])plt.ylim([-1.02, 1.02])ax.set_yticks([-1.0, -0.5, 0.5, 1.0])ax.set_xticks([-10, -5, 5, 10])plt.tight_layout()plt.savefig("tanh.png")plt.show()def plot_relu():x = np.arange(-10, 10, 0.1)y = relu(x)fig = plt.figure()ax = fig.add_subplot(111)ax.spines['top'].set_color('none')ax.spines['right'].set_color('none')# ax.spines['bottom'].set_color('none')# ax.spines['left'].set_color('none')ax.spines['left'].set_position(('data', 0))ax.plot(x, y)plt.xlim([-10.05, 10.05])plt.ylim([0, 10.02])ax.set_yticks([2, 4, 6, 8, 10])plt.tight_layout()plt.savefig("relu.png")plt.show()def plot_prelu():x = np.arange(-10, 10, 0.1)y = prelu(x)fig = plt.figure()ax = fig.add_subplot(111)ax.spines['top'].set_color('none')ax.spines['right'].set_color('none')# ax.spines['bottom'].set_color('none')# ax.spines['left'].set_color('none')ax.spines['left'].set_position(('data', 0))ax.spines['bottom'].set_position(('data', 0))ax.plot(x, y)plt.xticks([])plt.yticks([])plt.tight_layout()plt.savefig("prelu.png")plt.show()if __name__ == "__main__":plot_sigmoid()plot_tanh()plot_relu()plot_prelu()

python：实现并绘制 sigmoid函数，tanh函数，ReLU函数，PReLU函数相关推荐

小技巧（10）：使用Python绘制激活函数（Sigmoid、Tanh、ReLU、PReLU）图像
文章目录一.单张绘制 1.1 代码 1.2 绘制结果二.4张图绘制成1张图 2.1 代码 2.2 绘制结果一.单张绘制 1.1 代码 import numpy as np import matp ...
为什么要使用sigmoid，tanh，ReLU等非线性函数？
参考:https://zhuanlan.zhihu.com/p/46255482 修正线性单元,是人工神经网络中常用的激活函数,通常指代以斜坡函数及其变种为代表的非线性函数. 这个原因大家都知道,为了 ...
PyTorch基础之激活函数模块中Sigmoid、Tanh、ReLU、LeakyReLU函数讲解（附源码）
需要源码请点赞关注收藏后评论区留言私信~~~ 激活函数是神经网络中的重要组成部分.在多层神经网络中,上层节点的输出和下层节点的输入之间有一个函数关系.如果这个函数我们设置为非线性函数,深层网络的表达能 ...
深度学习之激活函数篇（Sigmoid、tanh、ReLU、PReLU）
写在前面:此文只记录了下本人感觉需要注意的地方,不全且不一定准确.详细内容可以参考文中帖的链接,比较好!!! 常用激活函数(激励函数)理解与总结激活函数的区别与优点梯度消失与爆炸 1. 激活函数是 ...
Sigmoid、Tanh、ReLU、Leaky_ReLU、SiLU、Mish函数python实现
Sigmoid.Tanh.ReLU.Leaky_ReLU.SiLU.Mish函数 import numpy as np import matplotlib.pyplot as pltdef Sigmo ...
最全面：python绘制Sigmoid、Tanh、Swish、ELU、SELU、ReLU、ReLU6、Leaky ReLU、Mish、hard-Sigmoid、hard-Swish等激活函数（有源码）
python绘制激活函数代码示例代码我构建了一个关于激活函数的类,大家可以随意使用,包括其输出值和梯度值. 关于这些激活函数详解可以参考我这篇博客:深度学习-激活函数详解(Sigmoid.ta ...
神经网络激活函数sigmoid、tanh、Relu、LeakyRelu、Elu、PRelu、MaxOut的java实现
神经网络常用激活函数包括sigmoid.tanh.Relu.LeakyRelu.Elu.PRelu和MaxOut.对每一种函数采用java进行实现.前面四种激活函数是固定形式,后面三种激活函数部分参数 ...
【Deep Learning 三】神经网络中的非线性激活函数之间的优缺点：sigmoid、tanh、ReLu、Leaky ReLu...
1 什么是激活函数? 激活函数,并不是去激活什么,而是指如何把"激活的神经元的特征"通过函数把特征保留并映射出来(保留特征,去除一些数据中是的冗余),这是神经网络能解决非线性问题关 ...
机器学习最常用的3种激活函数：Sigmoid、Tanh、Relu
目录 1 什么是激活函数 2 为什么使用激活函数 3 常用激活函数 1 Sigmoid 2 Tanh 3 Relu 1 什么是激活函数激活函数(Activation Function)在人工神经网络 ...
常用激活函数：Sigmoid、Tanh、Relu、Leaky Relu、ELU、Mish、Swish等优缺点总结
参考:深度学习-激活函数详解(Sigmoid.tanh.ReLU.ReLU6及变体P-R-Leaky.ELU.SELU.Swish.Mish.Maxout.hard-sigmoid.hard-swis ...

python：实现并绘制 sigmoid函数，tanh函数，ReLU函数，PReLU函数

python：实现并绘制 sigmoid函数，tanh函数，ReLU函数，PReLU函数相关推荐

最新文章

热门文章