ELU激活函数以及python画图

Elu激活函数论文：https://arxiv.org/pdf/1511.07289v5.pdf
论文理解：https://blog.csdn.net/mao_xiao_feng/article/details/53242235?locationNum=9&fps=1
https://blog.csdn.net/m0_37561765/article/details/78398098
https://blog.csdn.net/u012524708/article/details/79579313

Elu函数融合了sigmoid和ReLU，左侧具有软饱和性，右侧无饱和性。右侧线性部分使得ELU能够缓解梯度消失，而左侧软饱能够让ELU对输入变化或噪声更鲁棒。ELU的输出均值接近于零，所以收敛速度更快。在 ImageNet上，不加 Batch Normalization 30 层以上的 ReLU 网络会无法收敛，PReLU网络在MSRA的Fan-in （caffe ）初始化下会发散，而 ELU 网络在Fan-in/Fan-out下都能收敛。

python画激活函数
参考：https://blog.csdn.net/Xin_101/article/details/93738819
（threshold、sigmoid、Relu、PRelu、tanh）
Elu函数

import matplotlib.pyplot as plt
import mpl_toolkits.axisartist as axisartist
import numpy as np
import math
fig = plt.figure(figsize=(6, 6))
ax = axisartist.Subplot(fig, 111)
fig.add_axes(ax)
# 隐藏坐标轴
ax.axis[:].set_visible(False)
# 添加坐标轴
ax.axis['x'] = ax.new_floating_axis(0, 0)
ax.axis['y'] = ax.new_floating_axis(1, 0)
# x轴添加箭头
ax.axis['x'].set_axisline_style('-|>', size=1.0)
ax.axis['y'].set_axisline_style('-|>', size=1.0)
# 设置坐标轴刻度显示方向
ax.axis['x'].set_axis_direction('top')
ax.axis['y'].set_axis_direction('right')
plt.xlim(-10, 10)
plt.ylim(-2.5, 10)
x_1 = np.arange(0, 10, 0.1)
y_1 = x_1
x_axis = np.arange(-10, 10, 0.2)
y_axis = np.arange(-0, 1, 0.2)
plt.plot(x_1, y_1, 'r-', label=r'Elu=$\{\stackrel{x,x>0}{\alpha(exp(x)-1), x<=0}$')
x_2 = np.arange(-10, 0, 0.1)
y_2 = 1*(np.exp(x_2)-1)
plt.plot(x_2, y_2, 'r-')
plt.legend()
#plt.savefig('lu.jpg')
plt.show()

ELU激活函数以及python画图相关推荐

用python画图代码-常用激活函数的python画图代码
引入模块 import numpy as np import math import matplotlib.pyplot as plt e=math.e 1.sigmoid def sigmoid(x ...
神经网络基础知识、常用激活函数及其Python图形绘制
在人工智能与机器学习研究与应用领域,神经网络占有重要地位.神经网络(Neural Networks, NNs),又称人工神经网络(Artificial Neural Networks, ANNs),是 ...
用seaborn 画出唯美的论文专用图片，自己定制python画图的数据集
写在前面的话好久不来,随便看了下CSDN推送的热门文章,标题都相当无耻了啊,大家为了骗阅读量都把标题取得这么骚.而且像我这么俗的人,肯定也是必须要为强权低头的,妈呀.这个标题我自己看着眼睛都有点疼, ...
python画图-Python基础-画图：matplotlib
Python画图主要用到matplotlib这个库.具体来说是pylab和pyplot这两个子库.这两个库可以满足基本的画图需求. pylab神器:pylab.rcParams.update(para ...
python画图程序有图-python画图程序
广告关闭腾讯云11.11云上盛惠 ,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高返5000元! 今天做的是用python实现画图,画出你想要的图案,只要你的想象力足够丰富,以及 ...
python画图颜色-python中matplotlib的颜色及线条控制的示例
下次用python画图的时候选色选点都可以直接参考这边,牛逼!分享给大家,也给自己留个笔记. 参考网址: 第二个参考网址给出了linestyle可选参数: '-' solid line style ' ...
python画图完整代码-Python科学画图代码分享
Python画图主要用到matplotlib这个库.Matplotlib 是一个 Python 的 2D绘图库,它以各种硬拷贝格式和跨平台的交互式环境生成出版质量级别的图形. 具体来说是pylab和p ...
python画图-python画图的两种方法
python如何画图?这里给大家介绍两款python绘图的库:turtle和Matplotlib. 1 安装turtle Python2安装命令:pip install turtule Python3 ...
python画图角度_Python画图
Python画图使用Echarts Echarts是百度开源的js绘图工具, pyecharts是Echarts的封装, 安装pip install pyecharts. pyecharts只能将绘 ...

ELU激活函数以及python画图

ELU激活函数以及python画图相关推荐

最新文章

热门文章