一、前文回顾

上一节我们为小D设计了大脑（四层神经网络）以及下面的激活函数。

这里的h(s1)激活函数我们称之为阶梯函数。上节也说过激活函数有很多种，今天主要对以下三个进行讲解：
①阶梯函数
②sigmoid函数
③ReLu函数

二、激活函数

1.阶梯函数

Python实现

import numpy as np
import matplotlib.pylab as pltdef step_function(x):return np.array(x > 0, dtype=np.int)if __name__ == "__main__":# 从-5到5之间每隔0.1取一个数字X = np.arange(-5.0, 5.0, 0.1)# 调用阶梯函数Y = step_function(X)# 用matplotlib显示函数曲线plt.plot(X, Y)plt.ylim(-0.1, 1.1)plt.show()

2.sigmoid函数

Python实现

import numpy as np
import matplotlib.pylab as pltdef sigmoid(x):return 1 / (1 + np.exp(-x))if __name__ == "__main__":X = np.arange(-5.0, 5.0, 0.1)Y = sigmoid(X)plt.plot(X, Y)plt.ylim(-0.1, 1.1)plt.show()

3.ReLu函数

Python实现

import numpy as np
import matplotlib.pylab as pltdef relu(x):return np.maximum(0, x)if __name__ == "__main__":x = np.arange(-5.0, 5.0, 0.1)y = relu(x)plt.plot(x, y)plt.ylim(-1.0, 5.5)plt.show()

三、激活函数的区别

通过上面方程式，Python代码以及二维图形我们应该可以对这三种激活函数有个大致的了解。那么这三个激活函数在神经网络的应用里有什么区别？我们举个例子。
假如小D在大马路上散步，对面来了一个人莫名其妙挑衅小D。再假如挑衅有四个等级：
A:没有挑衅
B:瞪了小D一眼
C:对小D口吐芬芳
D:直接对小D一套组合拳
小D面对挑衅的回应也有四个等级：
a:悠哉游哉散步
b:回瞪对方一眼
c:小D也口吐芬芳
d:小D回击对面两套组合拳
我们先看阶梯函数，阶梯函数的特征是，要么是0，要么是1，所以如果小D的激活函数是阶梯函数的话，它要么完全无视对方的挑衅（哪怕自己挨了一套组合拳），要么直接把对方送进医院（哪怕对方只是瞪了它一眼）。所以呢这时候小D就是个暴脾气，不鸣则已一鸣惊人。用神经网络来解释就是对输入的信号，都简单粗暴的分为0或者1，导致第一层以后的神经网络完全失去意义。

我们再看sigmoid函数，特征就是在当刺激很小时候回应也很小并且平稳，随着刺激不断增强回应越激烈，但是当刺激趋向与无穷大的时候，回应又会趋向于平稳。所以如果小D的激活函数是sigmoid函数的话，那么小D基本会做到以其人之道还治其人之身。但是它有个缺点，就是对面的挑衅很过分的时候（比如给你身上开个洞），那么小D的反应还只是两套组合拳，或者说对面没有挑衅小D，但是小D也会瞪人家一眼。用神经网络来解释就是在面对非常大或者非常小的信号输入时，神经元会趋向于稳定，从而处于一种麻痹状态。这当然不是我们希望看到的。

最后再看看ReLU函数，特征就是没有刺激的时候，它也没有反应，如果有刺激的话，刺激越强回应越猛烈。是不是很完美的做到了以其人之道还治其人之身。所以目前主流的神经网络都会选择ReLu函数或者变种函数来作为激活函数。但是Relu其实也有缺点，就是当输入信号值为负值的话会被完全丢弃掉，而且是无法找回的，这就会导致某些神经元一直处于无刺激状态，也就是死亡状态。甘瓜苦蒂,天下物无全美,相对来说Relu已经算是很完美的激活函数了。

四、总结

我们介绍了三种激活函数，我个人理解的话，感觉激活函数更像是小D的一种性格，暴脾气（阶梯函数），相对理智型（sigmoid函数）或者完美理智型（ReLu函数）。
OK，小D有个大脑，还有了它自己的性格，下一节我们用python来实现一下这个神经网络，所以下节主题便是【详解小D】

※关注个人微信公众号：DeepVisionZero
获取更多精彩内容

【原创】深度学习第5弹：以其人之道还治其人之身相关推荐

【原创】深度学习第7弹：小D识数字（MNIST手写数字集）
目录一.前文回顾二.MNIST手写数字数据集 1.什么是MNIST手写数字数据集 2.MNIST手写数字数据集下载三.重构神经网络 1.为什么要重构神经网络 2.重构什么样的神经网络四.识别数 ...
大佬原创 | 深度学习60讲453页pdf下载
关注公众号后台回复深度学习即可下载深度学习60讲作者简介机器学习实验室的号主作为一名统计专业的硕士毕业生,一路从数据分析师进阶到深度学习算法工程师.现于杭州一家AI初创公司担任深度学习算法工 ...
原创 | 深度学习框架比较，我该选择哪一个？
近年来,深度学习在很多机器学习领域都有着非常出色的表现,在图像识别.语音识别.自然语言处理.机器人.网络广告投放.医学自动诊断和金融等领域有着广泛应用.面对繁多的应用场景,深度学习框架有助于建模者节省 ...
【原创深度学习与TensorFlow 动手实践系列 - 2】第二课：传统神经网络
第二课传统神经网络 <深度学习>整体结构: 线性回归 -> 神经网络 -> 卷积神经网络(CNN)-> 循环神经网络(RNN)- LSTM 目标分类(人脸识别,物品识别 ...
以其人之道还治其人之身-Viking蠕虫病毒的手工歼灭！！！-更新
软件环境: windows xp sp2, 硬件环境:IBM NOTEBOOK R51E 关键字: viking 蠕虫,病毒,免疫,杀除作者:www.newsoftstudio.com iuprg ...
以其人之道还治其人之身
Linux编程点击右侧关注,免费入门到精通! 推荐↓↓↓ 长按关注 ?[16个技术公众号]都在这里! 涵盖:程序员大咖.源码共读.程序员共读.数据结构与算法.黑客技术和网络安全.大数据科技 ...
深度学习-计算机视觉-0基础-学习历程
周志华<机器学习>------------------------若是想从基础算法公式开始可以先试着看一下周志华的<机器学习>,由于我对公式推导很头疼,看了几页就跳过了.(在经 ...
大数据早报：原百度研究院院长林元庆宣布离职创业比特采矿业巨头BitMain推出深度学习AI硬件（10.27）
数据早知道,上乐投网看早报! 『百度』原百度研究院院长林元庆宣布离职创业将投身AI领域原百度深度学习实验室主任林元庆已经离职,接下来将在人工智能领域创业.据悉,林元庆在八月份便有离开的意向,十一之 ...
【完结】深度学习CV算法工程师从入门到初级面试有多远，大概是25篇文章的距离...
文/编辑 | 言有三转载自言有三一直有同学希望我在公众号写写面试相关的东西,一直没写.我们不会开相关的板块,因为没有标准,容易引起争议,而且可能会加重大家的浮躁和焦虑. 不过关于面试,有三还是有一 ...

【原创】深度学习第5弹：以其人之道还治其人之身

文章目录

一、前文回顾

二、激活函数

1.阶梯函数

2.sigmoid函数

3.ReLu函数

三、激活函数的区别

四、总结

【原创】深度学习第5弹：以其人之道还治其人之身相关推荐

最新文章

热门文章