神经网络从原理到实现
1.简单介绍
在机器学习和认知科学领域,人工神经网络(artificial neural network,缩写ANN),简称神经网络(neural network,缩写NN)或类神经网络,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分:
- 结构 (Architecture) 结构指定了网络中的变量和它们的拓扑关系。例如,神经网络中的变量可以是神经元连接的权重(weights)和神经元的激励值(activities of the neurons)。
- 激励函数(Activity Rule) 大部分神经网络模型具有一个短时间尺度的动力学规则,来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重(即该网络的参数)。
- 学习规则(Learning Rule)学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下,学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。
2.初识神经网络
如上文所说,神经网络主要包括三个部分:结构、激励函数、学习规则。图1是一个三层的神经网络,输入层有d个节点,隐层有q个节点,输出层有l个节点。除了输入层,每一层的节点都包含一个非线性变换。
如果你觉得这篇文章看起来稍微还有些吃力,或者想要系统地学习人工智能,那么推荐你去看床长人工智能教程。非常棒的大神之作,教程不仅通俗易懂,而且很风趣幽默。点击这里可以查看教程。
图1
那么为什么要进行非线性变换呢?
(1)如果只进行线性变换,那么即使是多层的神经网络,依然只有一层的效果。类似于0.6*(0.2x1+0.3x2)=0.12x1+0.18x2。
(2)进行非线性变化,可以使得神经网络可以拟合任意一个函数,图2是一个四层网络的图。
图2
下面使用数学公式描述每一个神经元工作的方式
(1)输出x
(2)计算z=w*x
(3)输出new_x = f(z),这里的f是一个函数,可以是sigmoid、tanh、relu等,f就是上文所说到的激励函数。
3.反向传播(bp)算法
有了上面的网络结构和激励函数之后,这个网络是如何学习参数(学习规则)的呢?
首先我们先定义下本文使用的激活函数、目标函数
(1)激活函数(sigmoid):
def sigmoid(z): return 1.0/(1.0+np.exp(-z))
- 1
- 2
- 1
sigmoid函数有一个十分重要的性质:,即计算导数十分方便。
def sigmoid_prime(z): return sigmoid(z)*(1-sigmoid(z))
- 1
- 2
- 1
下面给出一个简单的证明:
(2)目标函数(差的平方和),公式中的1/2是为了计算导数方便。
然后,这个网络是如何运作的
(1)数据从输入层到输出层,经过各种非线性变换的过程即前向传播。
def feedforward(self, a): for b, w in zip(self.biases, self.weights): a = sigmoid(np.dot(w, a)+b) return a
- 1
- 2
- 3
- 4
- 1
其中,初始的权重(w)和偏置(b)是随机赋值的
biases = [np.random.randn(y, 1) for y in sizes[1:]]weights = [np.random.randn(y, x) for x, y in zip(sizes[:-1], sizes[1:])]
- 1
- 2
- 1
(2)参数更新,即反向传播
在写代码之前,先进行推导,即利用梯度下降更新参数,以上面的网络结构(图1)为例
(1)输出层与隐层之间的参数更新
(2)隐层与输入层之间的参数更新
有两点需要强调下:
- (2)中的结果比(1)中的结果多了一个求和公式,这是因为计算隐层与输入层之间的参数时,输出层与隐层的每一个节点都有影响。
- (2)中参数更新的结果可以复用(1)中的参数更新结果,从某种程度上,与反向传播这个算法名称不谋而合,不得不惊叹。
def backprop(self, x, y): """返回一个元组(nabla_b, nabla_w)代表目标函数的梯度.""" nabla_b = [np.zeros(b.shape) for b in self.biases] nabla_w = [np.zeros(w.shape) for w in self.weights] # feedforward activation = x activations = [x] # list to store all the activations, layer by layer zs = [] # list to store all the z vectors, layer by layer for b, w in zip(self.biases, self.weights): z = np.dot(w, activation)+b zs.append(z) activation = sigmoid(z) activations.append(activation) # backward pass delta = self.cost_derivative(activations[-1], y) * \ sigmoid_prime(zs[-1]) nabla_b[-1] = delta nabla_w[-1] = np.dot(delta, activations[-2].transpose()) """l = 1 表示最后一层神经元,l = 2 是倒数第二层神经元, 依此类推.""" for l in xrange(2, self.num_layers): z = zs[-l] sp = sigmoid_prime(z) delta = np.dot(self.weights[-l+1].transpose(), delta) * sp nabla_b[-l] = delta nabla_w[-l] = np.dot(delta, activations[-l-1].transpose()) return (nabla_b, nabla_w)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 1
4.完整代码实现
# -*- coding: utf-8 -*-import randomimport numpy as npclass Network(object): def __init__(self, sizes): """参数sizes表示每一层神经元的个数,如[2,3,1],表示第一层有2个神经元,第二层有3个神经元,第三层有1个神经元.""" self.num_layers = len(sizes) self.sizes = sizes self.biases = [np.random.randn(y, 1) for y in sizes[1:]] self.weights = [np.random.randn(y, x) for x, y in zip(sizes[:-1], sizes[1:])] def feedforward(self, a): """前向传播""" for b, w in zip(self.biases, self.weights): a = sigmoid(np.dot(w, a)+b) return a def SGD(self, training_data, epochs, mini_batch_size, eta, test_data=None): """随机梯度下降""" if test_data: n_test = len(test_data) n = len(training_data) for j in xrange(epochs): random.shuffle(training_data) mini_batches = [ training_data[k:k+mini_batch_size] for k in xrange(0, n, mini_batch_size)] for mini_batch in mini_batches: self.update_mini_batch(mini_batch, eta) if test_data: print "Epoch {0}: {1} / {2}".format(j, self.evaluate(test_data), n_test) else: print "Epoch {0} complete".format(j) def update_mini_batch(self, mini_batch, eta): """使用后向传播算法进行参数更新.mini_batch是一个元组(x, y)的列表、eta是学习速率""" nabla_b = [np.zeros(b.shape) for b in self.biases] nabla_w = [np.zeros(w.shape) for w in self.weights] for x, y in mini_batch: delta_nabla_b, delta_nabla_w = self.backprop(x, y) nabla_b = [nb+dnb for nb, dnb in zip(nabla_b, delta_nabla_b)] nabla_w = [nw+dnw for nw, dnw in zip(nabla_w, delta_nabla_w)] self.weights = [w-(eta/len(mini_batch))*nw for w, nw in zip(self.weights, nabla_w)] self.biases = [b-(eta/len(mini_batch))*nb for b, nb in zip(self.biases, nabla_b)] def backprop(self, x, y): """返回一个元组(nabla_b, nabla_w)代表目标函数的梯度.""" nabla_b = [np.zeros(b.shape) for b in self.biases] nabla_w = [np.zeros(w.shape) for w in self.weights] # 前向传播 activation = x activations = [x] # list to store all the activations, layer by layer zs = [] # list to store all the z vectors, layer by layer for b, w in zip(self.biases, self.weights): z = np.dot(w, activation)+b zs.append(z) activation = sigmoid(z) activations.append(activation) # backward pass delta = self.cost_derivative(activations[-1], y) * sigmoid_prime(zs[-1]) nabla_b[-1] = delta nabla_w[-1] = np.dot(delta, activations[-2].transpose()) """l = 1 表示最后一层神经元,l = 2 是倒数第二层神经元, 依此类推.""" for l in xrange(2, self.num_layers): z = zs[-l] sp = sigmoid_prime(z) delta = np.dot(self.weights[-l+1].transpose(), delta) * sp nabla_b[-l] = delta nabla_w[-l] = np.dot(delta, activations[-l-1].transpose()) return (nabla_b, nabla_w) def evaluate(self, test_data): """返回分类正确的个数""" test_results = [(np.argmax(self.feedforward(x)), y) for (x, y) in test_data] return sum(int(x == y) for (x, y) in test_results) def cost_derivative(self, output_activations, y): return (output_activations-y)def sigmoid(z): return 1.0/(1.0+np.exp(-z))def sigmoid_prime(z): """sigmoid函数的导数""" return sigmoid(z)*(1-sigmoid(z))
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 38
- 39
- 40
- 41
- 42
- 43
- 44
- 45
- 46
- 47
- 48
- 49
- 50
- 51
- 52
- 53
- 54
- 55
- 56
- 57
- 58
- 59
- 60
- 61
- 62
- 63
- 64
- 65
- 66
- 67
- 68
- 69
- 70
- 71
- 72
- 73
- 74
- 75
- 76
- 77
- 78
- 79
- 80
- 81
- 82
- 83
- 84
- 85
- 86
- 87
- 88
- 89
- 90
- 91
- 92
- 93
- 1
5.简单应用
# -*- coding: utf-8 -*-from network import *def vectorized_result(j,nclass): """离散数据进行one-hot""" e = np.zeros((nclass, 1)) e[j] = 1.0 return edef get_format_data(X,y,isTest): ndim = X.shape[1] nclass = len(np.unique(y)) inputs = [np.reshape(x, (ndim, 1)) for x in X] if not isTest: results = [vectorized_result(y,nclass) for y in y] else: results = y data = zip(inputs, results) return data#随机生成数据from sklearn.datasets import *np.random.seed(0)X, y = make_moons(200, noise=0.20)ndim = X.shape[1]nclass = len(np.unique(y))#划分训练、测试集from sklearn.cross_validation import train_test_splittrain_x,test_x,train_y,test_y = train_test_split(X,y,test_size=0.2,random_state=0)training_data = get_format_data(train_x,train_y,False)test_data = get_format_data(test_x,test_y,True)net = Network(sizes=[ndim,10,nclass])net.SGD(training_data=training_data,epochs=5,mini_batch_size=10,eta=0.1,test_data=test_data)
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 24
- 25
- 26
- 27
- 28
- 29
- 30
- 31
- 32
- 33
- 34
- 35
- 36
- 37
- 1
神经网络从原理到实现相关推荐
- 卷积神经网络数学原理解析
来源:海豚数据科学实验室 作 者:Piotr Skalski 翻 译:通夜(中山大学).had_in(电子科技大学) 编 辑:Pita 原标题:Gentle Dive into Math Behind ...
- 图解丨卷积神经网络数学原理解析
原标题:Gentle Dive into Math Behind Convolutional Neural Networks 作 者:Piotr Skalski 编 辑 | Pita 翻 译:通夜(中 ...
- [Python人工智能] 八.卷积神经网络CNN原理详解及TensorFlow编写CNN
从本专栏开始,作者正式开始研究Python深度学习.神经网络及人工智能相关知识.前一篇文章介绍了什么是过拟合,并采用droput解决神经网络中过拟合的问题,以TensorFlow和sklearn的lo ...
- bp神经网络_BP神经网络的原理介绍
神经网络是深度学习的基础,在机器学习和深度学习中应用比较广泛,如函数逼近,模式识别,分类模型,图像分类.基于深度学习的CTR预估,数据压缩,数据挖掘等都离不开神经网络.下面主要介绍BP神经网络的原理. ...
- 【深度学习系列】卷积神经网络CNN原理详解(一)——基本原理(1)
上篇文章我们给出了用paddlepaddle来做手写数字识别的示例,并对网络结构进行到了调整,提高了识别的精度.有的同学表示不是很理解原理,为什么传统的机器学习算法,简单的神经网络(如多层感知机)都可 ...
- 深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习
深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习 文章目录 深入浅出图神经网络|GNN原理解析☄学习笔记(四)表示学习 表示学习 表示学习的意义 离散表示与分布式表示 端到端学习 基于重构损 ...
- 人工神经网络的算法原理,深度神经网络工作原理
AI是否可以被精神分析?人工智能运行的基础原理到底是什么? AI不可以被精神分析,人工智能的工作原理是,计算机使用传感器(或人工输入),将收集有关一个场景的事实.计算机将把这些信息与已经存储的信息进行 ...
- 深入理解图卷积神经网络(GCN)原理
深入理解图卷积神经网络(GCN)原理 文章目录 深入理解图卷积神经网络(GCN)原理 前言 一.为什么需要GCN 二.GCN的原理 1.图的定义 2.GCN来了 2.1 矩阵计算公式 2.2 以小规模 ...
- 图机器学习(GML)图神经网络(GNN)原理和代码实现(前置学习系列二)
图机器学习(GML)&图神经网络(GNN)原理和代码实现(PGL)[前置学习系列二] 上一个项目对图相关基础知识进行了详细讲述,下面进图GML networkx :NetworkX 是一个 P ...
- 神经网络工作原理概述
1.从最简单的神经网路开始 在学习机器学习的过程中,大家对神经网络应该都有一个基本概念:神经网络就像一个函数拟合器,它可以拟合任意函数. def NeuralNetwork(inputs, weigh ...
最新文章
- SAP SD基础知识之销售模式
- 机器学习笔记:ResNet 及残差连接
- mysql+phpMyAdmin错误解决:bug #4813 MySQL 5.7.6 and the Users menu tab
- vrp车辆路径问题 php,车辆路径问题(VRP)
- 服务器ubuntu系统版本选型原则,系统集成 - 选择Ubuntu服务器版操作系统的六大理由_服务器应用_Linux公社-Linux系统门户网站...
- 2020笔记本性价比之王_2020轻薄本性价比之王_2020轻薄本哪款好
- websocket handshake unexpected response code 404问题
- mongo 主从数据不同步
- CSS学习1(内联样式,内部样式,外部样式,选择器)
- 海思3516A 运行mp4box工具,移植gpac 0.4.0
- [工作笔记之一] 转正答辩 2015-08-04 15:08
- Linux-星星之火
- ie8安装java提示被阻止_IE8浏览器安装失败的解决方法
- 【文件类型转换】.mat后缀文件 转化为 .xml后缀文件
- (R68s,R66s)OpenWRT设置ipv6网络(以光猫拨号场景为例)
- hardware - cortex-A15, cortex-A35,cortex-A53,cortex-A72
- 520,看看AI大牛吴恩达和姚期智如何撩妹
- 利用ARCGIS实现图片与excel中坐标点的匹配并绘图
- mysql生成树形数据_mysql 如何实现对树形数据的递归查询
- Qt 3D 汽车仪表盘
热门文章
- 【LeetCode】【二叉树的最近公共祖先】
- Linux-Windows主机目录和文件名中文乱码恢复
- 进销存管理之盘点流程
- Target EDI 管理
- IDEA,debug时出现FileNotFoundException: C:\Users\Àîê»\AppData\Local\Temp\capture83.prop (系统找不到指定的路径)的问题
- Linux 安装软件是错误:正在等待缓存锁:无法获得锁 /var/lib/dpkg/lock-frontend。锁正由进程
- Reentrant mutex(递归锁)
- CentOS 安装docker配置阿里云镜像加速
- 华师2020计算机专业宿舍,2020年华中师范大学新生宿舍环境条件,大一新生男生女生宿舍内部图片【多图】...
- [latex]在箭头上写东西,写字