前言

人工神经网络主要根据大脑神经元构建人工神经元，并且按照一定的拓扑结构建立神经元之间的连接，模拟生物神经网络。早期模型强调生物合理性，目前更加强调对认知能力的模拟，完成某种特定任务。人工神经网络系列博客持续更新。由于本人更喜欢使用Word和Mathtype，所以较多截图。如果我的理解有欠缺或者错误，望指出。

一、生物神经元

大脑神经系统是由成千上万的生物神经元通过突触相互连接的复杂神经网络，因此神经元是神经系统的基本组成单元，用于产生神经冲动和传输神经冲动。下图展示了一个典型的生物神经元结构：

生物神经元主要由细胞体、树突和轴突组成。

（1）树突：从细胞体向四周分散开来的突起称之为树突，用于接收神经冲动，神经元细胞有一个或多个树突。与不同神经元连接的树突强度有强有弱；

（2）细胞体：细胞体细胞膜上存在受体，可以与神经冲动的神经递质结合，产生兴奋或者抑制。神经元所获得的输入信号的积累超过某个阈值时，处于兴奋状态，否则为抑制状态；

（3）轴突：将自身的兴奋传递到下一个神经元细胞的树突

二、人工神经元模型

人工神经元是人工神经网络的基本单元。模拟生物神经元，人工神经元有1个或者多个输入（模拟多个树突或者多个神经元向该神经元传递神经冲动）；对输入进行加权求和（模拟细胞体将神经信号进行积累和树突强度不同）；对输入之和使用激活函数计算活性值（模拟细胞体产生兴奋或者抑制）；输出活性值并传递到下一个人工神经元（模拟生物神经元通过轴突将神经冲动输入到下一个神经元）。

人工神经元的计算描述。假设人工神经元有n个输入 $x_{1},x_{2},...,x_{n}$ $x={x_{1},x_{2},...,x_{n}}$ ，定义输入向量 $x=\begin{Bmatrix} x_{1},x_{2},...,x_{n}} \end{Bmatrix}$ ,则人工神经元的加权求和值（净输入值） $net$ 由下式计算：

$net=\sum_{i=1}^{n}w_{i}x_{i}+b=w^{T}x+b$

式中， $w=\begin{bmatrix} w_{1},...,w_{n} \end{bmatrix}$ ，b为偏置变量。

将 $net$ 输入到激活函数 $f$ 中，可以得到人工神经元的活性值也即输出值 $O$ ：

三、生物神经网络

根据初中学习的生物学知识可知，我们动物学习经验、学习记忆和感觉的产生是大量的神经元产生神经冲动和传递神经冲动的作用，并不是单个神经元就能完成上述任务。因此，主要研究由神经元组成的神经网络如何工作。

Hebb提出了细胞联合（突触可塑性）基本原理：当神经元A的有个轴突和神经元B非常接近，足以对它产生影响，并且持续地、重复地参与对神经元B的兴奋，那么神经元A和B发生某种生理变化，以致于神经元A成为神经元B兴奋的细胞之一。简单例子：巴甫洛夫的条件反射实验，每次给狗狗喂食时，都会先摇响铃铛，时间足够长后，摇响铃铛，即使不给狗狗食物，狗狗也会分泌唾液；原因即，狗狗的摇响铃铛激发的神经元，食物出现激发的神经元，二者关联加强，突触效能加强。

综上所述，突触的连接强度可以随着突触前后神经元的活动而变化，且通过重复足够次数，可以储存在长期记忆中。

四、人工神经网络

4.1 模拟生物神经网络

生物神经网络是大量神经元通过一定的连接方式形成；人工神经网络是通过大量的人工神经元通过一定的连接方式组成。使用人工神经元的连接权重 $w$ 模拟突触；激活函数 $f$ 模拟细胞体对神经冲动的兴奋或者抑制；使用学习规则（误差纠正学习，Hebb学习和竞争学习，注：知识有限，也许不够全面）进行权重学习，模拟突触可塑；将训练数据重复输入多次，模拟重复足够次数可以存储长期记忆。

4.2 网络结构

4.2.1 前馈网络（正在学习）

（1）定义：信息传播单向。前馈神经网络按照传输信息的次序将神经元分为不同的层，每一层神经元接收前一层神经元的输出，将输出传递至前一层神经元。

（2）实例：全连接前馈神经网络和卷积神经网络

（3）一句话总结：前馈网络是通过非线性函数的多次复合实现输入和输出的复杂映射关系

4.2.2 记忆网络（挖坑，以后填）

（1）定义：神经元不仅可以接收其他神经元的信息，而且可以接收自己的历史信息；信息传播可以单向也可以双向。

（2）实例：循环神经网络、Hopfield网络。

（3）一句话总结：记忆网络可以视作一个程序，具有计算和记忆能力

4.2.3 图网络（挖坑，以后填）

（1）定义：图网络用来解决输入为图结构的数据，例如社交网络；节点之间连接时可以有向或者无向，而且可以收到相邻节点或自身的信息。

（2）实例：图卷积网络

五、总结

本文主要参考了邱鹏老师的《神经网络与深度学习》。

人工神经网络——理解人工神经元和神经网络相关推荐

人工神经网络与神经网络,对人工神经网络的理解
人工神经网络,人工神经网络是什么意思 . 一.人工神经网络的概念人工神经网络(ArtificialNeuralNetwork,ANN)简称神经网络(NN),是基于生物学中神经网络的基本原理,在理解和抽 ...
人工神经网络神经元模型,人工神经元算法机制图
神经网络算法原理 4.2.1概述人工神经网络的研究与计算机的研究几乎是同步发展的. 1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型,20世纪50年代末,Rosen ...
深度神经网络和人工神经网络区别
深度学习与神经网络有什么区别找深度学习和神经网络的不同点,其实主要的就是:原来多层神经网络做的步骤是:特征映射到值.特征是人工挑选.深度学习做的步骤是信号->特征->值. 特征是由网络 ...
神经网络计算机硬件,人工神经网络的硬件设计研究
摘要:本文结合当前计算机智能化领域的发展情况,提出了在新的智能计算硬件平台上进行神经网络的计算,并以Gerstner的尖峰神经元模型为基础设计出硬件电路,以加快神经网络的计算能力. 关键词:人工神经 ...
人工神经网络的三个要素,神经网络三要素是指
一个完整的人工神经网络包括人工神经网络主要架构是由神经元.层和网络三个部分组成.整个人工神经网络包含一系列基本的神经元.通过权重相互连接.神经元是人工神经网络最基本的单元. 单元以层的方式组,每一层 ...
人工神经网络的算法原理,深度神经网络算法原理
1.人工智能的工作原理是什么? 人工智能的工作原理是:计算机会通过传感器(或人工输入的方式)来收集关于某个情景的事实.计算机将此信息与已存储的信息进行比较,以确定它的含义.计算机会根据收集来的信息计算 ...
人工神经网络的算法原理,深度神经网络工作原理
AI是否可以被精神分析?人工智能运行的基础原理到底是什么? AI不可以被精神分析,人工智能的工作原理是,计算机使用传感器(或人工输入),将收集有关一个场景的事实.计算机将把这些信息与已经存储的信息进行 ...
人工神经元算法视频教学,人工智能神经网络算法
什么是人工神经元算法人工神经网络算法 "人工神经网络"(ARTIFICIAL NEURAL NETWORK,简称ANN)是在对人脑组织结构和运行机制的认识理解基础之上模拟其结构和 ...
人工智能和神经网络区别,人工神经网络有哪几种
人工智能的分类包括哪些呀? 人脑计算机对接技术项目名称:小发猫人工智能领域六大分类: 1.深度学习: 深度学习是基于现有的数据进行学习操作,是机器学习研究中的一个新的领域,机在于建立.模拟人脑进行分 ...

人工神经网络——理解人工神经元和神经网络

前言

目录