简述常用人工神经网络方法的基本原理

神经网络是什么

神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。

生物神经网络主要是指人脑的神经网络，它是人工神经网络的技术原型。人脑是人类思维的物质基础，思维的功能定位在大脑皮层，后者含有大约10^11个神经元，每个神经元又通过神经突触与大约103个其它神经元相连，形成一个高度复杂高度灵活的动态网络。作为一门学科，生物神经网络主要研究人脑神经网络的结构、功能及其工作机制，意在探索人脑思维和智能活动的规律。

人工神经网络是生物神经网络在某种简化意义下的技术复现，作为一门学科，它的主要任务是根据生物神经网络的原理和实际应用的需要建造实用的人工神经网络模型，设计相应的学习算法，模拟人脑的某种智能活动，然后在技术上实现出来用以解决实际问题。因此，生物神经网络主要研究智能的机理；人工神经网络主要研究智能机理的实现，两者相辅相成。

扩展资料：

神经网络的研究内容相当广泛，反映了多学科交叉技术领域的特点。主要的研究工作集中在以下几个方面：

1、生物原型。

从生理学、心理学、解剖学、脑科学、病理学等方面研究神经细胞、神经网络、神经系统的生物原型结构及其功能机理。

2、建立模型。

根据生物原型的研究，建立神经元、神经网络的理论模型。其中包括概念模型、知识模型、物理化学模型、数学模型等。

3、算法。

在理论模型研究的基础上构作具体的神经网络模型，以实现计算机模拟或准备制作硬件，包括网络学习算法的研究。这方面的工作也称为技术模型研究。

神经网络用到的算法就是向量乘法，并且广泛采用符号函数及其各种逼近。并行、容错、可以硬件实现以及自我学习特性，是神经网络的几个基本优点，也是神经网络计算方法与传统方法的区别所在。

参考资料：百度百科-神经网络（通信定义）

神经网络算法原理

4.2.1 概述。

人工神经网络的研究与计算机的研究几乎是同步发展的。1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型，20世纪50年代末，Rosenblatt提出了感知器模型，1982年，Hopfiled引入了能量函数的概念提出了神经网络的一种数学模型，1986年，Rumelhart及LeCun等学者提出了多层感知器的反向传播算法等。

神经网络技术在众多研究者的努力下，理论上日趋完善，算法种类不断增加。目前，有关神经网络的理论研究成果很多，出版了不少有关基础理论的著作，并且现在仍是全球非线性科学研究的热点之一。

神经网络是一种通过模拟人的大脑神经结构去实现人脑智能活动功能的信息处理系统，它具有人脑的基本功能，但又不是人脑的真实写照。它是人脑的一种抽象、简化和模拟模型，故称之为人工神经网络（边肇祺，2000）。

人工神经元是神经网络的节点，是神经网络的最重要组成部分之一。目前，有关神经元的模型种类繁多，最常用最简单的模型是由阈值函数、Sigmoid 函数构成的模型（图 4-3）。

图4-3 人工神经元与两种常见的输出函数。

神经网络学习及识别方法最初是借鉴人脑神经元的学习识别过程提出的。输入参数好比神经元接收信号，通过一定的权值（相当于刺激神经兴奋的强度）与神经元相连，这一过程有些类似于多元线性回归，但模拟的非线性特征是通过下一步骤体现的，即通过设定一阈值（神经元兴奋极限）来确定神经元的兴奋模式，经输出运算得到输出结果。经过大量样本进入网络系统学习训练之后，连接输入信号与神经元之间的权值达到稳定并可最大限度地符合已经经过训练的学习样本。在被确认网络结构的合理性和学习效果的高精度之后，将待预测样本输入参数代入网络，达到参数预测的目的。

4.2.2 反向传播算法（BP法）

发展到目前为止，神经网络模型不下十几种，如前馈神经网络、感知器、Hopfiled 网络、径向基函数网络、反向传播算法（BP法）等，但在储层参数反演方面，目前比较成熟比较流行的网络类型是误差反向传播神经网络（BP-ANN）。

BP网络是在前馈神经网络的基础上发展起来的，始终有一个输入层（它包含的节点对应于每个输入变量）和一个输出层（它包含的节点对应于每个输出值），以及至少有一个具有任意节点数的隐含层（又称中间层）。在 BP-ANN中，相邻层的节点通过一个任意初始权值全部相连，但同一层内各节点间互不相连。对于 BP-ANN，隐含层和输出层节点的基函数必须是连续的、单调递增的，当输入趋于正或负无穷大时，它应该接近于某一固定值，也就是说，基函数为“S”型（Kosko，1992）。BP-ANN 的训练是一个监督学习过程，涉及两个数据集，即训练数据集和监督数据集。

给网络的输入层提供一组输入信息，使其通过网络而在输出层上产生逼近期望输出的过程，称之为网络的学习，或称对网络进行训练，实现这一步骤的方法则称为学习算法。BP网络的学习过程包括两个阶段：第一个阶段是正向过程，将输入变量通过输入层经隐层逐层计算各单元的输出值；第二阶段是反向传播过程，由输出误差逐层向前算出隐层各单元的误差，并用此误差修正前层权值。误差信息通过网络反向传播，遵循误差逐步降低的原则来调整权值，直到达到满意的输出为止。网络经过学习以后，一组合适的、稳定的权值连接权被固定下来，将待预测样本作为输入层参数，网络经过向前传播便可以得到输出结果，这就是网络的预测。

反向传播算法主要步骤如下：首先选定权系数初始值，然后重复下述过程直至收敛（对各样本依次计算）。

（1）从前向后各层计算各单元Oj。

储层特征研究与预测。

（2）对输出层计算δj。

储层特征研究与预测。

（3）从后向前计算各隐层δj。

储层特征研究与预测。

（4）计算并保存各权值修正量。

储层特征研究与预测。

（5）修正权值。

储层特征研究与预测。

以上算法是对每个样本作权值修正，也可以对各个样本计算δj后求和，按总误差修正权值。

AI爱发猫

神经网络具体是什么？

神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。举个手写识别的例子，给定一个未知数字，让神经网络识别是什么数字。此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义。在通过非线性激活函数进行非线性变换后，神经元被激活然后被传递到其他神经元。重复这一过程，直到最后一个输出神经元被激活。从而识别当前数字是什么字。神经网络的每个神经元如下。

基本wx + b的形式，其中 x1、x2表示输入向量 w1、w2为权重，几个输入则意味着有几个权重，即每个输入都被赋予一个权重 b为偏置bias g(z) 为激活函数 a 为输出如果只是上面这样一说，估计以前没接触过的十有八九又必定迷糊了。事实上，上述简单模型可以追溯到20世纪50/60年代的感知器，可以把感知器理解为一个根据不同因素、以及各个因素的重要性程度而做决策的模型。举个例子，这周末北京有一草莓音乐节，那去不去呢？决定你是否去有二个因素，这二个因素可以对应二个输入，分别用x1、x2表示。此外，这二个因素对做决策的影响程度不一样，各自的影响程度用权重w1、w2表示。一般来说，音乐节的演唱嘉宾会非常影响你去不去，唱得好的前提下即便没人陪同都可忍受，但如果唱得不好还不如你上台唱呢。所以，我们可以如下表示： x1：是否有喜欢的演唱嘉宾。x1 = 1 你喜欢这些嘉宾，x1 = 0 你不喜欢这些嘉宾。嘉宾因素的权重w1 = 7 x2：是否有人陪你同去。x2 = 1 有人陪你同去，x2 = 0 没人陪你同去。是否有人陪同的权重w2 = 3。这样，咱们的决策模型便建立起来了：g(z) = g(w1x1 + w2x2 + b )，g表示激活函数，这里的b可以理解成为更好达到目标而做调整的偏置项。一开始为了简单，人们把激活函数定义成一个线性函数，即对于结果做一个线性变化，比如一个简单的线性激活函数是g(z) = z，输出都是输入的线性变换。后来实际应用中发现，线性激活函数太过局限，于是引入了非线性激活函数。

神经网络（深度学习）的几个基础概念

从广义上说深度学习的网络结构也是多层神经网络的一种。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定，没有明确的理论推导来说明到底多少层合适。而深度学习中最著名的卷积神经网络CNN，在原来多层神经网络的基础上，加入了特征学习部分，这部分是模仿人脑对信号处理上的分级的。具体操作就是在原来的全连接的层前面加入了部分连接的卷积层与降维层，而且加入的是一个层级。输入层 - 卷积层 -降维层 -卷积层 - 降维层 -- .... -- 隐藏层 -输出层简单来说，原来多层神经网络做的步骤是：特征映射到值。特征是人工挑选。深度学习做的步骤是信号->特征->值。特征是由网络自己选择。

有人可以介绍一下什么是"神经网络"吗?

由于神经网络是多学科交叉的产物，各个相关的学科领域对神经网络。

都有各自的看法，因此，关于神经网络的定义，在科学界存在许多不同的。

见解。目前使用得最广泛的是T.Koholen的定义，即"神经网络是由具有适。

应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经。

系统对真实世界物体所作出的交互反应。"。

如果我们将人脑神经信息活动的特点与现行冯·诺依曼计算机的工作方。

式进行比较，就可以看出人脑具有以下鲜明特征：

1. 巨量并行性。

在冯·诺依曼机中，信息处理的方式是集中、串行的，即所有的程序指。

令都必须调到CPU中后再一条一条地执行。而人在识别一幅图像或作出一项。

决策时，存在于脑中的多方面的知识和经验会同时并发作用以迅速作出解答。

据研究，人脑中约有多达10^(10)～10^(11)数量级的神经元，每一个神经元。

具有103数量级的连接，这就提供了巨大的存储容量，在需要时能以很高的。

反应速度作出判断。

2. 信息处理和存储单元结合在一起。

在冯·诺依曼机中，存储内容和存储地址是分开的，必须先找出存储器的。

地址，然后才能查出所存储的内容。一旦存储器发生了硬件故障，存储器中。

存储的所有信息就都将受到毁坏。而人脑神经元既有信息处理能力又有存储。

功能，所以它在进行回忆时不仅不用先找存储地址再调出所存内容，而且可。

以由一部分内容恢复全部内容。当发生"硬件"故障（例如头部受伤）时，并。

不是所有存储的信息都失效，而是仅有被损坏得最严重的那部分信息丢失。

3. 自组织自学习功能。

冯·诺依曼机没有主动学习能力和自适应能力，它只能不折不扣地按照。

人们已经编制好的程序步骤来进行相应的数值计算或逻辑计算。而人脑能够。

通过内部自组织、自学习的能力，不断地适应外界环境，从而可以有效地处。

理各种模拟的、模糊的或随机的问题。

神经网络研究的主要发展过程大致可分为四个阶段：

1. 第一阶段是在五十年代中期之前。

西班牙解剖学家Cajal于十九世纪末创立了神经元学说，该学说认为神经。

元的形状呈两极，其细胞体和树突从其他神经元接受冲动，而轴索则将信号。

向远离细胞体的方向传递。在他之后发明的各种染色技术和微电极技术不断。

提供了有关神经元的主要特征及其电学性质。

1943年，美国的心理学家W.S.McCulloch和数学家W.A.Pitts在论文《神经。

活动中所蕴含思想的逻辑活动》中，提出了一个非常简单的神经元模型，即。

M－P模型。该模型将神经元当作一个功能逻辑器件来对待，从而开创了神经。

网络模型的理论研究。

1949年，心理学家D.O. Hebb写了一本题为《行为的组织》的书，在这本。

书中他提出了神经元之间连接强度变化的规则，即后来所谓的Hebb学习法则。

Hebb写道："当神经细胞A的轴突足够靠近细胞B并能使之兴奋时，如果A重。

复或持续地激发B，那么这两个细胞或其中一个细胞上必然有某种生长或代。

谢过程上的变化，这种变化使A激活B的效率有所增加。"简单地说，就是。

如果两个神经元都处于兴奋状态，那么它们之间的突触连接强度将会得到增。

强。

五十年代初，生理学家Hodykin和数学家Huxley在研究神经细胞膜等效电。

路时，将膜上离子的迁移变化分别等效为可变的Na+电阻和K+电阻，从而建。

立了著名的Hodykin-Huxley方程。

这些先驱者的工作激发了许多学者从事这一领域的研究，从而为神经计。

算的出现打下了基础。

2. 第二阶段从五十年代中期到六十年代末。

1958年，F.Rosenblatt等人研制出了历史上第一个具有学习型神经网络。

特点的模式识别装置，即代号为Mark I的感知机（Perceptron），这一重。

大事件是神经网络研究进入第二阶段的标志。对于最简单的没有中间层的。

感知机，Rosenblatt证明了一种学习算法的收敛性，这种学习算法通过迭代。

地改变连接权来使网络执行预期的计算。

稍后于Rosenblatt，B.Widrow等人创造出了一种不同类型的会学习的神经。

网络处理单元，即自适应线性元件Adaline，并且还为Adaline找出了一种有。

力的学习规则，这个规则至今仍被广泛应用。Widrow还建立了第一家神经计。

算机硬件公司，并在六十年代中期实际生产商用神经计算机和神经计算机软。

件。

除Rosenblatt和Widrow外，在这个阶段还有许多人在神经计算的结构和。

实现思想方面作出了很大的贡献。例如，K.Steinbuch研究了称为学习矩阵。

的一种二进制联想网络结构及其硬件实现。N.Nilsson于1965年出版的。

《机器学习》一书对这一时期的活动作了总结。

3. 第三阶段从六十年代末到八十年代初。

第三阶段开始的标志是1969年M.Minsky和S.Papert所著的《感知机》一书。

的出版。该书对单层神经网络进行了深入分析，并且从数学上证明了这种网。

络功能有限，甚至不能解决象"异或"这样的简单逻辑运算问题。同时，他们。

还发现有许多模式是不能用单层网络训练的，而多层网络是否可行还很值得。

怀疑。

由于M.Minsky在人工智能领域中的巨大威望，他在论著中作出的悲观结论。

给当时神经网络沿感知机方向的研究泼了一盆冷水。在《感知机》一书出版。

后，美国联邦基金有15年之久没有资助神经网络方面的研究工作，前苏联也。

取消了几项有前途的研究计划。

但是，即使在这个低潮期里，仍有一些研究者继续从事神经网络的研究工。

作，如美国波士顿大学的S.Grossberg、芬兰赫尔辛基技术大学的T.Kohonen。

以及日本东京大学的甘利俊一等人。他们坚持不懈的工作为神经网络研究的。

复兴开辟了道路。

4. 第四阶段从八十年代初至今。

1982年，美国加州理工学院的生物物理学家J.J.Hopfield采用全互连型。

神经网络模型，利用所定义的计算能量函数，成功地求解了计算复杂度为。

NP完全型的旅行商问题（Travelling Salesman Problem，简称TSP）。这。

项突破性进展标志着神经网络方面的研究进入了第四阶段，也是蓬勃发展。

的阶段。

Hopfield模型提出后，许多研究者力图扩展该模型，使之更接近人脑的。

功能特性。1983年，T.Sejnowski和G.Hinton提出了"隐单元"的概念，并且。

研制出了Boltzmann机。日本的福岛邦房在Rosenblatt的感知机的基础上，

增加隐层单元，构造出了可以实现联想学习的"认知机"。Kohonen应用3000。

个阈器件构造神经网络实现了二维网络的联想式学习功能。1986年，

D.Rumelhart和J.McClelland出版了具有轰动性的著作《并行分布处理-认知。

微结构的探索》，该书的问世宣告神经网络的研究进入了高潮。

1987年，首届国际神经网络大会在圣地亚哥召开，国际神经网络联合会。

（INNS）成立。随后INNS创办了刊物《Journal Neural Networks》，其他。

专业杂志如《Neural Computation》，《IEEE Transactions on Neural。

Networks》，《International Journal of Neural Systems》等也纷纷。

问世。世界上许多著名大学相继宣布成立神经计算研究所并制订有关教育。

计划，许多国家也陆续成立了神经网络学会，并召开了多种地区性、国际性。

会议，优秀论著、重大成果不断涌现。

今天，在经过多年的准备与探索之后，神经网络的研究工作已进入了决。

定性的阶段。日本、美国及西欧各国均制订了有关的研究规划。

日本制订了一个"人类前沿科学计划"。这项计划为期15－20年，仅。

初期投资就超过了1万亿日元。在该计划中，神经网络和脑功能的研究占有。

重要地位，因为所谓"人类前沿科学"首先指的就是有关人类大脑以及通过。

借鉴人脑而研制新一代计算机的科学领域。

在美国，神经网络的研究得到了军方的强有力的支持。美国国防部投资。

4亿美元，由国防部高级研究计划局（DAPRA）制订了一个8年研究计划，

并成立了相应的组织和指导委员会。同时，海军研究办公室（ONR）、空军。

科研办公室（AFOSR）等也纷纷投入巨额资金进行神经网络的研究。DARPA认。

为神经网络"看来是解决机器智能的唯一希望"，并认为"这是一项比原子弹。

工程更重要的技术"。美国国家科学基金会（NSF）、国家航空航天局（NASA）

等政府机构对神经网络的发展也都非常重视，它们以不同的形式支持了众多。

的研究课题。

欧共体也制订了相应的研究计划。在其ESPRIT计划中，就有一个项目是。

"神经网络在欧洲工业中的应用"，除了英、德两国的原子能机构外，还有多。

个欧洲大公司卷进这个研究项目，如英国航天航空公司、德国西门子公司等。

此外，西欧一些国家还有自己的研究计划，如德国从1988年就开始进行一个。

叫作"神经信息论"的研究计划。

我国从1986年开始，先后召开了多次非正式的神经网络研讨会。1990年。

12月，由中国计算机学会、电子学会、人工智能学会、自动化学会、通信学。

会、物理学会、生物物理学会和心理学会等八个学会联合在北京召开了"中。

国神经网络首届学术会议"，从而开创了我国神经网络研究的新纪元。

神经网络的四个基本属性是什么?

神经网络的四个基本属性：

（1）非线性：非线性是自然界的普遍特征。脑智能是一种非线性现象。人工神经元处于两种不同的激活或抑制状态，它们在数学上是非线性的。由阈值神经元组成的网络具有更好的性能，可以提高网络的容错性和存储容量。

（2）无限制性：神经网络通常由多个连接广泛的神经元组成。一个系统的整体行为不仅取决于单个神经元的特性，而且还取决于单元之间的相互作用和互连。通过单元之间的大量连接来模拟大脑的非限制性。联想记忆是一个典型的无限制的例子。

（3）非常定性：人工神经网络具有自适应、自组织和自学习的能力。神经网络处理的信息不仅会发生变化，而且非线性动态系统本身也在发生变化。迭代过程通常用来描述动态系统的演化。

（4）非凸性：在一定条件下，系统的演化方向取决于特定的状态函数。例如，能量函数的极值对应于系统的相对稳定状态。非凸性是指函数具有多个极值，系统具有多个稳定平衡态，从而导致系统演化的多样性。

扩展资料：

神经网络的特点优点：

人工神经网络的特点和优越性，主要表现在三个方面：

第一，具有自学习功能。例如实现图像识别时，只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、市场预测、效益预测，其应用前途是很远大的。

第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。

第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的计算量，利用一个针对某问题而设计的反馈型人工神经网络，发挥计算机的高速运算能力，可能很快找到优化解。

参考资料：百度百科——人工神经网络。