人工智能之Hopfield神经网络（HNN）

感觉这位大佬说的不错，搬了过来，后面附上原文链接

神经网络在1980年代复兴归功于物理学家约翰·霍普菲尔德（Hopfield）。1982年，霍普菲尔德提出了一种新的神经网络，可以解决一大类模式识别问题，还可以给出一类组合优化问题的近似解。这种神经网络模型后被称为Hopfield神经网络。

Hopfield神经网络是一种循环神经网络[请参见公众号“科技优化生活”之人工智能（23）]，由约翰·霍普菲尔德发明，他将物理学的相关思想（动力学）引入到神经网络的构造中，从而形成了Hopfield神经网络。贝尔实验室在1987年成功在Hopfield神经网络的基础上研制出了神经网络芯片。

Hopfield神经网络是一种递归神经网络，从输出到输入均有反馈连接，每一个神经元跟所有其他神经元相互连接，又称为全互联网络。

Hopfield神经网络概述：

Hopfield神经网络HNN（Hopfiled Neural Network)是一种结合存储系统和二元系统的神经网络。它保证了向局部极小的收敛，但收敛到错误的局部极小值（local minimum），而非全局极小（global minimum）的情况也可能发生。Hopfield神经网络也提供了模拟人类记忆的模型。

Hopfield神经网络是反馈神经网络，其输出端又会反馈到其输入端，在输入的激励下，其输出会产生不断的状态变化，这个反馈过程会一直反复进行。假如Hopfield神经网络是一个收敛的稳定网络，则这个反馈与迭代的计算过程所产生的变化越来越小，一旦达到了稳定的平衡状态，Hopfield网络就会输出一个稳定的恒值。

对于一个Hopfield神经网络来说，关键在于确定它在稳定条件下的权系数。

Hopfield神经网络分为两种：1）离散型Hopfield神经网络；2）连续型Hopfield神经网络。

离散型Hopfield神经网络：

Hopfield最早提出的网络是二值神经网络，各神经元的激励函数为阶跃函数或双极值函数,神经元的输入、输出只取{0，1}或者{ -1，1}，所以也称为离散型Hopfield神经网络DHNN（Discrete Hopfiled Neural Network）。在DHNN中，所采用的神经元是二值神经元；因此，所输出的离散值1和0或者1和-1分别表示神经元处于激活状态和抑制状态。

离散Hopfield神经网络DHNN是一个单层网络，有n个神经元节点，每个神经元的输出均接到其它神经元的输入。各节点没有自反馈。每个节点都可处于一种可能的状态（1或－1），即当该神经元所受的刺激超过其阀值时，神经元就处于一种状态（比如1），否则神经元就始终处于另一状态（比如－1）。

DHNN有两种工作方式：

1）串行（异步）方式：在时刻t时，只有某一个神经元j的状态发生变化，而其他n-1个神经元的状态不变，称为串行工作方式。并且有：

2）并行（同步）方式：在任一时刻t，所有的神经元的状态都产生了变化，称为并行工作方式。并且有：

DHNN稳定性：

假设一个DHNN，其状态为Y(t):

如果对于任何Δt>0，当神经网络从t=0开始，有初始状态Y(0)。经过有限时刻t，有：

Y(t+Δt)=Y(t)

则认为该DHNN网络是稳定的，称其状态为为稳定状态。DHNN网络的稳定状态X就是网络的吸引子(attractor)，用于存储记忆信息。串行方式下的稳定性称为串行稳定性；并行方式下的稳定性称为并行稳定性。

DHNN是一种多输入、含有阈值的二值非线性动态系统。在动态系统中，平衡稳定状态可以理解为系统某种形式的能量函数（energy function）在系统运行过程中，其能量不断减少，最后处于最小值。

DHNN稳定的充分条件：如果DHNN的权系数矩阵W是一个对称矩阵，并且对角线元素为0，则这个网络是稳定的。即在权系数矩阵W中，如果：

则该DHNN是稳定的。

W是一个对称矩阵仅是充分条件，不是必要条件。

DHNN联想记忆功能：

DHNN一个重要功能是可以用于联想记忆，即联想存储器，这是人类的智能特点之一。

要实现联想记忆，DHNN必须具有两个基本条件：

1) 网络能收敛到稳定的平衡状态，并以其作为样本的记忆信息；

2) 具有回忆能力，能够从某一残缺的信息回忆起所属的完整的记忆信息。

DHNN实现联想记忆过程分为两个阶段：

1)学习记忆阶段: 设计者通过某一设计方法确定一组合适的权值，使DHNN记忆期望的稳定平衡点。

2)联想回忆阶段: DHNN的工作过程。

记忆是分布式的，而联想是动态的。

对于DHNN，由于网络状态是有限的，不可能出现混沌状态。

DHNN局限性：

1）记忆容量的有限性；

2）伪稳定点的联想与记忆；

3）当记忆样本较接近时，网络不能始终回忆出正确的记忆等；

4）DHNN平衡稳定点不可以任意设置，也没有一个通用的方式来事先知道平衡稳定点。

连续型Hopfield神经网络：

连续Hopfield神经网络CHNN（Continuous Hopfield Neural Network）与DHNN在拓扑结构上是一致的。

CHNN稳定性：

CHNN稳定条件要求：

CHNN与DHNN不同之处在于其函数g不是阶跃函数，而是S型的连续函数。一般取：

CHNN在时间上是连续的，所以CHNN网络中各个神经元是处于同步方式工作的。

当CHNN网络的神经元传递函数g是连续且有界的（如Sigmoid函数），并且CHNN网络的权值系数矩阵对称，则这个CHNN网络是稳定的。

优化问题：

在实际应用中的系统，如果其优化问题可以用能量函数E(t)作为目标函数，那么CHNN网络和优化问题直接对应。这样，大量优化问题都可以用CHNN网络来求解。这也是Hopfield网络用于神经计算的基本原因。

CHNN与DHNN主要区别：

CHNN与DHNN的主要差别在于：CHNN神经元激活函数使用Sigmoid函数，而DHNN神经元激活函数使用了硬极限函数。

Hopfield神经网络应用：

Hopfield神经网络早期应用包括按内容寻址存储器，模数转换及优化组合计算等。具有代表意义的是解决TSP问题，1985年Hopfield和Tank用Hopfield网络求解N=30的TSP问题，从而创建了神经网络优化的新途径。除此之外，Hopfield 神经网络在人工智能之机器学习、联想记忆、模式识别、优化计算、VLSI和光学设备的并行实现等方面有着广泛应用。

结语:

Hopfield神经网络（HNN）是一种具有循环、递归特性，结合存储和二元系统的神经网络。由约翰·霍普菲尔德在1982年发明。对于一个Hopfield神经网络来说，关键在于确定它在稳定条件下的权系数。Hopfield神经网络分为离散型和连续型两种，主要差别在于激活函数的不同。Hopfield神经网络（HNN）提供了模拟人类记忆的模型。它在人工智能之机器学习、联想记忆、模式识别、优化计算、VLSI和光学设备的并行实现等方面有着广泛应用。

转自：http://www.fromgeek.com/ai/163177.html

人工智能之Hopfield神经网络（HNN）相关推荐

DL之HNN：Hopfield神经网络(HNN之DHNN、CHNN)的相关论文、简介、使用案例之详细攻略
DL之HNN:Hopfield神经网络(HNN之DHNN.CHNN)的相关论文.简介.使用案例之详细攻略导读:Hopfield神经网络(HNN)是一种具有循环.递归特性,结合存储和二元系统的神经网络 ...
【HNN TSP】基于matlab hopfield神经网络求解旅行商问题【含Matlab源码 408期】
⛄一.简介 1 Hopfield神经网络 2 离散Hopfield网络 3 连续Hopfield网络 CHNN用非线性微分方程描述,网络的稳定性通过构造其能量函数(又称李雅谱诺夫函数),并用李雅谱诺夫 ...
Hopfield神经网络（HNN）详解
Hopfield神经网络是一种比较特殊的网络,它不像一般的神经网络那样有输入层和输出层,并且通过训练来改变神经网络中的参数,最终实现预测.识别等功能.Hopfield网络只有一群神经元节点,所有节点之 ...
神经网络和人工智能原理,人工神经网络基本原理
神经网络的基本原理是什么? 神经网络的基本原理是:每个神经元把最初的输入值乘以一定的权重,并加上其他输入到这个神经元里的值(并结合其他信息值),最后算出一个总和,再经过神经元的偏差调整,最后用激励函数 ...
Hopfield 神经网络及稳态性的证明
根据其提出者,John Joseph Hopfield 命名.Hopfield 在 1982 年提出的划时代的:Neural networks and physical systems with em ...
《MATLAB 神经网络43个案例分析》：第11章连续Hopfield神经网络的优化——旅行商问题优化计算
<MATLAB 神经网络43个案例分析>:第11章连续Hopfield神经网络的优化--旅行商问题优化计算 1. 前言 2. MATLAB 仿真示例 3. 小结 1. 前言 <MA ...
Hopfield神经网络解决TSP问题（Java）
目录一.网络原理二.算法步骤三.代码实现 (Java) 四.所用jar包一.网络原理 Hopfield神经网络(HNN)是一种全互联反馈神经网络,它的每一个神经元都和其他神经元连接. Hopf ...
【人工智能】话说人工智能与人工神经网络的历程
人工智能与机器学习人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人.语言识别.图像识别.自然语言处理和专家系统等 ...
Hopfield神经网络的应用
Hopfield神经网络在联想记忆中的应用如何实现HNN的联想记忆功能? 网络能够通过联想来输出和输入模式最为相似的样本模式. 传感器输出:[外形,质地,重量]T 样本: 具体怎样实现联想记忆? 步 ...

人工智能之Hopfield神经网络（HNN）

人工智能之Hopfield神经网络（HNN）相关推荐

最新文章

热门文章