Hopfield网络和玻尔兹曼机对比，总结，以及受限玻尔兹曼机RBM的提出

7、Hopfield网络

特点：

（1）是一个简单的单层全连接神经网络；

（2）每个神经元和其他神经元是全连接的关系；

（3）在更新网络权重时，有异步工作方式：每次只更新一个神经元的权重，其他权重保持不变；和同步工作方式：所有神经元同时调整状态；

（4）Loss function是什么？（能量函数），能量函数的定义来自于李亚诺夫函数，用来刻画整个网络的能量状态，而且是个单调函数，这也是为什么Hopfield网络容易陷入到局部极小值的原因。

缺点：

（1）容易陷入局部最小值，得不到全局最优解；

8、随机网络（玻尔兹曼机）

特点：

（1）不是按照某种确定性的网络进行状态演化，而是按照某种概率分布决定其状态转移。因此有可能跳出局部极小值；

（2）什么是玻尔兹曼分布（吉布斯分布）？就是系统的状态概率分布。用来刻画系统在不同能量状态下的概率分布，在玻尔兹曼机中引入该分布的目的是：为了让网络能够逃离局部极小值；

（3）玻尔兹曼机中的神经元只有两种输出状态（0和1）；

（4）玻尔兹曼机的网络结构，介于Hopfield网络（神经元全连接）和BP神经网路（3层）之间；

（5） BM网络采用了与DHNN网络相同的能量函数描述网络的状态：

Hopfield网络和玻尔兹曼机对比，总结：

（1）Hopfield网络和玻尔兹曼机，有着不同的网络结构，前者是全连接网络，后者包含了三层（输入层、隐含层和输出层和BP神经网络有相似之处）

（2）Hopfield网络和玻尔兹曼机，有着相同的能量函数：任何两个神经元的状态之积乘上权重，之和。再加上神经元状态和bias之积；

（3）Hopfield网络和玻尔兹曼机，的训练方法不同，前者是按照衡量函数的梯度走的，而能量函数是个单调函数，所以容易陷入到局部极小值，后者是按照概率走的，通过引入玻尔兹曼分布，使得神经元的权重在更新时有了概率，从而具备了逃离局部极小值的能力。

（4）玻尔兹曼机的发明是为了解决Hopfield神经网络的伪吸引子的问题，因此把退火算法、玻尔兹曼分布和Hopfield神经网络结合在一起形成了玻尔兹曼机（随机神经网络）。

10、受限玻尔兹曼机RBM

背景：上一节我们详细的探讨了玻尔兹曼机，玻尔兹曼机的发明是为了解决Hopfield神经网络的伪吸引子的问题，因此把退火算法、玻尔兹曼分布和Hopfield神经网络结合在一起形成了玻尔兹曼机（随机神经网络）。通过前面几节我们知道玻尔兹曼机可以很好的解决Hopfield神经网络的伪吸引子的问题，但是带来的另外一个大问题就是计算量太大了，训练周期长，因此Hinton和Sejnowski于1986年提出的一种生成式随机神经网络(generative stochastic neuralnetwork)即受限玻尔兹曼机，其实受限玻尔兹曼机是在玻尔兹曼机的基础上通过Gibbs采样，进而提升了计算速度。

但是想要搞明白Gibbs采样不是一件容易的事，他需要很深的背景知识，想要理解Gibbs采样就需要理解MCMC和Metropolis算法，想要理解MCMC就需要理解马尔科夫链，想要理解马尔科夫链就需要理解马尔科夫过程。

我打算从最初的马尔科夫过程继续深入讲解，因为这些知识不仅仅这里使用到，在强化学习、自然语言处理都是经常使用的，搞明白他们很有必要，尤其马尔科夫过程，整个强化学习就是基于马尔科夫为基础的，因此深入理解他很有必要，而隐马尔可夫又是自然语言处理经常使用的，因此深入理解他们很有必要，从这里也可以看出，知识点并不是孤立的，他们都是有联系的，讲的简单点就是方法论，他们都是相通，因此大家学习时就要学会举一反三，触类旁通，然而想达到这样的地步，你必须深入理解他们。

Hopfield网络和玻尔兹曼机对比，总结，以及受限玻尔兹曼机RBM的提出相关推荐

【总结】关于玻尔兹曼机(BM)、受限玻尔兹曼机(RBM)、深度玻尔兹曼机(DBM)、深度置信网络(DBN)理论总结和代码实践
近期学习总结前言玻尔兹曼机(BM) 波尔兹曼分布推导过程吉布斯采样受限玻尔兹曼机(RBM) 能量函数 CD学习算法代码实现受限玻尔兹曼机深度玻尔兹曼机(DBM) 代码实现深度玻尔兹曼机深 ...
第11章受限玻尔兹曼机
序言 1. 内容介绍本章介绍深度学习算法-受限玻尔兹曼机,主要介绍受限玻尔兹曼机的原理.常见架构以及吉布斯分布与对比散度算法 2. 理论目标受限玻尔兹曼机原理受限玻尔兹曼机表示形式 ...
机器学习笔记之受限玻尔兹曼机(二)模型表示
机器学习笔记之受限玻尔兹曼机--模型表示引言回顾:玻尔兹曼分布玻尔兹曼机关于玻尔兹曼机的问题受限玻尔兹曼机引言上一节基于马尔可夫随机场介绍了玻尔兹曼分布,本节将介绍受限玻尔兹曼机的模型表 ...
受限玻尔兹曼机和深度置信网络
从玻尔兹曼机到深度置信网络本文仍处于草稿阶段,请慎重观看引言受限玻尔兹曼机(Restricted Boltzmann Machines, RBM)最初是在1986年由Paul Smolensky ...
DBN【深度置信网络】【受限玻尔兹曼机深层】详解
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功.本人在多年之前也曾接触过神经网络.本系列文章主要记录自己对深度神经网络的一些学习心得. 简要描述深度神经网络模型. 1. 自联想神经网络 ...
深度信念网络与受限玻尔兹曼机
本篇非常简要地介绍了深度信念网络的基本概念.文章先简要介绍了深度信念网络(包括其应用实例).接着分别讲述了:(1) 其基本组成结构--受限玻尔兹曼机的的基本情况,以及,(2) 这个基本结构如何组成 ...
从RBM（受限玻尔兹曼机）开始、到深度信念网络（DBN）再到自动编码器（AE）
从RBM(受限玻尔兹曼机)开始.到深度信念网络(DBN)再到自动编码器(AE) 目录
受限玻尔兹曼机定型实用指南-大桥之墩译
GefffreyHinton 多伦多大学计算机系内容: 译序 1. 介绍 2. 受限玻尔兹曼机和散度对比(Contrastive Divergence)概述 3. 使用 ...
lecture12-玻尔兹曼机和受限玻尔兹曼机
这是Hinton的第12课,结合前一课可以知道RBM是来自BM,而BM是来自Hopfield的,因为水平有限,是直译的,虽然有时候会看不懂,但是好歹不会曲解原来的本意,看的话:1.先看ppt:2.通读 ...

Hopfield网络和玻尔兹曼机对比，总结，以及受限玻尔兹曼机RBM的提出

Hopfield网络和玻尔兹曼机对比，总结，以及受限玻尔兹曼机RBM的提出相关推荐

最新文章

热门文章