DBN(Deep Belief Network)是深度学习中的一个重要模型，受限波尔兹曼机(RBM: Restricted Boltzmann Machine)则是DBN的主要组成部件。而RBM的含义和训练比较难以理解。这里试图以直观明白的方式来解释RBM的模型及学习算法。

RBM模型

RBM是一个由神经元组成的两层模型，分别为显式层和隐藏层，层次之间全链接，层次之内无链接，“受限”的限制就是层次之间的神经元之间无链接。如图1所示。

图1 RBM模型

用vv和hh来代表显式层和隐藏层，它们之间的链接上都有权重，可以使用一个矩阵WW来表示。WijW_{ij}表示从显式层神经元viv_i到隐藏层神经元hih_i之间的边上的权重。两个层次都有一个对应的偏移向量，用aa和bb来表示。
当权重和偏移都给定的时候，以显式层为输入，隐藏层为输出，就可以建立一个输入与输出之间的关系。RBM是深度学习领域中的一个简单的生成式(Generative)训练模型。训练的目的是，把训练样本从输入层输入，可以在输出层获得维度不同的输出向量，而这些输出向量可以被视为从输入样本中提取的特征，反映了样本集中某些更“本质”的东西。
我们用viv_i和hjh_j代表显式层上第ii个神经元和隐藏层上第jj个神经元的取值。按照模型的描述，给定一个输入向量vv，输出层神经元jj的值为1 的概率由以下式子给出。

P(hj=1|v)=σ(bj+Σmi=1Wijvi)

P(h_j = 1 | v) = \sigma(b_j + \Sigma_{i=1}^mW_{ij}v_i)其中， σ\sigma是一个取值区间为 [0,1][0, 1]的函数。
同样，在输出层给定的情况下。

P(vi=1|h)=σ(ai+Σnj=1Wijhj)

P(v_i = 1 | h) = \sigma(a_i + \Sigma_{j=1}^nW_{ij}h_j)把条件概率从神经元的取值提升到层次对应的向量的取值，可以有以下式子。

P(h|v)=Πnj=1P(hj|v)

P(h|v)=\Pi_{j=1}^nP(h_j|v)

P(v|h)=Πmi=1P(vi|h)

P(v|h)=\Pi_{i=1}^mP(v_i|h)根据概率论中的原理，在条件概率计算方法已知的情况下，可以计算 vv和hh的联合概率。为此，需要定义一个能量函数。

E(v,h)=−Σiaivi−Σjbjhj−ΣiΣjviWijhj

E(v, h)=-\Sigma_ia_iv_i-\Sigma_jb_jh_j-\Sigma_i\Sigma_jv_iW_{ij}h_j输入层向量 vv和输出层向量hh之间的联合概率分布为

P(v,h)=1Ze−E(v,h)

P(v,h)=\frac{1}{Z}e^{-E(v,h)} ZZ是所有格局的概率之和，也即

Z=ΣvΣhe−E(v,h)

Z=\Sigma_v\Sigma_he^{-E(v,h)}而对于输入层而言，在模型的参数都给定的情况下，输入层中向量的分布也是确定的，由下面式子给出。

P(v)=1ZΣhe−E(v,h)

P(v)=\frac{1}{Z}\Sigma_he^{-E(v,h)}
RBM学习算法的目的就是，给定一个训练样本集合，在学习的过程中不断调整模型中的参数，从而使得从模型中计算出的输入层向量的分布与训练样本集合中的尽量一致，而此时输出层向量的分布，就是从输入样本集中提取的特征。

RBM学习算法

针对一个训练样本集合VV，学习算法需要调整模型中的参数，使得参数所决定的输入向量的分布与训练集合VV最接近，使用数学式子描述如下。

arg(W,a,b) max(Πv∈VP(v))

arg_{(W,a,b)}\ max(\Pi_{v\in V}P(v))也就是选取适当的 W,a,bW,a,b，使得训练样本集中的样本具有最大的概率。
学习过程采用了CD(Contrastive Divergence)学习算法，每次只取一个学习样本的叫做CD-1算法，描述如下。

从训练样本集VV中取出一个样本vv，按照公式，计算出各个隐藏神经元的取值概率，然后按照这个概率分布，采样出一个输出向量hh。
计算出vv和hh的点乘积，称之为正梯度。
从hh出发，计算输入向量的分布情况。然后从输入向量分布中采样出v′v'。再次计算输出向量的分布，从中采样出h′h'。
计算出v′v'和h′h'的点乘积，称之为负梯度。
更新权重，ΔW=ϵ(vhT−v′h′T)\Delta W=\epsilon(vh^T-v'h'^T)。
更新偏移aa和bb。Δa=ϵ(v−v′),Δb=ϵ(h−h′)。\Delta a=\epsilon(v-v'), \Delta b=\epsilon(h-h')。

受限波尔兹曼(Boltzmann)机简介相关推荐

DL：受限波尔兹曼机（RBM）能量模型
受限波尔兹曼机(RBM)能量模型在学习Hinton的stack autoencoder算法(论文 Reducing the Dimensionality of Data with Neural Ne ...
受限Boltzmann机详解
受限Boltzmann机 1. 马尔科夫过程随机过程:设T是一个无限实数集,我们把依赖于参数t∈T的一族随机变量称为随机过程,记作{X(t),t∈T} 马尔科夫性:随机过程中的随机变量将来的取值只与 ...
深度学习（八）RBM受限波尔兹曼机学习-未完待续
RBM受限波尔兹曼机学习原文地址: 作者:hjimce [python] view plain copy #coding=utf-8 import timeit try: import PIL.Im ...
神经网络 | 受限波尔兹曼机（附源代码）
===================================================== github:https://github.com/MichaelBeechan CSDN: ...
Boltzmann机详解
基于热力学的随机型神经网络–Boltzmann机 1. 模拟退火算法我们知道,Hopfield神经网络拥有联想记忆的能力,这也是对生物神经网络的一种模拟.但是,Hopfield神经网络也和BP神经网 ...
机器学习之Boltzmann 机算法
Boltzmann 机也称为模拟退火算法,它是一种无监督网络.该算法和BP算法都是神经网络家族中的核心算法,这两个算法构成了后来深度学习算法的框架基础.该网络最早来源于对退火过程的一种模拟,使用了著名 ...
戴尔移动工作站 Precision7740拆机简介（4个 M.2固态）
戴尔移动工作站 Precision7740拆机简介(4个 M.2固态) 视频一直上传失败,有兴趣的点击看优酷接口说明 ①:使用说明书PDF文档点击这里下载查看: ②:precision7740拆机报告 ...
戴尔移动工作站 Precision7540拆机简介（2个 M.2 2280+1个2.5英寸）
戴尔移动工作站 Precision7540拆机简介(2个 M.2 2280+1个2.5英寸) 视频一直上传失败,有兴趣的点击看优酷接口说明 ①:使用说明书PDF文档点击这里下载查看: ②:precis ...
《人工神经网络原理》读书笔记（六）-Boltzmann机
全部笔记的汇总贴:<人工神经网络原理>-读书笔记汇总一.随机型神经网络的提出 BP和Hopfield网络陷入局部最小点的原因网络误差或能量函数构成了含有多个极小点的非线性超曲面: 网络 ...

受限波尔兹曼(Boltzmann)机简介

RBM模型

RBM学习算法

受限波尔兹曼(Boltzmann)机简介相关推荐

最新文章

热门文章