HMM之Baum-Welch算法

注：本文中所有公式和思路来自于邹博先生的《机器学习升级版》，我只是为了加深记忆和理解写的本文。

前面介绍过了HHM模型结构和HMM基本问题中的概率计算问题，本文介绍HMM基本问题中的参数学习问题。

如果训练数据包括观测序列和状态序列，则HMM的学习非常简单，是监督学习，如果只有观测序列的话，那么HMM的学习是需要使用EM算法的，是非监督学习。

监督学习：

根据大数定理（频率的极限是概率），我们可以轻易的得出下边的这几个结论：

初始概率：

转移概率：

观测概率：

上边给出的上个结论可以直接从给定的数据中数出来，没有任何难度。

非监督学习：

我们回顾一下EM算法的框架吧：

所有的观测数据写成：O=（o1，o2...oT），所有隐数据写成：I=（i1，i2...iT），完全数据：（O，I）=（o1，o2..oT，i1，i2...iT），完全数据的对数似然函数是：lnP(O，I | λ)

假设λ~是HMM参数的当前估计值，λ是待估计的参数：

我们回顾一下EM的过程：首先需要一个预先给定的λ~参数，然后带入P(I | O, λ~)，然后将P(I | O, λ~)带入Q（λ，λ~）中，对对数似然函数lnP(O，I | λ)求期望，找到能使似然函数期望最大的新的λ~，并将新的λ~再次带回P(I | O, λ~)，不断重复这个过程。

我们在前一篇文章中提到过暴力求解，并得到了最终的求解公式：

Q()函数可以写成：

既然是要极大化Q，求得参数π、A、B

由于这三个参数分别在这三个项中，那么我们就可以分别极大化。

极大化初始概率：

因为πi满足加和为1，那么我们就可以利用拉格朗日乘子法：

接着对π求偏导：

接着我们可以对i求和：

最后将γ代回去得：

注意：这个γ不是超参数的γ，而是我们之前求过的这么个小东西：

极大化转移概率和观测概率：

使用拉格朗日乘子法：

同理可得：

这几个结果就是可以直接写代码的，学习问题解决了，就剩最后一个预测问题了，下一篇文章就会介绍Viterbi算法。

HMM之Baum-Welch算法相关推荐

隐马尔可夫模型（Baum Welch算法与Viterbi算法）
1.Baum Welch算法就是EM算法,用于求解隐马尔可夫模型的Learing问题 2.隐马尔可夫模型的Decoding问题是指给定X与λ,求使得概率最大的隐状态序列 3.Decoding问题采取V ...
HMM模型和Viterbi算法
一.隐含马尔可夫模型(Hidden Markov Model) 1.简介隐含马尔可夫模型并不是俄罗斯数学家马尔可夫发明的,而是美国数学家鲍姆提出的,隐含马尔可夫模型的训练方法(鲍姆-韦尔奇算法)也是 ...
一文读懂 HMM 模型和 Viterbi 算法
隐含马尔可夫模型(Hidden Markov Model) 隐含马尔可夫模型并不是俄罗斯数学家马尔可夫发明的,而是美国数学家鲍姆提出的,隐含马尔可夫模型的训练方法(鲍姆-韦尔奇算法)也是以他名字命名的 ...
从决策树学习谈到贝叶斯分类算法、EM、HMM - 结构之法算法之道
转载自:http://scm.zoomquiet.io/data/20121220000040/index.html 第一篇:从决策树学习谈到贝叶斯分类算法.EM.HMM (Machine Learn ...
HMM模型及相关算法
HMM模型及相关算法写在前面:本文主要参考了刘建平Pinard老师的博客,做了一定程度的归纳,其中也有一些自己的理解,包括图和公式,希望对大家学习有所帮助. 一.HMM定义和前置知识 1.条件独立的 ...
基于Hmm模型和Viterbi算法的中文分词和词性标注
使用 python 实现基于Hmm模型和Viterbi算法的中文分词及词性标注:使用最大概率算法进行优化.最终效果:人民日报语料:分词(F1:96.189%):词性标注(F1:97.934%) 完 ...
隐马尔科夫模型(HMM)的无监督学习算法java实现（baum-welch迭代求解），包括串行以及并行实现
HMM的原理就不说了,这里主要说算法的实现. 实际实现起来并不是很困难,前提是你仔细看过hmm的原理,然后很多实现就照着公式写出对应的代码,比如前向算法,后向算法,参数更新都是有明确的公式的,只需要对 ...
MATLAB中MVDR谱估计式,基于Welch算法的功率谱估计的实现
第 25 卷第 3 期 2007 年 5 月北京工商大学学报(自然科学版) Journal of Beijing Technology and Business University(Natura ...
baum welch java_Baum-Welch算法(EM算法)对HMM模型的训练
Baum-Welch算法就是EM算法,所以首先给出EM算法的Q函数 \[\sum_zP(Z|Y,\theta')\log P(Y,Z|\theta) \] 换成HMM里面的记号便于理解 \[Q(\la ...
baum welch java_HMM的Baum-Welch算法和Viterbi算法公式推导细节（转载）
前言在上一篇博文中,我简单地介绍了隐马尔科夫模型HMM,并且重点介绍了HMM的三个问题中的第一个,即概率计算问题.首先回顾一下这三个问题都是什么以及解决每个问题的主流算法: 概率计算问题即模型评价问 ...

HMM之Baum-Welch算法

HMM之Baum-Welch算法相关推荐

最新文章

热门文章