2-GMM-HMMs语音识别系统-训练篇
本文记录在传统的语音识别中,训练GMM-HMMs声学模型过程中的公式推导过程。
Outline
- GMM - 混合高斯模型
- HMM – 隐马尔科夫模型
- Forward-Backward Algorithm – 前向后向算法
首先假设这里的训练数据,都做好了音素层面标记的(Label),即utterance的音素边界是已知的。这样做是为了更好地说明和对应我们的HMM建模单元(monophone)。后面会介绍Embedded Training,训练数据只需要语音+对应utterance的标记就行了。
1.GMM - 混合高斯模型
GMM表达式:
x代表一帧语音对应的特征参数值,cjm,μjm,Σjm分别为为第j个状态的第m个高斯的混合系数(mixing parameters),均值(mean),方差(variance),bj(x)则为语音特征参数x属于状态j的概率。混合高斯模型,类似k均值聚类(k-means clustering)算法,属于一种迭代软聚类(soft clustering)算法。理论上,混合高斯模型能够表示特征空间上任何概率分布。混合高斯模型的参数可以通过EM算法训练得到,分Expectation-step、Maximization-step。
2.HMM – 隐马尔科夫模型
隐马尔科夫模型,是在马尔科夫链(Markov chain)的基础上,增加了观测事件(observed events);即把马尔科夫链原本可见的状态序列隐藏起来,通过一个可观测的显层来推断隐层的状态信息。其中,隐层映射到显层通过发射概率(emission probability)或观测概率(observation probability)来计算,隐层状态之间的转移通过转移概率(transition probability)获得。下图是一个HMM结构:
这也是在语音识别中常用的一种隐马尔科夫模型结构,也称为Bakis模型。一般我们对每一个音素建立一个HMM,其中包括三个emitting state,一个start state(non-emitting )和一个end state(non-emitting )。HMM的数学形式为:
所以,对于一个**给定结构的**HMM,我们需要通过训练获得它的A、B矩阵,即求解emission probability和transition probability。而在GMM-HMMs中,GMM作为HMM中的bj(ot),即发射概率。下节则具体列出GMM-HMMs的推导公式。
3.Forward-Backward Algorithm – 前向后向算法
(一大波公式来袭!)
在GMM-HMMs的传统语音识别中,GMM决定了隐马尔科夫模型中状态与输入语音帧之间的符合情况,和HMM用来处理在时间轴上的声学可变性(自跳转)。训练HMM需要用到Forward-backward算法(Baum-Welch算法),本质上是一种EM算法。
图为部分的状态-时间篱笆网络,为方便理解下面前向、后向概率。
3.1前向概率(The Forward Probability)
前向概率αt(j)代表t时刻处于状态i,且之前的观测序列为x1,⋯,xt的概率,即
注:sI=initial state, sE=final state
3.2后向概率(The Backward Probability)
后向概率βt(j)是 已知t时刻处于状态j,输出之后的观测序列为xt+1,⋯,xT的概率,即
3.3EM algorithm for single-Gaussian /HMM
EM算法训练single Gaussian-HMMs,在E-step计算Q函数中固定的数据依赖参数γt(j)(for GMM),ξt(i,j)(for HMM transition);在M-step更新GMM,HMM模型参数。这里可能有点misnomer,因为这里并没有很明显的体现出expectation maximization的过程,是因为前人已经帮你计算出来了。具体怎么确定依赖参数,和如何重估出模型参数,可参看上一篇博客《EM算法和Baum Welch算法》。本文直接给出过程结果。
首先给出在E-step需要计算的依赖参数,状态占用概率(The State Occupation Probability)γt(j)是在给定观测序列X和模型参数λ下,在时刻t处于状态j的概率。
和ξt(i,j)是在给定观测序列X和模型参数λ下,在时刻t处于状态j,时刻t+1处于状态j的概率
然后,EM算法的整体过程为选定一个flat-start(训练数据的均值、方差作为GMM初始均值和方差)或者K-means,和将HMM的forward和self-loop初始概率设置为0.75、0.25。具体如下:
E-step:
For all time-state pairs
1. 递归计算前向、后向概率:αt(j),βt(j)
2. 计算the State Occupation Probability γt(j,m)和ξt(i,j)
M-step:
基于γt(j)和ξt(i,j),重估single-Gaussian/HMM的均值、方差和转移概率:
3.4EM algorithm for Gaussian Mixture Model/HMM
进一步拓展到语料库(a corpus of utterances ),GMM作为HMM观测PDF。
E-step:
for all time-state pairs
1. 递归计算前向、后向概率:αrt(j),βrt(j)
2. 计算the component-state occupation probabilities γrt(j,m)和ξrt(i,j)
M-step:
基于γrt(j,m)和ξrt(i,j),重估GMM/HMMs的均值、方差、混合系数和转移概率:
这样迭代至收敛,就得到GMM-HMMs所有参数了。当然,如果我们建模单元是Triphone(三音素),那么就需要进行一系列优化,以解决训练数据稀疏性问题。
转载于:https://www.cnblogs.com/vikYao/p/6818026.html
2-GMM-HMMs语音识别系统-训练篇相关推荐
- 1-GMM-HMMs语音识别系统-框架篇
本文主要对基于GMM/HMMs的传统语音识别系统做一个整体介绍. Outline: 识别原理 统计学模型 系统框架 首先需要说明本文讨论的对象是连续语音识别(Continuous Speech Rec ...
- 语音识别维特比解码_3-GMM-HMMs语音识别系统-解码篇
本文主要描述基于GMM-HMMs传统语音识别的解码过程. Outline: Viterbi decoding Cross-word decoding Beam search 1.Viterbi dec ...
- 语音识别入门第五节:基于GMM-HMM的语音识别系统
目录 基于孤立词的GMM-HMM语音识别系统 训练 解码 基于单音素的GMM-HMM语音识别系统 音素/词典 训练 解码 基于三音素的GMM-HMM语音识别系统 三音素 决策树 基于孤立词的GMM-H ...
- PocketSphinx语音识别系统语言模型的训练和声学模型的改进
PocketSphinx语音识别系统语言模型的训练和声学模型的改进 zouxy09@qq.com http://blog.csdn.net/zouxy09 关于语音识别的基础知识和sphinx的知识, ...
- [转]PocketSphinx语音识别系统语言模型的训练和声学模型的改进
PocketSphinx语音识别系统语言模型的训练和声学模型的改进 zouxy09@qq.com http://blog.csdn.net/zouxy09 关于语音识别的基础知识和sphinx的知识, ...
- AI大语音(七)——基于GMM的0-9语音识别系统(深度解析)
本文来自公众号"AI大道理". 这里既有AI,又有生活大道理,无数渺小的思考填满了一生. 1 系统概要 孤立词识别:语音中只包含一个单词的英文识别 识别对象:0-9以及o的英文语音 ...
- PocketSphinx语音识别系统声学模型的训练与使用
PocketSphinx语音识别系统声学模型的训练与使用 zouxy09@qq.com http://blog.csdn.net/zouxy09 声学模型主要用于计算语音特征和每个发音模板之间的似然度 ...
- 用 Python 训练自己的语音识别系统,这波操作稳了
作者 | 李秋键 责编 | Carol 封图 | CSDN 付费下载自视觉中国 近几年来语音识别技术得到了迅速发展,从手机中的Siri语音智能助手.微软的小娜以及各种平台的智能音箱等等,各种语音识别的 ...
- pocketsphinx 模型库_[转] PocketSphinx语音识别系统声学模型的训练与使用
PocketSphinx语音识别系统声学模型的训练与使用 声学模型主要用于计算语音特征和每个发音模板之间的似然度.目的是为每个声学单元建立一套模型参数(通过不断地学习和改进得到最优的,也就是概率最大的 ...
最新文章
- 刚刚引来985大学建校区,这座城市再牵手世界名校办学!
- 以下选项不是python打开方式的是-以下选项中,不是Python对文件的打开模式的是...
- 【Python基础】在pandas中利用hdf5高效存储数据
- CodeForces - 1486D Max Median(二分+最长连续子段和)
- 无ARP欺骗嗅探技术
- ipad分屏_iPad如何分屏及常见问题
- 第五章---引入复制后的数据库架构
- jQuery Mobile中选择select的data-*选项
- jquery对象与js对象的相互转换
- 使用opencv的nonfree模块
- 黑群晖教程:(二)黑群晖安装DSM6.1x(图文)
- 自适应滤波器(Adaptive Filter)(1)--简介
- Hadoop 与 HBase 版本对应
- rosbag使用方法汇总
- 读《天才在左 疯子在右》有感
- SPSS数据分析中出现的常见问题总结
- html如何添加web字体,html中字体如何实现加粗(方法介绍)_WEB前端开发,html,字体加粗...
- android硬件加速 setLayerType
- 卡塔兰数用于求解不同形态的二叉树的数目,题目选自CS61A2021 LAB9 Q3: Number of Trees
- #Reading Paper# 【序列推荐综述】IJCAI‘19:Sequential Recommender Systems: Challenges, Progress and Prospects