最近看一些计算机视觉和图形学类的文章，经常发现一个被称为Gaussian mixture model(GMM)的技术，应用在图像图形处理的算法中。出于好奇，我最近阅读了GMM的文献[1]。基于该文献，我将在这篇博客介绍一下GMM的一些核心思想以及比较成功的应用。

1. 简介

GMM是一个参数概率密度函数，由加权的分块高斯密度累加和表示。GMM通常被用来表示一个概率密度分布的参数模型，以提供建立特征度量。GMM的参数由训练数据获得，通过迭代计算Expectation-Maximization(EM,最大期望)算法或Maximum A Posteriori estimation(MAP,最大后验估计)算法来实现训练。

这里我们给出GMM的数学模型：

x是一个D维的连续向量，在应用中可以被看做度量或者特征；M表示分块的数量，wi表示对应M的权重；表示分块高斯密度。每一个分块的密度是一个D个变量的高斯函数：

为平均向量，为协方差矩阵，混合权重满足：。这里给出参数形式, 对应不同的分块M:

这里的协方差矩阵可以是满秩的，或者限制在主对角线上。另外，参数能够被共享或者绑定在不同的分块，取决于不同的应用需求。这里以语音识别为例，来说明GMM的拟合能力：

如上图所示，第一行为一段自然的语音输入。这段语音不可避免的会受到一些噪声的影响，但是整体分布是平滑的。使用单峰值峰Gaussian模型，显然，会造成严重的信息损失。vector quantize (VQ) 提供的是离散拟合。GMM相对来说更像是二者结合，结果会更加准确。

2. 实例

这里使用一个比较容易理解的实例来理解GMM的使用场景，即图像分割。我们以文献[2]为例，来说明GMM在图像中是如何实现像素级的聚类以及分割的。

这里用一个模型来说明：

I(x,y)表示一个图像中在像素(x,y)的颜色, P表示为基于像素颜色的概率判定，对于不同的分块，或者不同的，都会对应一个概率结果。相关参数还会根据区域进行重新估计：

这两步就共同组成了EM方法解GMM的E-step和M-step。感觉上就是根据该模型进行迭代计算，就能得到最终面向所有像素的概率分布。那么根据这个概率分布，对应的图像分割结果就能够被同时获得。在文献[2]中为了做后续的应用，做了一些调整，但是整体上还是按照上述思路来做。下图展示一个分割的结果。

可以看到，图像中相对应的元素被聚类，实现比较清晰的分割结果。

3. 总结

GMM是一个拟合能力不错的概率预测工具，能够对数据集的分布进行基于度量的统计分析，并得到一个基于概率的计算结果。该工具可以用于识别，分割，聚类等工作，具有很好的扩展性。

Reference

[1] Reynolds D A. Gaussian mixture models[J]. Encyclopedia of biometrics, 2009, 741(659-663).

[2] Tai Y W, Jia J, Tang C K. Local color transfer via probabilistic segmentation by expectation-maximization[C] CVPR, 2005, 1: 747-754.

Gaussian Mixture Model：混合高斯模型介绍相关推荐

混合高斯模型介绍以及应用
混合高斯模型 1. 单一的高斯模型(Gaussian single model, GSM) 2. 混合高斯模型(GMM模型) 2.1 混合高斯模型直观上的理解和描述 2.2 极大似然估计(Maximu ...
语音识别学习日志 2019-7-14 语音识别基础知识准备2 {EM算法与混合高斯模型(Gaussian mixture model, GMM)}
https://blog.csdn.net/lin_limin/article/details/81048411会对GMM和EM做详细介绍本文参考: http://www.ituring.com.c ...
聚类(1)——混合高斯模型 Gaussian Mixture Model
聚类系列: 聚类(序)----监督学习与无监督学习聚类(1)----混合高斯模型 Gaussian Mixture Model 聚类(2)----层次聚类 Hierarchical Clusteri ...
混合高斯模型（Gaussian Mixture Model,GMM）
高斯混合聚类和k 均值算法(k-means)都属于原型聚类,但与k均值用原型向量来刻画聚类结构不同,高斯混合聚类采用概率模型来表达聚类原型. 一.混合模型(Mixture Model) 混合模型是一个 ...
详解EM算法与混合高斯模型(Gaussian mixture model, GMM)
最近在看晓川老(shi)师(shu)的博士论文,接触了混合高斯模型(Gaussian mixture model, GMM)和EM(Expectation Maximization)算法,不禁被论文中 ...
一维(多维)高斯模型（One(Multi)-dimensional Gaussian Model）高斯混合模型GMM（Gaussian Mixture Model）
一维高斯模型(One-dimensional Gaussian Model) 若随机变量X服从一个数学期望为,标准方差为的高斯分布,记为: x~N(,). 则概率密度函数为: 高斯分布的期望值决定了其 ...
高斯混合模型Gaussian Mixture Model (GMM)——通过增加 Model 的个数，我们可以任意地逼近任何连续的概率密分布...
从几何上讲,单高斯分布模型在二维空间应该近似于椭圆,在三维空间上近似于椭球.遗憾的是在很多分类问题中,属于同一类别的样本点并不满足"椭圆"分布的特性.这就引入了高斯混合模型.--可 ...
高斯-赛得尔迭代式 c++_高斯混合模型(Gaussian Mixture Model)与EM算法原理(一)
高斯混合模型(Gaussian Mixture Model)是机器学习中一种常用的聚类算法,本文介绍了其原理,并推导了其参数估计的过程.主要参考Christopher M. Bishop的<Pa ...
高斯混合模型--GMM（Gaussian Mixture Model）
参考:http://blog.sina.com.cn/s/blog_54d460e40101ec00.html 概率指事件随机发生的机率,对于均匀分布函数,概率密度等于一段区间(事件的取值范围)的概率 ...

Gaussian Mixture Model：混合高斯模型介绍

1. 简介

2. 实例

3. 总结

Reference

Gaussian Mixture Model：混合高斯模型介绍相关推荐

最新文章

热门文章