【机器学习】EM最大期望算法

2024-06-06 19:33:37

EM, ExpectationMaximization Algorithm, 期望最大化算法。一种迭代算法，用于含有隐变量(hidden variable)的概率参数模型的最大似然估计或极大后验概率估计，其概率模型依赖于无法观测的隐变量。

经常用在ML与计算机视觉的数据聚类领域。

EM应用：GMM混合高斯模型、聚类、HMM隐马尔科夫模型等。

一、Jesen不等式

对于凸函数（对于所有实数x，有f’’(x)≥0）。当x时向量时，如果其hessian矩阵H是半正定的（H≥0），那么f是凸函数。如果f’’(x)＞0或者H＞0，那么f是严格凸函数。

关于Jesen不等式：如果f是凸函数，x是随机变量，那么有

E[f(x)]≥ f(Ex)

图形化的表示方法就是：

二、EM原理

最大期望个算法经过两个步骤交替进行计算

step1: 计算期望E，利用对隐藏变量的现有估计值，计算其最大似然估计值。

step2: 最大化M，最大化在E步上求得的最大似然值来计算参数值。

（M步上找到的参数估计值被用于下一个E步计算中，这个过程不断交替进行）

三、EM算法流程

1. 初始化分布参数

2. 重复直到收敛：

E步骤：估计位置参数的期望值，给出当前的参数估计

M步骤：重新估计分布参数，以使得数据似然性最大，给出位置变量的期望估计。

EM是一种解决存在隐含变量优化问题的有效方法，既然不能直接最大化L(o)，可以不断建立l的下界（E步），然后优化下界（M步）。

转载于:https://www.cnblogs.com/DianaCody/p/5425625.html

【机器学习】EM最大期望算法相关推荐

人工智障学习笔记——机器学习(9)最大期望算法
一.概念最大期望算法,也就是著名的em算法,他起源于一条dog 没错,就是这个好吧不扯蛋了,em算法(Expectation Maximization Algorithm,又译期望最大化算法),是 ...
最大化期望算法（EM）详解
我们知道最大似然估计的根本目的是根据抽样的到的样本(即数据),反推出最有可能的分布参数(即模型),这是一个非常典型的机器学习的思想.所以在很多领域最大似然估计有着极为广泛的应用.然而,如果已知的数据中 ...
最大期望算法（EM算法）
注:文章出处:https://www.cnblogs.com/yahokuma/p/3794905.html 算法定义最大期望算法(Exception Maximization Algorithm, ...
EM（期望最大化）聚类算法详解
参考:https://blog.csdn.net/eternity1118_/article/details/51516497 一.简介之前介绍过K-Means聚类,尽管这个算法很常用,但可能会遇到 ...
理解最大期望算法EM的三层境界(1)
Expectation Maximization(EM) 不要强求不可知,要从已知推未知在刚开始学习时,我觉得EM算法真的难,反反复复就是看不懂.我一开始找到的学习资料上来就是一大堆算法公式推导.我 ...
百面机器学习—7.K均值算法、EM算法与高斯混合模型要点总结
文章目录一.总结K均值算法步骤二.如何合理选择K值? 三.K均值算法的优缺点是什么? 四.如何对K均值算法进行调优? 五.EM算法解决什么问题? 六.EM算法流程是什么? 六.EM算法能保证收敛嘛 ...
高斯混合算法（GMM）与最大期望算法（EM）的推导
由于EM算法的推导常使用GMM算法来举例子,故下面先介绍高斯混合算法一般的高斯算法(单个高斯) 上式是单个高斯分布,对于单个高斯分布,给定一组观测数据,求参数时通常用MLE(极大似然估计)就可以了, ...
机器学习 EM算法从极大似然法谈起
极大似然法 VS EM算法 EM(Expectation Maximization)算法是复杂化的极大似然法(Maximum Likelihood). 极大似然法问题中,所有观测值属于同一分布,需要估 ...
基于Spark的机器学习实践 (九) - 聚类算法
0 相关源码 1 k-平均算法(k-means clustering)概述 1.1 回顾无监督学习 ◆ 分类.回归都属于监督学习 ◆ 无监督学习是不需要用户去指定标签的 ◆ 而我们看到的分类.回归算法 ...

最新文章

热门文章