最大似然与EM算法理解

似然函数：在已经抽到这一组样本X的条件下，估计参数θ的值，θ代表指定的分布参数。

最大似然估计可看作是一个反推，通常根据已知条件推算结果，而最大似然估计是已知结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值。

极大似然估计，概率论在统计学的应用，参数估计的方法之一。已知某个随机样本满足某种概率分布(即已知样本符合某种分布)，但具体参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，把这个参数作为估计的真实值。

求最大似然函数估计值的一般步骤：

（1）写出似然函数；

（2）对似然函数取对数，并整理；

（3）求导数，令导数为0，得到似然方程；

（4）解似然方程，得到的参数即为所求；

EM算法：样本的分布未知，相比似然函数多了一个位置参数。

期望最大算法是一种从不完全数据或有数据丢失的数据集（存在隐含变量）中求解概率模型参数的最大似然估计方法。

θ代表分布参数，z是可能的分布，Q为z的概率密度函数

Jensen不等式：设f是定义域为实数的函数，如果对于所有的实数x，f(x)的二次导数大于等于0，那么f是凸函数。当x是向量时，如果其hessian矩阵H是半正定的，那么f是凸函数。如果只大于0，不等于0，那么称f是严格凸函数。

如果f是凸函数，X是随机变量，那么：E[f(X)]>=f(E[X])

如果f是严格凸函数，当且仅当X是常量时，上式取等号。

Jensen不等式应用于凹函数时，不等号方向反向。

log函数的二阶导小于0，为凹函数。

此处较难理解，根据如下

Lazy Statistician规则

K-Means中的EM思想：

目的是将样本分成k个类，就是求每个样例x的隐含类别y，利用隐含类别将x归类。由于事先不知道类别y，对每个样例假定一个y，使用样本的极大似然估计度量，这里就是x和y的联合分布P(x,y)。如果找到的y能够使P(x,y)最大，那么y就是样例x的最佳类别了，x顺手就聚类了。

E步就是估计隐含类别y的期望值，M步调整其他参数使得在给定类别y的情况下，极大似然估计P(x,y)能够达到极大值。在其他参数确定的情况下，重新估计y，直至收敛。

参考：

https://blog.csdn.net/zouxy09/article/details/8537620

https://www.cnblogs.com/jerrylead/archive/2011/04/06/2006924.html(EM推导)

https://www.cnblogs.com/jerrylead/archive/2011/04/06/2006910.html

最大似然与EM算法理解相关推荐

(转载)机器学习知识点(十五)从最大似然到EM算法浅解
从最大似然到EM算法浅解机器学习十大算法之一:EM算法.能评得上十大之一,让人听起来觉得挺NB的.什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题.神为什么是神,因为神能做 ...
EM从最大似然到EM算法浅解
从最大似然到EM算法浅解 zouxy09@qq.com http://blog.csdn.net/zouxy09 机器学习十大算法之一:EM算法.能评得上十大之一,让人听起来觉得挺NB的.什么是NB啊 ...
机器学习 EM算法理解
文章目录前言极大似然问题描述参数估计极大似然估计极大似然应用极小化代价函数 EM算法 EM算法推导基础知识凸函数 Jensen不等式期望推导过程算法流程另一种呢理解 EM算法 ...
从最大似然到EM算法浅解 http://blog.csdn.net/zouxy09/article/details/8537620
1. EM blog的举例就是group 然后就是每个group的function很有效地串联所学的知识,看到的论文,所有的思考,都是有一定的逻辑关系,如何逐渐develop你的想法,都是有一定的源头 ...
一个算法对于某个输入的循环次数是可以事先估计出来的_结合各路博客的EM算法理解...
本文主要是记录个人对EM算法的理解,原料都是基于各路博客,这里对原文博主表示感谢. Part 1: 第一个博客来自于 https://www.jianshu.com/p/1121509ac1dc .基 ...
先验、后验概率，似然，EM算法，ELBO(Evidence Lower Bound)，多变量条件概率公式(多变量贝叶斯公式)
Probability 先验概率.后验概率.似然概率在学习朴素贝叶斯(Naive Bayes)的时候,总是会混淆先验概率.后验概率和似然概率.通过这篇博客,我将对这三个概率的定义进行详细阐释,以更好 ...
从最大似然到EM算法浅解
文章目录一.最大似然二.EM算法三.EM算法推导四.EM算法另一种理解五.EM 的另外一种证明方式六.EM的应用参考文献这是我见过的讲解EM算法最详细的文章,没有之一,本博末尾处有出处 ...
每天进步一点点《ML - 从极大似然到EM算法》
一:极大似然 1:概念引入极大似然参数估计是概率论中学习过的内容,就是预先定义概率分布模型,根据一堆的同概率分布的一堆样本数据去估计该概率模型中的未知参数. 举个例子:有很多西瓜x,我们可以得到每一 ...
学习笔记三：GMM模型以及EM算法理解及代码实现
第三章 GMM模型以及EM算法 1.潜变量模型使用潜变量解释观测变量的数学模型,称之为潜变量模型潜变量模型将不完全数据(观测数据)的边缘分布转换成容易处理的完全数据(观测数据+潜变量)的联合分布. ...

最大似然与EM算法理解

最大似然与EM算法理解相关推荐

最新文章

热门文章