拉格朗日乘子法、极大似然估计、EM算法

基本概念：

拉格朗日乘子法和极大似然估计有什么关系？

拉格朗日乘子用于带约束的优化问题，极大似然估计用于最大化后验概率求参数问题。

极大似然和EM有什么关系？

极大似然估计适合求解不含隐变量的参数问题，而EM算法是用于求解含有隐变量的参数问题。

拉格朗日乘子法：

求z=f(x,y)z=f(x,y)z=f(x,y)在约束条件φ(x,y)=0\varphi(x,y)=0φ(x,y)=0与h(x,y)=0h(x,y)=0h(x,y)=0下的极值：

1、拉格朗日函数：
F(x,y,λ,μ)=f(x,y)+λφ(x,y)+μh(x,y)F(x,y,\lambda,\mu)=f(x,y)+\lambda \varphi(x,y)+\mu h(x,y) F(x,y,λ,μ)=f(x,y)+λφ(x,y)+μh(x,y)
2、求偏导等于0的方程组：
{Fx′=0Fy′=0Fφ′=0Fμ′=0\left\{ \begin{aligned} F^{'}_x=0 \\ F^{'}_y=0 \\ F^{'}_{\varphi}=0 \\ F^{'}_\mu=0 \\ \end{aligned} \right. ⎩⎨⎧Fx′=0Fy′=0Fφ′=0Fμ′=0

极大似然估计法：

在给定概率模型和一组相互独立的观测样本x1,x2,⋯,xnx_1,x_2,\cdots,x_nx1,x2,⋯,xn的基础上，求解使得似然函数L(θ)L(\theta)L(θ)：

1、写出似然函数：

连续型：
L(θ)=L(x1,x2,⋯,xn;θ)=∏i=1nf(xi∣θ)L(\theta)=L(x_1,x_2,\cdots,x_n;\theta)=\prod_{i=1}^{n}{f(x_i|\theta)} L(θ)=L(x1,x2,⋯,xn;θ)=i=1∏nf(xi∣θ)
离散型：
L(θ)=L(x1,x2,⋯,xn;θ)=∏i=1np(xi∣θ)L(\theta)=L(x_1,x_2,\cdots,x_n;\theta)=\prod_{i=1}^{n}{p(x_i|\theta)} L(θ)=L(x1,x2,⋯,xn;θ)=i=1∏np(xi∣θ)
2、取对数：

连续型：
ln[L(θ)]=ln[∏i=1nf(xi∣θ)]=∑i=1nln[f(xi∣θ)]ln[L(\theta)]=ln[\prod_{i=1}^{n}{f(x_i|\theta)}]=\sum_{i=1}^{n}{ln[f(x_i|\theta)]} ln[L(θ)]=ln[i=1∏nf(xi∣θ)]=i=1∑nln[f(xi∣θ)]
离散型：
ln[L(θ)]=ln[∏i=1np(xi∣θ)]=∑i=1nln[p(xi∣θ)]ln[L(\theta)]=ln[\prod_{i=1}^{n}{p(x_i|\theta)}]=\sum_{i=1}^{n}{ln[p(x_i|\theta)]} ln[L(θ)]=ln[i=1∏np(xi∣θ)]=i=1∑nln[p(xi∣θ)]

3、求θ=[θ1,θ2,⋯,θm]\theta=[\theta_1,\theta_2,\cdots,\theta_m]θ=[θ1,θ2,⋯,θm]的偏导数：
{∂ln(θ1,θ2,⋯,θm)∂θ1=0∂ln(θ1,θ2,⋯,θm)∂θ2=0⋯∂ln(θ1,θ2,⋯,θm)∂θm=0\left\{ \begin{aligned} \frac{\partial ln(\theta_1,\theta_2,\cdots,\theta_m)}{\partial \theta_1}=0 \\ \frac{\partial ln(\theta_1,\theta_2,\cdots,\theta_m)}{\partial \theta_2}=0 \\ \cdots \\ \frac{\partial ln(\theta_1,\theta_2,\cdots,\theta_m)}{\partial \theta_m}=0 \end{aligned} \right. ⎩⎨⎧∂θ1∂ln(θ1,θ2,⋯,θm)=0∂θ2∂ln(θ1,θ2,⋯,θm)=0⋯∂θm∂ln(θ1,θ2,⋯,θm)=0

EM算法：

隐变量指的是在事件发生时不知道的变量，例如抛硬币，两枚硬币的质量是不均匀的，不知道到每次取出的是哪一枚。

使用EM算法能解决隐变量问题。EM算法由求期望和求最值两步推导得来：

XXX:观测数据；ZZZ：隐变量；θ\thetaθ：待估计参数；
θ(t+1)=argmaxθ∫Zp(Z∣X,θ(t))log[p(X,Z∣θ(t))]dZ\theta^{(t+1)}=\mathop{argmax}\limits_{\theta} \int_Z{p(Z|X,\theta^{(t)})log[p(X,Z|\theta^{(t)})]}dZ θ(t+1)=θargmax∫Zp(Z∣X,θ(t))log[p(X,Z∣θ(t))]dZ
若是离散变量：
θ(t+1)=argmaxθ∑Z{∏i=1Np(zi∣xi,θ(t))log[∏i=1Np(xi,zi∣θ(t))]}\theta^{(t+1)}=\mathop{argmax}\limits_{\theta} \sum_{Z}\{ \prod_{i=1}^{N}{p(z_i|x_i,\theta^{(t)})log[\prod_{i=1}^{N}p(x_i,z_i|\theta^{(t)})]}\} θ(t+1)=θargmaxZ∑{i=1∏Np(zi∣xi,θ(t))log[i=1∏Np(xi,zi∣θ(t))]}

拉格朗日乘子法、极大似然估计、EM算法相关推荐

每天进步一点点《ML - 从极大似然到EM算法》
一:极大似然 1:概念引入极大似然参数估计是概率论中学习过的内容,就是预先定义概率分布模型,根据一堆的同概率分布的一堆样本数据去估计该概率模型中的未知参数. 举个例子:有很多西瓜x,我们可以得到每一 ...
RPCA的算法推导-增广拉格朗日乘子法- PPT讲解
大家好,今天我要讲的是RPCA,那么什么是RPCA呢,它又有什么作用呢,在这里我分了四个部分去讲,背景和意义,RPCA的研究内容,也就是算法的推导,RPCA在现实中的应用.在很多的具体问题中,我们可以 ...
一文详解从拉格朗日乘子法、KKT条件、对偶上升法到罚函数与增广Lagrangian乘子法再到ADMM算法（交替方向乘子法）
最近看了ADMM算法,发现这个算法需要用到许多不少前备知识,在搜索补齐这些知识的过程中感觉网上的资料与总结在零散的同时又不够清晰,在此本文对这一块的内容进行汇总,同时表达自己的一些理解. 目录拉格朗 ...
(转载)机器学习知识点(十五)从最大似然到EM算法浅解
从最大似然到EM算法浅解机器学习十大算法之一:EM算法.能评得上十大之一,让人听起来觉得挺NB的.什么是NB啊,我们一般说某个人很NB,是因为他能解决一些别人解决不了的问题.神为什么是神,因为神能做 ...
EM从最大似然到EM算法浅解
从最大似然到EM算法浅解 zouxy09@qq.com http://blog.csdn.net/zouxy09 机器学习十大算法之一:EM算法.能评得上十大之一,让人听起来觉得挺NB的.什么是NB啊 ...
贝叶斯网专题11：参数学习之极大似然估计
第一部分:贝叶斯网基础 1.1 信息论基础 1.2 贝叶斯网基本概念 1.3 变量独立性的图论分析第二部分:贝叶斯网推理 2.1 概率推理中的变量消元方法 2.2 团树传播算法 2.3 近似推理 2 ...
从最大似然到EM算法浅解
文章目录一.最大似然二.EM算法三.EM算法推导四.EM算法另一种理解五.EM 的另外一种证明方式六.EM的应用参考文献这是我见过的讲解EM算法最详细的文章,没有之一,本博末尾处有出处 ...
从最大似然到EM算法浅解 http://blog.csdn.net/zouxy09/article/details/8537620
1. EM blog的举例就是group 然后就是每个group的function很有效地串联所学的知识,看到的论文,所有的思考,都是有一定的逻辑关系,如何逐渐develop你的想法,都是有一定的源头 ...
最小二乘与极大似然估计
两者思想的差异最小二乘估计与极大似然估计都是用来样本值来估计真实值的,之所以需要估计,是因为用数学量化真实世界事物关系时总是存在误差. 我们尽管痛苦的承认了有不能解释的误差,但是我们依然想尽可能的让 ...