7.1参数分布估计

分布估计问题：从观察变量出发，估计一个随机变量的概率密度。

参数分布估计：从一族概率密度 $p_x(y)$ （x的似然函数，每个概率分布对应一个参数向量x）中，选择一个概率密度。

最大似然估计

参数估计：根据观测到的服从分布的一个样本y，估计参数x的值。而最大似然估计，则是选择是的似然函数在y的观测值处最大的那个参数作为x，直白地说，已知y的观测值，找到使y得观测值出现的概率最大的参数x。

即 $x_{ml}=argmax_x \,\, p_x(y)$ ，其中y是观测值。

而事实上，考虑似然函数的对数更加方便，记 $l(x)=log(p_x(y))$ ，称为对数似然函数，故 $x_{ml}=argmax_x \,\, p_x(y)=argmax_x \,\, l(x)$

于是最大似然估计问题等价于：

$maximize \, \, log\, p_x(y)$

可以显示的增加约束， $x \in C$ ，表示参数向量x的先验信息或其他约束，也可以隐式地增加约束，定义 $p_x(y)=0,if \, \, x\notin C$

附加了IID(独立同分布)的噪声

考虑线性测量模型：

$y_i=a_i^Tx+v_i,i=1,\cdots m$

其中 $x \in R^n$ 是未知参数向量， $v_i$ 是独立同分布的，在R上具有概率密度p(z)的随机变量。 $y_i \in R$ 是观测值且、

于是似然函数：

$p_x(y)=\prod _{i=1}^mp(y_i-a_i^Tx)$

于是对数似然函数：

$l(x)=log \, p_x(y)=log \,\prod _{i=1}^mp(y_i-a_i^Tx)=\sum_{i=1}^mlog\,p(y_i-a_i^Tx)$

榆树极大似然估计问题等价于:

$maximize \, \,\sum_{i=1}^mlog\,p(y_i-a_i^Tx)$

再考虑噪声服从其分布的情况：

（1）Guass噪声：当 $v_i$ 是高斯噪声，且均值为0，方差为 $\delta ^2$ 时，概率密度为：

$p(z)=(2\pi \delta ^2)^{-1/2}e^{-z^2/(2\delta ^2)}$

则对数似然函数：

$l(x)=\sum_{i=1}^mlog\,p(y_i-a_i^Tx)=\sum_{i=1}^mlog((2\pi \delta ^2)^{-1/2}e^{-(y_i-a_i^tx)^2/(2\delta ^2)})\\ =\sum_{i=1}^m(-1/2)log(2\pi \delta^2)-\sum_{i=1}^m(y_i-a_i^Tx)^2/(2\delta^2)\\ =-(m/2)log(2\pi \delta^2)-\sum_{i=1}^m(y_i-a_i^Tx)^2/(2\delta^2)\\$

记 $[a_1^T,a_2^T\cdots ,a_m^T]$ 为A，于是：

$l(x)=-(m/2)log(2\pi \delta^2)-\sum_{i=1}^m(y_i-a_i^Tx)^2/(2\delta^2)\\ =-(m/2)log(2\pi \delta^2)-1/(2\delta^2)\begin{Vmatrix} Ax-y\end{Vmatrix}_2^2$

于是最大似然估计问题：

$maximize \, \,-(m/2)log(2\pi \delta^2)-1/(2\delta^2)\begin{Vmatrix} Ax-y\end{Vmatrix}_2^2$

等价于：

$maximize \, \,-1/(2\delta^2)\begin{Vmatrix} Ax-y\end{Vmatrix}_2^2$

等价于：

$minimize \, \,1/(2\delta^2)\begin{Vmatrix} Ax-y\end{Vmatrix}_2^2$

等价于：

$minimize \, \,\begin{Vmatrix} Ax-y\end{Vmatrix}_2^2$

即最小二乘逼近问题。

（2）Laplace噪声：当 $v_i$ 服从Laplace分布时，即具有概率密度：

$p(z)=(1/(2a))e^{-|z|/a},a>0$

则对数似然函数：

$l(x)=\sum_{i=1}^mlog\,p(y_i-a_i^Tx)=\sum_{i=1}^mlog((1/(2a))e^{-|y_i-a_i^Tx|/a})\\ =mlog(1/(2a))-\frac{1}{a}\sum_{i=1}^m|y_i-a_i^Tx|$

记 $[a_1^T,a_2^T\cdots ,a_m^T]$ 为A，于是：

$l(x)=mlog(1/(2a))-\frac{1}{a}\sum_{i=1}^m|y_i-a_i^Tx|=mlog(1/(2a))-\frac{1}{a}\begin{Vmatrix}Ax-y\end{Vmatrix}_1$

于是最大似然估计问题：

$maximize \, \,mlog(1/(2a))-\frac{1}{a}\begin{Vmatrix}Ax-y\end{Vmatrix}_1$

等价于：

$maximize \, \,-\frac{1}{a}\begin{Vmatrix}Ax-y\end{Vmatrix}_1$

等价于：

$minimize \, \,\frac{1}{a}\begin{Vmatrix}Ax-y\end{Vmatrix}_1$

等价于：

$minimize \, \,\begin{Vmatrix}Ax-y\end{Vmatrix}_1$

即 $l_1$ 范数逼近问题。

（3）均匀分布：当 $v_i$ 服从 $[-a,a]$ 上的均匀分布时，若 $z\in[-a,a]$ ,具有概率密度：

$p(z)=-1/(2a)$

当 $-a\leq y_i-a_i^Tx \leq a,i=1,\cdots ,m$ ，即 $|y_i-a_i^Tx| \leq a,i=1,\cdots ,m$ ,

记 $[a_1^T,a_2^T\cdots ,a_m^T]$ 为A，于是：

$\begin{Vmatrix}Ax-y \end{Vmatrix}_\infty \leq a$

此时，对数似然函数：

$l(x)=\sum_{i=1}^mlog\,p(1/(2a))$

则极大似然问题：

$maximize \, \,\sum_{i=1}^mlog\,p(1/(2a)) \\ subject \, \, to \, \,\begin{Vmatrix}Ax-y \end{Vmatrix}_\infty \leq a$

即最优解为满足约束 $\begin{Vmatrix}Ax-y \end{Vmatrix}_\infty \leq a$ 的任意x。

Logistic 回归

考虑随机变量 $y \in \left \{ 0,1 \right \}$ ，其概率密度函数：

$p=prob(y=1)=\frac{e^{a^Tu+b}}{1+e^{a^Tu+b}},prob(y=0)=1-p=\frac{1}{1+e^{a^Tu+b}}$

其中 $a,b$ 是参数，u是解释变量。

估计问题：从m个数据 $(u_i,y_i)$ ，估计a,b的参数值。

假设，前q个观测值y=1,q+1到m个观测值y=0，则似然函数具有形式：

$\prod _{i=1}^qp_i\prod _{i=q+1}^m(1-p_i)$

其中 $p_i$ 有logistic模型和解释变量 $u_i$ 决定。

对数似然函数具有如下形式：

$l(a,b)=\sum_{i=1}^qlog \, p_i+\sum_{i=q+1}^mlog(1-p_i)\\ =\sum_{i=1}^qlog \, \frac{e^{a^Tu+b}}{1+e^{a^Tu+b}}+\sum_{i=q+1}^mlog(\frac{1}{1+e^{a^Tu+b}})\\ =\sum_{i=1}^q(a^Tu+b)-\sum_{i=1}^mlog(1+e^{a^Tu+b})$

如上图，圆圈表示50个 $(u_i,y_i)$ 对，曲线是最大似然估计曲线。数据表明，u<5时，输出值很可能是y=0，u>5时，输出值很可能是y=1。

最大后验概率估计

最大后验概率估计问题可以看成是最大似然估计的Bayes形式。假定x（待估计向量）和y（观测向量）都是随机变量，其联合概率密度为p(x,y)。

则x的先验概率密度：

$p_x(x)=\int p(x,y)dy$

给定x，y的条件概率密度可以表述为：

$p_{y|x}(x,y)=\frac{p(x,y)}{p_x(x)}$

于是在最大后验概率估计方法中，给定观测值y，x的估计量为：

$x_{map}=argmax_x \, p_{x|y}(x,y)=argmax_x \, p_{y|x}(x,y)p_x(x)/p_y(y)\\ =argmax_x \, p_{y|x}(x,y)p_x(x)=argmax_x \, p(x,y)$

取对数，得到

$x_{map}=argmax_x\,(log\,p_{y|x}(x,y)+log\,p_x(x))$

第一项与对数似然函数本质上一样，第二项是根据先验概率密度对不太可能发生的x的惩罚项。

相比于最大似然估计，最大后验概率估计问题多了一个惩罚项。

凸优化第七章统计估计 7.1参数分布估计相关推荐

凸优化 matlab-cvx-第十一章ADVANCED TOPICS
注意:在本节中,我们描述了CVX的一些更高级的功能.我们建议你先跳过这一节,直到你对上面描述的基本能力感到满意为止. 11.1消除二次型我们强烈建议的一个特殊的改写是消除二次型- -即像sum _ ...
最优化方法(学习笔记)-第七章统计估计
Statistical estimation Logistic 回归-二分类整体分类思路最大化似然函数最大似然估计MLE 带独立同分布噪音的线性测量模型 viv_ivi是高斯分布 viv_iv ...
凸优化第四章凸优化问题 4.2凸优化
4.2凸优化标准形式的凸优化问题局部最优解与全局最优解可微函数的最优性准则等价的凸问题拟凸优化标准形式的凸优化问题是凸函数,等式约束是仿射函数.则此优化问题是凸优化问题. 也可以写成重 ...
凸优化第五章对偶 5.1 Lagrange对偶函数
5.1 Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这 ...
凸优化第五章对偶 5.1Lagrange对偶函数
5.1Lagrange对偶函数 Lagrange Lagrange对偶函数最优值的下界例子 Lagrange对偶函数和共轭函数 Lagrange 标准形式的优化问题: 其中,问题的定义域,注意这里 ...
深入浅出统计学第七章几何分布,二项分布,柏松分布
简介 <深入浅出统计学>第七章详细介绍了三种概率分布及其应用,而我们则将进行程序编写,来计算这三种概率分布. 几何分布 scipy几何分布原文地址下面是书中一些重要公式的代码实现,此处我 ...
凸优化第三章凸函数 3.1基本性质和例子
3.1基本性质和例子定义扩展值延伸一阶条件二阶条件例子下水平集上境图 Jensen不等式及其扩展不等式定义函数f是凸函数,当f的定义域S是凸集,且严格凸函数: 从几何上来看,如下 ...
凸优化第三章凸函数 3.5 对数-凹函数和对数-凸函数
3.5 对数-凹函数和对数-凸函数定义相关性质定义称函数对数凹,如果是凹函数. 称函数对数凸,如果是凸函数. 函数f是对数凸的当且仅当1/f是对数凹的. 当时,,相当于对log(f)进行扩展值 ...
凸优化第三章凸函数 3.3 共轭函数
3.3 共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数 ...
凸优化第三章凸函数 3.3共轭函数
3.3共轭函数定义基本性质定义设函数,定义函数为: 此函数称为f(x)的共轭函数.从3.2节逐点上确界的内容也可以看出,此函数也是的逐点上确界函数,而是关于y的仿射函数,可以将其看成是凸函数, ...

凸优化第七章统计估计 7.1参数分布估计

7.1参数分布估计

最大似然估计

附加了IID(独立同分布)的噪声

Logistic 回归

最大后验概率估计

凸优化第七章统计估计 7.1参数分布估计相关推荐

最新文章

热门文章