举例

统计抽样得到的100个男生的身高。假设他们的身高是服从高斯分布的。但是这个分布的均值u和方差∂2我们不知道，这两个参数就是我们要估计的。记作θ=[u, ∂]T。

数学语言：独立地按照概率密度p(x|θ)抽取100了个（身高），组成样本集X，来估计出未知参数θ。这里概率密度p(x|θ)我们知道了是高斯分布N(u,∂)的形式，其中的未知参数是θ=[u, ∂]T。抽到的样本集是X={x1,x2,…,xN}，其中xi表示抽到的第i个人的身高，这里N就是100，表示抽到的样本个数。

因为这些男生（的身高）是服从同一个高斯分布p(x|θ)的。那么我抽到男生A（的身高）的概率是p(xA|θ)，抽到男生B的概率是p(xB|θ)，那因为他们是独立的，所以很明显，我同时抽到男生A和男生B的概率是p(xA|θ)* p(xB|θ)，同理，我同时抽到这100个男生的概率就是他们各自概率的乘积了。用数学家的口吻说就是从分布是p(x|θ)的总体样本中抽取到这100个样本的概率，也就是样本集X中各个样本的联合概率，用下式表示：

因为这里X是已知的，而θ是未知，所以它是θ的函数。这个函数的是在不同的参数θ取值下，取得当前这个样本集的可能性，因此称为参数θ相对于样本集X的似然函数（likehood function）。记为L(θ)。
极大似然法：通俗语言：就是最可能的概率情况。

在学校那么男生中，我一抽就抽到这100个男生（表示身高），而不是其他人，那是不是表示在整个学校中，这100个人（的身高）出现的概率最大啊。那么这个概率怎么表示？哦，就是上面那个似然函数L(θ)。所以，我们就只需要找到一个参数θ，其对应的似然函数L(θ)最大，也就是说抽到这100个男生（的身高）概率最大。这个叫做θ的最大似然估计量，记为：

有时，可以看到L(θ)是连乘的，所以为了便于分析，还可以定义对数似然函数，将其变成连加的：

求θ，只需要使θ的似然函数L(θ)极大化，然后极大值对应的θ就是我们的估计。这里就回到了求最值的问题了。怎么求一个函数的最值？当然是求导，然后让导数为0，那么解这个方程得到的θ就是了（当然，前提是函数L(θ)连续可微）。那如果θ是包含多个参数的向量那怎么处理啊？当然是求L(θ)对所有参数的偏导数，也就是梯度了，那么n个未知的参数，就有n个方程，方程组的解就是似然函数的极值点了，当然就得到这n个参数了。

多数情况下我们是根据已知条件来推算结果，而最大似然估计是已经知道了结果，然后寻求使该结果出现的可能性最大的条件，以此作为估计值。—>根据结果，求解概率模型的未知参数

只是一种概率论在统计学的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次试验，观察其结果，利用结果推出参数的大概值。最大似然估计是建立在这样的思想上：已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小概率的样本，所以干脆就把这个参数作为估计的真实值。

维基百科

在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。似然函数在统计推断中有重大作用，如在最大似然估计和费雪信息之中的应用等等。“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。概率用于在已知一些参数的情况下，预测接下来的观测所得到的结果，而似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。

在这种意义上，似然函数可以理解为条件概率的逆反。

cite

从最大似然到EM算法浅解
维基百科—似然函数

【原理】极大似然法（MLE）——概率论在统计学的应用相关推荐

概率论与统计学的关系是什么？
统计学合称为"概率统计",但显然这两者是有关系,但不是同一的,那么二者的关系究竟是什么呢? 简单来说,概率论研究的是"是什么"的问题,统计学研究的是'怎么办&q ...
人工智能中的概率论与统计学修炼秘籍之著名教材
概率论与统计学的学习者众多,为了迎合不同学习者的需求,各种教材种类繁多.眼花缭乱.为此,非常有必要推荐一些常用的教材给人工智能学习人员,提升学习的效率,提高学习的效果.根据学习逐渐深入的顺序,本文将按 ...
数学基础（高数、线代、概率论、统计学等等）
此文章只作为个人学习笔记,不会面面俱到,完整学习还请多看看书和视频吧,个人理解如果有错误希望指出,共同学习进步. 机器学习高数.线代和概率论是黄海广博士的知乎帖子,只是做总结,具体知识点参考课本和视 ...
【概率论与统计学】最常用常考的6种概率计算经验分享
本文介绍在概率论与数理统计,统计学这两门课中,以及平时的作业中最常用的两种需要加以应用的六种概率.按照数据的类型可以分为两类,一类是针对连续型变量(均匀分布.指数分布.正态分布),另一类则针对离散型变 ...
【统计学习】概率论与统计学基础
(1)统计及应用领域 (2)数据.预处理.图表 (3)概括性度量 1)集中趋势 2)离散趋势 3)偏态与峰态 (4)概率与概率分布随机变量.随机事件期望.方差概率分布.概率密度分布 (5)统计量 ...
【机器学习】ICA 原理以及相关概率论，信息论知识简介
看完了sparse coding,开始看ICA模型,本来ng的教程上面就只有一个简短的介绍,怎奈自己有强迫症,爱钻牛角尖,于是乎就搜索了一些ICA的介绍文章(都是从百度文库中搜来的),看完之后感觉这个 ...
概率论与统计学(2)
古典概型: 样本方差VS总体方差试验 VS 随机试验样本空间:所有可能结果的集合,简称为S 样本点:S中的每一种情况,简称为E 随机事件:样本点基本事件:一个样本点的单点集事件发生必然事件 ...
数据分析面试【概率论与统计学】总结之-----统计学常见面试题整理
阅读之前看这里
浅议极大似然估计（MLE）背后的思想原理
1. 概率思想与归纳思想 0x1:归纳推理思想所谓归纳推理思想,即是由某类事物的部分对象具有某些特征,推出该类事物的全部对象都具有这些特征的推理.抽象地来说,由个别事实概括出一般结论的推理称为归纳推 ...

【原理】极大似然法（MLE）——概率论在统计学的应用

举例

维基百科

cite

【原理】极大似然法（MLE）——概率论在统计学的应用相关推荐

最新文章

热门文章