20201010 -

0. 引言

在学习统计学的时候，在概率估计的部分，经常会遇到最大似然估计，最大后验估计等名词，这些似然和后验，都跟贝叶斯准则中的一些名词定义有关。这里参考书籍《Think Bayes》这部书，来记录这些名词。

1. 由糖果例子来解释名词

用最简单的一句话来说，贝叶斯准则就是一个公式，这个公式在考试的时候只要你会用，把问题形式化之后，甚至于有些题目直接给你了要求解的最终目标，都不用你对问题进行分析，直接套用公式就行了。但在实际问题的处理中，还是需要对问题的深入理解。考试考了高分，不代表解决问题的能力就是满分。下面通过一个例子开始，然后引入贝叶斯公式，最后解释下各个名词概念。

1.1 糖果例子

假设这里有两个糖果袋子，每个糖果袋子中有若干个糖果，其中袋子1中30个红糖果和10个绿糖果，而袋子2中两种糖果各有20个。那么随机从选取一个袋子，并从中随机取一个糖果，若这个糖果是红色的，那么这个糖果来自袋子1的概率有多大。

问题很简单，这也是很多概率书在讲解条件概率或者贝叶斯准则时最喜欢用的例子。那么我这里把这个问题利用概率的语言来定义一下。

设从任意一个袋子中取出红色糖果为事件RRR，而取出绿色糖果为事件GGG；随机选择袋子的过程中，若选中的袋子是袋子1，事件为B1B_1B1，为袋子2时为事件B2B_2B2。利用P(X)P(X)P(X)表示事件XXX发生的概率，而P(X∣Y)P(X|Y)P(X∣Y)是在事件YYY发生的情况下，事件XXX发生的概率，即条件概率。

根据上述的定义，我们要求解的概率是P(B1∣R)P(B_1|R)P(B1∣R)，但是如果反过来，我要求P(R∣B1)P(R|B_1)P(R∣B1)的概率，这个问题很简单，也很直观，直接就是34\frac{3}{4}43就完事了。但是实际情况是两者并不相等。
既然是这样的话，那么我们在上述问题中得到了那些显而易见的结论呢？仅仅针对P(B1∣R)P(B_1|R)P(B1∣R)中出现的事件。
P(B1)=12=0.5P(R)=30+2030+20+10+20=58=0.625P(R∣B1)=3030+10=0.75P(B_1)=\frac{1}{2}=0.5 \\ \quad \\ P(R)=\frac{30+20}{30+20+10+20}=\frac{5}{8}=0.625\\ \quad \\ P(R|B_1)=\frac{30}{30+10}=0.75 P(B1)=21=0.5P(R)=30+20+10+2030+20=85=0.625P(R∣B1)=30+1030=0.75
好了，这些就是与要求解的问题相关的所有事件概率，下面由贝叶斯准则来进行计算。

1.2 贝叶斯准则

P(AB)P(AB)P(AB)在事件A、BA、BA、B独立的时候，存在P(AB)=P(A)P(B)P(AB)=P(A)P(B)P(AB)=P(A)P(B)，两个事件独立的时候，第一个事件发生并不会影响第二个事件发生的概率，从概率公式上来讲，就是P(B∣A)=P(B)P(B|A)=P(B)P(B∣A)=P(B)，但不独立的时候该式不成立。但是对于任意的事件A、BA、BA、B，联合概率P(AB)=P(A)P(B∣A)P(AB)=P(A)P(B|A)P(AB)=P(A)P(B∣A)。因为联合概率满足交换律，P(AB)=P(BA)P(AB)=P(BA)P(AB)=P(BA)。那么可以推导以下公式。
P(AB)=P(A)P(B∣A)P(BA)=P(B)P(A∣B)P(A)P(B∣A)=P(B)P(A∣B)P(AB)=P(A)P(B|A) \\ P(BA)=P(B)P(A|B) \\ P(A)P(B|A)=P(B)P(A|B) P(AB)=P(A)P(B∣A)P(BA)=P(B)P(A∣B)P(A)P(B∣A)=P(B)P(A∣B)
那么根据上述公式，可以更进一步，求解某个条件概率，例如求解P(A∣B)P(A|B)P(A∣B)。
P(A∣B)=P(A)P(B∣A)P(B)P(A|B)=\frac{P(A)P(B|A)}{P(B)} P(A∣B)=P(B)P(A)P(B∣A)
到这里为止，本篇文章要解释的名词就出线了，先验概率，后验概率等，那么前面我们求解的概率P(B1∣R)P(B_1|R)P(B1∣R)，利用该公式就可以计算出来。
P(B1∣R)=P(B1)P(R∣B1)P(R)P(B_1|R)=\frac{P(B_1)P(R|B_1)}{P(R)} P(B1∣R)=P(R)P(B1)P(R∣B1)
这些值正好都是前面列出来的，计算的最后结果是0.6。

1.3 名词解释

关于这部分内容，《Think Bayes》进入了另一个小节，The diachronic interpretation，谷歌翻译为历时解释，也就是随着时间的推移，越来越多事件发生，从而导致概率发生了变化。也就是说，某个假设HHH出现了某些数据DDD之后，概率发生了更新。
那么按照上述内容改写贝叶斯准则。
P(H∣D)=P(H)P(D∣H)P(D)P(H|D)=\frac{P(H)P(D|H)}{P(D)} P(H∣D)=P(D)P(H)P(D∣H)
在历时解释的方式中，有以下定义：

P(H)P(H)P(H)被称为先验概率，也就是数据DDD被看到之前，假设HHH发生的概率
P(H∣DP(H|DP(H∣D被称为后验概率，是假设HHH在看到数据DDD之后被更新的概率。
P(D∣H)P(D|H)P(D∣H)被称为似然值，是指数据DDD在假设HHH下出现的概率。
P(D)P(D)P(D)是数据DDD出现的概率，基于任何的假设，一般是一个归一化的常数。

先验概率及后验概率等解释相关推荐

先验概率，后验概率，最大似然估计，最大后验概率
先验概率和后验概率教科书上的解释总是太绕了.其实举个例子大家就明白这两个东西了. 假设我们出门堵车的可能因素有两个(就是假设而已,别当真):车辆太多和交通事故. 堵车的概率就是先验概率 . 那么如果 ...
五分钟了解先验概率和后验概率
五分钟了解先验概率和后验概率本文摘自我的公众号[车子的心智探索] 欢迎关注我! 不理解先验概率和后验概率?莫慌,本文可以帮你. 从面积的角度看概率在说正题之前,咱们从面积的角度认识一下概率. 拿掷 ...
先验概率与后验概率、贝叶斯区别与联系
本文假设大家都知道什么叫条件概率了(P(A|B)表示在B事件发生的情况下,A事件发生的概率). 先验概率和后验概率教科书上的解释总是太绕了.其实举个例子大家就明白这两个东西了. 假设我们出门堵车的可 ...
[转] 先验概率与后验概率贝叶斯与似然函数
from: https://blog.csdn.net/shenxiaoming77/article/details/77505549 先验概率和后验概率教科书上的解释总是太绕了.其实举个例子大家就 ...
先验概率、后验概率、似然函数概念的区分
博文二的链接:原文链接:https://blog.csdn.net/u011092188/article/details/60468246 本文中的很多➗没有打印出来,还是看原文吧博文一: 先 ...
先验概率和后验概率那点事儿
前几天因为要写粒子滤波相关的文章,而里面的公式让我写理论总结的时候都想哭.然而大部分粒子滤波的程序写的都比较简单明了,我也不知道是不是根本程序就没按照理论来实现.主要是里面的概率论公式,尤其以什么先验 ...
先验概率与后验概率及贝叶斯公式
先验概率与后验概率事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 一.先验概率是指根据以往经验和分析得 ...
先验概率跟后验概率(通俗易懂)
先验概率和后验概率教科书上的解释总是太绕了.其实举个例子大家就明白这两个东西了. 假设我们出门堵车的可能因素有两个(就是假设而已,别当真):车辆太多和交通事故. 堵车的概率就是先验概率 . 那么如果 ...
机器学习：浅谈先验概率，后验概率
机器学习:浅谈先验概率,后验概率在学习贝叶斯网络模型的时候,接触到好多比较麻烦的概念,今天又复习了一下,就写一下笔记,用来巩固一下. 主题模型LDA算法是自PLSA之后一个重大提升.PLSA的mod ...

先验概率及后验概率等解释