概率论之先验概率和后验概率

先验（A priori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。
先验概率是指根据以往经验和分析得到的概率，如全概率公式中的，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因” 。后验概率是基于新的信息，修正原来的先验概率后所获得的更接近实际情况的概率估计。先验概率和后验概率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率。
先验概率的分类：
1. 利用过去历史资料计算得到的先验概率，称为客观先验概率；
2. 当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。

后验概率是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。

先验概率和后验概率的区别：
先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料；
　　先验概率的计算比较简单，没有使用贝叶斯公式；而后验概率的计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。

------------------------------------------------------------------------------------------------------------------------------------

先验概率与后验概率
"概率就是无知, 而不是事务本身是随机的".
事情有N种发生的可能，我们不能控制结果的发生,或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力。新发一个物种, 到底是猫,还是小老虎呢(朱道元的经典例子)? 是由于我们的无知才不能确定判断.

先验概率 ( Prior probability)
先验概率是在缺乏某个事实的情况下描述一个变量; 而后验概率是在考虑了一个事实之后的条件概率。先验概率通常是经验丰富的专家的纯主观的估计. 比如在法国大选中女候选罗雅尔的支持率 p, 在进行民意调查之前, 可以先验概率来表达这个不确定性.

后验概率 ( posterior probability)
Def: Probability of outcomes of an experiment after it has been performed and a certain event has occured.
后验概率可以根据通过Bayes定理, 用先验概率和似然函数计算出来. 下面的公式就是用先验概率密度乘上似然函数,接着进行归一化, 得到不定量X在Y=y的条件下的密度,即后验概率密度:

----------------------------------------------------------------------------------------------------------------------------------------------

先验概率与后验概率的区别
看了很多张五常的文章以后，思考一些经济学或者统计学的问题，都试着从最简单处入手。
一次，在听一位英国帝国理工大学的教授来我们学校讲学，讲的主要是经济计量学的建模，以及一些具体应用实例，没想到听报告过程中，一直在思考一道最简单的概率问题。关于“抛硬币”试验的概率问题。
问题是这样的：
1、多次抛硬币首先是一个贝努利试验，独立同分布的
2、每次抛硬币出现正、反面的概率都是1/2
3、当然硬币是均匀同分布的，而且每次试验都是公正的
4、在上述假设下，假如我连续抛了很多次，例如100次，出现的都是正面，当然，稍懂概率的人都知道，这是一个小概率事件，但是小概率事件是可能发生的。我要问你，下次也就是我抛第101次，出现正、反的概率是不是相等。我认为是不相等的，出现反面的概率要大于正面。我的理由是，诸如“抛硬币”等独立同分布试验都有无数人试验过，而且次数足够多时，正、反面出现的概率应该是逼近1/2的。也就是说，这个过程，即使是独立同分布的试验它也是有概率的。
5、提出这个问题之后，我请教了很多同学和老师，大部分同学一开始都是乍一听这个问题，马上对我的观点提出批判，给我列条件概率的公式，举出种种理由，不过都被我推翻了
很巧的是，没几天，我在图书馆过期期刊阅览室找到一篇关于独立同分布的newman定理。推广到markov链过程的文章，见97年《应用统计研究》，我看不大懂，复印了下来，去请教我们系数理统计方面比较权威的老师，他的答复我基本满意。他将数理统计可以分为两大类：频率统计学派和贝叶斯统计学派。目前，国内的数理统计主要是频率统计。又给我分析了什么是先验概率，先验概率和条件概率有什么区别，他认为：在“抛硬币”试验当中，硬币的均匀分布和抛的公正是先验条件或先验概率，但是抛100次正面却是条件概率，接着他又解释了概率的记忆功能，他讲当贝努利试验次数不够大的时候，它不具有记忆功能，次数足够大的时候，也就是服从二项分布时，具有记忆功能。这时，连续抛很多次正面就可以算作是先验概率。
但这样，我又不懂了。我认为，即使只刚抛过1次，如果考虑这个过程的话，对第二次的结果也应该是有影响的，你们认为呢？这个问题，这位老师也没能解释好。

研究这个问题的启示或者意义：

1、推翻了一些东西，可能很大，也可能是我牛角尖钻的太深了
2、一个试验，我在一间屋子里做“抛硬币”的试验，我“一不小心”连续抛出了100次正面，这里请你不要怀疑硬币质地的均匀和我抛法的不公正，这时，你推门进了实验室，我和你打赌，下次抛硬币会出现反面，给你很高的赌注。因为我知道我已经抛了100次正面，在这个过程中正反面出现的概率是要往1：1均衡的。但是我不会告诉你，我已经连续抛了100次正面。你当然认为正反面出现的概率是1：1，而且你的理论依据也是正确的。但是，你的正确的理论可能会使你输钱的。
3、研究这个问题，我是想提出两个问题：其一，正确的理论可能得不出正确的结果，其二，信息的不对称问题。

概率论之先验概率和后验概率相关推荐

先验概率和后验概率那点事儿
前几天因为要写粒子滤波相关的文章,而里面的公式让我写理论总结的时候都想哭.然而大部分粒子滤波的程序写的都比较简单明了,我也不知道是不是根本程序就没按照理论来实现.主要是里面的概率论公式,尤其以什么先验 ...
先验概率、后验概率、似然估计三者的区别与联系
在机器学习日渐风靡于全世界的今天,概率论与数理统计作为机器学习的关键理论越来越体现出它的重要地位.本文模仿<机器学习>中周志华老师的举例,以西瓜的品质好坏为例,对三个概念:先验概率.后验概 ...
【机器学习】先验概率与后验概率
从原因到结果的论证称为"先验的",而从结果到原因的论证称为"后验的". 先验概率是指根据以往经验和分析得到的概率,如全概率公式中的 ,它往往作为"由因 ...
机器学习——先验概率、后验概率、全概率公式、贝叶斯公式
一.先验概率 1.定义先验概率(prior probability)是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现的 ...
先验概率，后验概率，最大似然估计，最大后验概率
先验概率和后验概率教科书上的解释总是太绕了.其实举个例子大家就明白这两个东西了. 假设我们出门堵车的可能因素有两个(就是假设而已,别当真):车辆太多和交通事故. 堵车的概率就是先验概率 . 那么如果 ...
五分钟了解先验概率和后验概率
五分钟了解先验概率和后验概率本文摘自我的公众号[车子的心智探索] 欢迎关注我! 不理解先验概率和后验概率?莫慌,本文可以帮你. 从面积的角度看概率在说正题之前,咱们从面积的角度认识一下概率. 拿掷 ...
先验概率与后验概率、贝叶斯区别与联系
本文假设大家都知道什么叫条件概率了(P(A|B)表示在B事件发生的情况下,A事件发生的概率). 先验概率和后验概率教科书上的解释总是太绕了.其实举个例子大家就明白这两个东西了. 假设我们出门堵车的可 ...
[转] 先验概率与后验概率贝叶斯与似然函数
from: https://blog.csdn.net/shenxiaoming77/article/details/77505549 先验概率和后验概率教科书上的解释总是太绕了.其实举个例子大家就 ...
全概率公式及贝叶斯公式---先验概率、后验概率
1. 全概率公式设实验EEE的样本空间为SSS,AAA为实验EEE的事件,B1B_1B1,B2B_2B2--BnB_nBn为样本空间S的划分(互斥),且P(Bi)>0P(B_i)> ...

概率论之先验概率和后验概率

概率论之先验概率和后验概率相关推荐

最新文章

热门文章