贝叶斯定理决策规则及Bayes思想总结
贝叶斯决策方法作为一种风险型决策方法,在实际中的应用较广泛。企业重要的经营决策大多是在不确定的情况下进行的,具有一定的风险性,决策的科学性及稳定性在很大程度上依赖于对未来决策所涉及各自然状态的把握程度。风险决策时方案选择决定于外界环境状态,而这种状态是无法确知的,更不受决策者控制,但通过判断、调查和实验,可以获得有关信息,贝叶斯决策理论为此提供了科学的方法。
    贝叶斯推理在过去近30年中得到了较为广泛的研究,特别自Kahneman和Tversky发现人们直觉的概率判断忽略基础概率现象以来,出现了许多理论和研究方法的更新,这些都深化了对这一问题的研究。这些研究既揭示了人们概率估计中常见的认知错误,也为人们进行贝叶斯推理至少提供了以下启示:首先,必须注意事件的基础概率,基础概率小的事件,即使某种击中率较高,其出现的总概率仍然是较小的。如现实生活中中奖的机会等就是小概率事件。其次,应该对信息的外部表征作理性的分析,不应受一些表面特征所迷惑。如击中率的高低并不决定该事件出现概率的高低。第三,不能过分相信经验策略(如代表性启发和可得性启发)。虽然经验策略有时能减轻人们的认知负荷并导致正确的概率估计,但也在许多情况下会误导我们的判断。如不要因为舆论经常宣传癌症对人们生命的威胁就认为癌症致死的概率比心脏病致死的概率更高。当然,贝叶斯推理问题仍然值得做更进一步的研究,如人们对概率信息的内部加工过程及其特点,对基础概率、击中率或误报率的敏感或忽略及其所依存的条件以及研究方法和手段的改进等。

参考文献
潘天群.博弈思维[M].北京:北京大学出版社,2005.
党景柏,贺兴时.概率统计及其应用程序[M].西安:陕西
科学技术出版社,1994.

摘要:
  贝叶斯是基于概率的一种算法,是Thomas Bayes:一位伟大的数学大师所创建的,目前此种算法用于过滤垃圾邮件得到了广泛地好评。
贝叶斯决策是决策者经常使用的一种决策方法,具有严谨的思路

关键词:贝叶斯定理;贝叶斯决策

引言:
在概率计算中,我们常常遇到这样的一类问题,某事件的发生可能依赖于多种原因,对这样的事件直接求规律往往是无能为力的。
概率与我们的生存、生活是密不可分的,在我们的生活中要想使我们的期望效用最大化,我们必须考虑各种客观条件的存在,用理性的科学的思维去判断问题、分析问题,最终做出正确的决策。

贝叶斯定理
贝叶斯定理(Bayes theorem),是概率论中的一个结果,它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解说中,贝叶斯定理(贝叶斯更新)能够告知我们如何利用新证据修改已有的看法。 
通常,事件A在事件B(发生)的条件下的概率,与事件B在事件A的条件下的概率是不一样的;然而,这两者是有确定的关系,贝叶斯定理就是这种关系的陈述。
作为一个规范的原理,贝叶斯定理对于所有概率的解释是有效的;然而,频率主义者和贝叶斯主义者对于在应用中概率如何被赋值有着不同的看法: 频率主义者根据随机事件发生的频率,或者总体样本里面的个数来赋值概率;贝叶斯主义者要根据未知的命题来赋值概率。一个结果就是,贝叶斯主义者有更多的机会使用贝叶斯定理。

贝叶斯定理的陈述
贝叶斯定理是关于随机事件A和B的条件概率和边缘概率的一则定理。
 
其中L(A|B)是在B发生的情况下A发生的可能性。

在贝叶斯定理中,每个名词都有约定俗成的名称:
• Pr(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。 
• Pr(A|B)是已知B发生后A的条件概率,也由于得自B的取值而被称作A的后验概率。 
• Pr(B|A)是已知A发生后B的条件概率,也由于得自A的取值而被称作B的后验概率。 
• Pr(B)是B的先验概率或边缘概率,也作标准化常量(normalized constant). 
按这些术语,Bayes定理可表述为:
后验概率 = (相似度 * 先验概率)/标准化常量
也就是说,后验概率与先验概率和相似度的乘积成正比。
另外,比例Pr(B|A)/Pr(B)也有时被称作标准相似度(standardised likelihood),Bayes定理可表述为:
后验概率 = 标准相似度 * 先验概率

贝叶斯决策
贝叶斯决策就是利用补充信息,根据概率计算中的贝叶斯公式来估计后验概率,并在此基础上对备选方案进行评价和选择的一种决策方法。

企业重要的经营决策大多是在不确定的情况下进行的,具有一定的风险性,决策的科学性及稳定性在很大程度上依赖于对未来决策所涉及各自然状态的把握程度。风险决策时方案选择决定于外界环境状态,而这种状态是无法确知的,更不受决策者控制,但通过判断、调查和实验,可以获得有关信息,贝叶斯决策理论为此提供了科学的方法。

贝叶斯决策理论
设A1,A2,…An为一完备事件组,事件B仅在完备事件组中某一事件发生时才发生,而且P(B)>0,在事件B出现的条件下,事件Ai出现的条件概率用P(Ai/B)表示,则由如下贝斯公式求出P(Ai/B),
P(Ai/B)=P(Ai)P(B/Ai)P(B)
上式中P(B/Ai)表示在事件Ai发生的条件下B发生的条件概率,P(B)是事件B发生的全概率,即:
P(B)=∑ni=1P(Ai)P(B/Ai)
对贝叶斯决策,我们先进行先验分析,也就是详尽列出决策矩阵或决策树,对各种状态发生的概率和条件结果都要加以估计或测算,但如果我们有可能进一步收集信息,就有可能使决策进行得更有把握一些。

几种常用的决策规则
1.基于最小错误率的贝叶斯决策
在模式分类问题中,人们往往希望尽量减小分类的错误,从这样的要求出发,利用贝叶斯公式,就能得出使错误为最小的分类规则,称之为基于最小错误率的贝叶斯决策。决策规则(以两类为例):如果p(w1|x)>p(w2|x),则把x归为w1类。反之,p(w1|x)<p(w2|x),则把x归为w2类。在多类情况下的决策规则为p(wi|x)=maxp(wj|x)j=1,2..c,则x∈wi

2.基于最小风险的贝叶斯决策
在基于最小错误率的贝叶斯分类决策中,使错误率p(e)达到最小是重要的。但实际上有时需要考虑一个比错误率更为重要的广泛的概念———风险。风险和损失是紧密联系的。最小风险贝叶斯决策正是考虑各种错误造成损失不同而提出的一种决策规则。在此决策中利用了决策论的观点进行考虑。在已知先验概率p(wi)及类条件概率密度p(x|wi)i=1,2..c的条件下,在考虑错判所造成的损失时,由于引入“损失”的概念,而必须考虑所采取的决策是否使损失最小。对于给定的x,如果采取决策αi,损失函数λ(αi,wj)可以在c个λ(αi,wj),j=1,2,c值中任取一个,其相应的概率为p(wj|x).因此在采取决策αi情况下的条件期望损失R(αi|x)(即条件风险)为R(αi|x)=E[λ(αi,wj)]=Σcj=1 λ(αi,wj)p(wj|x) i=1,2,α 条件风险反映了对某一个x取值采取决策αi所带来的风险。
由于x是随机向量的观察值,对于x的不同观察值,采取决策αi时,其条件风险的大小是不同的。所以将决策α可以看作随机向量x的函数,记为α(x),所以我们定义期望风险为R=∫R(α(x)|x)p(x)dx。期望风险反映了对整个特征空间上所有x的值所采取相应的决策α(x)所带来的平均风险。最小风险贝叶斯决策规则为如果R(αk|x)= m i n i=1,2..αR(αi|x),则α=αk

3.限定一类错误率条件下使另一类错误率为最小的两类决策
在两类别决策问题中,有犯两种错误的可能性,一种是在采取决策w1时其实际自然状态为w2;另一种是在采取决策w2时其实际自然状态为w1,这两种错误的概率分别是p(w2)•p2(e)和p(w1)•P1(e),最小错误率贝叶斯决策是使这两种错误率之和p(e)为最小。由于先验概率对具体问题来说往往是确定的,所以一般称P1(e),P2(e)为两类错误率。实际中,有时要求限制其中某一类错误率不得大于某个常数而使另一类错误率尽可能的小。这样的决策可以看成在P2(e)=ε0条件下,求P1(e)极小值的条件极值问题。可以用条件极值的Lagrange乘子法。建立的数学模型为γ=P1(e)+λ(P2(e)-ε0)其中λ是Lagrange乘子,目的是求γ的极小值。当求的最佳的λ及两类决策的分界面t时能使γ极小,此时的决策规则为:
如果λp(x|w2)><p(x|w1),则x属于w1w2

4.最小最大决策
从最小错误率和最小风险贝叶斯决策中可以看出其决策都是与先验概率p(wi)有关的。如果给定的x,其p(wi)不
变,按照贝叶斯决策规则,可以使错误率和风险最小。但是如果p(wi)是可变的,或事先对先验概率毫不知道的情况下,
若再按某个固定的p(wi)条件下的决策进行就往往得不到最小错误率或最小风险。而最小最大决策就是考虑在p(wi)变
化的情况下,如何使最大可能的风险为最小,也就是在最差的条件下争取到最好的结果。
对于两类问题假设损失函数为
λ11———当x∈w1时决策为x∈w1;λ21--当x∈w1时决策为x∈w2;
λ22———当x∈w2时决策为x∈w2;λ12--当x∈w1时决策为x∈w2;
通常作出错误决策比作出正确决策所带来的损失要大,即λ21>λ11及λ12>λ22。
再假定决策域 和 已经确定,则风险R可按公式得出
R=∫R(α(x)|x)p(x)dx=∫ R(α1|x)p(x)dx+∫ R(α2|x)p(x)dx=∫ [λ11p(w1)p(x|w1)dx+λ12p(w2)p(x|w2)]dx
+∫ [λ21p(w1)p(x|w1)+λ22p(w2)p(x|w2)]dx
我们的目的是分析风险R与先验概率p(w1)之间的关系。最小最大决策的任务就是寻找贝叶斯风险为最大时的决策域
R1或R2,它对应于
(λ11-λ22)+(λ21-λ11)∫ p(x|w1)dx-(λ12-λ22)∫ p(x|w2)dx=0的解。风险R为:
R=λ22+(λ12-λ22)∫ p(x|w2)dx=α
因此在做最小最大贝叶斯决策时,若考虑p(w1)有可能改变或对先验概率毫不知晓的情况下,应选择贝叶斯风险R
为最大值时的p(w1)来设计分类器,此时能保证其风险相对于其它的p(w1)为最大,而能保证在不管p(w1)如何变化,使
最大最小风险为最小,我们称这样的决策为最小最大决策。

5.序贯分类法
上述的分类决策都认为d个特征都同时给出且不考虑获取特征所花的代价。而在实际的应用中却要考虑获取特征
的代价。因此可能出现这样的情况,获取k个特征(k<d)后就能做判断为合理。这是因为其余的d-k个特征的加入使
分类错误降低而造成的代价的减少补偿不了获取这些特征所花费的代

[点击查看全文,本网站论文均来自互联网,仅供学生学习、参考之用,版权归原作者所有,如有版权问题请联系QQ:1900810140 删除]

贝叶斯定理决策规则及Bayes思想总结相关推荐

  1. 概率论的学习整理5:贝叶斯(bayes)法则和贝叶斯概率

    1 贝叶斯(bayes)概率的思考过程 我觉得,bayes公式需要先理解条件概率,全概率公式才行 纯从bayes公式的角度,其实是从 条件概率P(B | A) 开始,推导到联合概率P(AB) / P( ...

  2. 贝叶斯分类器用于文本分类: Multinomial Naïve Bayes

    简介 贝叶斯分类器是基于贝叶斯理论的分类器,在NLP(自然语言处理)领域有着广泛的应用,如垃圾邮件检测,个人邮件排序,文本分类,色情内容检测等等.由于贝叶斯分类器是基于贝叶斯理论的,因此使用该分类器时 ...

  3. yolov3算法优点缺点_优点缺点

    yolov3算法优点缺点 Naive Bayes: A classification algorithm under a supervised learning group based on Prob ...

  4. 朴素贝叶斯和贝叶斯估计_贝叶斯估计收入增长的方法

    朴素贝叶斯和贝叶斯估计 Note from Towards Data Science's editors: While we allow independent authors to publish ...

  5. 大数据 机器学习 分类算法_13种用于数据科学的机器学习分类算法及其代码

    大数据 机器学习 分类算法 The roundup of most common classification algorithms along with their python and r cod ...

  6. 朴素贝叶斯算法以及案例

    朴素贝叶斯算法以及案例 大家好,我是W 这次给大家带来朴素贝叶斯算法,贝叶斯分类是一类分类算法的总称,其基础都是贝叶斯定理.要理解该算法就需要先理解其背后的概率知识,我会尽量详细地给大家讲解清楚.所以 ...

  7. MAP 最大后验——利用经验数据获得对未观测量的点态估计

    Map (最大后验) 在贝叶斯统计学中,最大后验(Maximum A Posteriori,MAP)估计可以利用经验数据获得对未观测量的点态估计.它与Fisher的最大似然估计(Maximum Lik ...

  8. Perameter estimation for text analyse (下)

    文章目录 5. Latent Dirichlet allocation 5.1 Mixture modelling 5.2 Generative model 5.3 Likelihood 5.4 In ...

  9. 最大后验概率(MAP)- maximum a posteriori(转载)

    原文:http://student.csdn.net/space.php?uid=119638&do=blog&id=11801 在统计学中,最大后验(英文为Maximum a pos ...

  10. 最大后验概率(MAP)- maximum a posteriori

    原文:http://student.csdn.net/space.php?uid=119638&do=blog&id=11801 在统计学中,最大后验(英文为Maximum a pos ...

最新文章

  1. Lambda 表达式基础理论与示例
  2. 老谢oracle视频笔记_day02
  3. GNU Wget 命令及其参数说明
  4. Java中的String、StringBuffer、StringBuilder的区别和使用范围
  5. 深度学习和目标检测系列教程 21-300:deepsorts测试小车经过的时间和速度
  6. Bootstrap简介及Bootstrap里的栅格系统col-md/sm/xs-x;
  7. 字符串的拆分以及分隔符所在不同位置的删除
  8. Aladdin and the Flying Carpet (素数打表+正整数的唯一分解定理,找因数对)
  9. WampServer
  10. 如果打开MSSQL server 显示无项目的解决方法
  11. 面试python说会为什么_Python面试必须要看的15个问题
  12. 关于VGGNet网络结构浅谈(主要是VGG16结构)
  13. [Protues]protues8使用示波器制作李沙育图形
  14. 未认证小程序关联已认证公众号,复用公众号资质快速进行认证
  15. C++基础习题(计算三角形斜边)
  16. 个人总结 onSaveInstanceState方法会在什么时候被执行
  17. python统计元音字母出现的次数,python统计元音字母个数 python输出元音字母
  18. 乐千业:税务筹划对企业的经营到底有多重要呢
  19. 零基础也能看懂的五大网络安全技术,学网络安全真的可以很简单
  20. 聊城市普通话水平测试软件音频,聊城市普通话水平测试培训-聊城市教师教育网.ppt...

热门文章

  1. jQuery中animate()的方法以及$(body).animate({scrollTop:top})不被Firefox支持问题的解决...
  2. 使用WMI编程获取主机硬件信息(续)
  3. It's a beautiful world!
  4. PostgreSQL常用查看命令
  5. 用条件运算符编写程序判断一个人的体重是否为标准体重
  6. 小试牛刀--编程实现获取计算机的IP地址和计算机名
  7. 意大利面条:面向过程的代码模型
  8. The C Programming Language
  9. MySQL授权root
  10. sizeof和strlen区别