贝叶斯网络(BN)的理解

贝叶斯网络：用点表示事件的条件概率，用边表示事件依赖关系的有向无环图（DAG）。

1.在贝叶斯往来中描述概率的方式是每个节点上的条件概率分布（CPD）;

2.贝叶斯网络的实质是对联合概率的描述。

事件状态	可枚举值	二项分布or多项分布
	连续变量	连续变量离散化后进行多项式分布
		在CPD中引入连续分布，如高斯分布N( $\mu,\sigma$ )

以典型贝叶斯问题为例：天气影响小林与女朋友当晚是否会有电话、是否会见面；当晚见面与否会影响是否会有电话的概率；女友在建模或者电话中都有肯问小林要礼物；是否索要礼物不与天气直接产生关系，但实际通过另两个结点有间接关系。其中的CPD和DAG如下所示：

事件abcd皆为可枚举值，其中每个节点的状态只有两种，于是概率采用二项分布。假设天气情况分为晴阴雨雪四种，见面分为不见面、校内见面、校外见面，那么可能见面事件为多项式分布，CPD如下所示：

条件a（天气）	P(b=0)	P(b=1)	P(b=2)
0（晴）	0.6	0.2	0.2
1（阴）	0.2	0.3	0.5
2（雨）	0.1	0.5	0.4
3（雪）	0.3	0.7	0

假如礼物金额为连续变量，引入高斯分布：

条件b(见面)	条件c（电话）	P(d)
0	0	$N(\mu_{1},\sigma_{1})$
0	1	$N(\mu_{2},\sigma_{2})$
1	0	$N(\mu_{3},\sigma_{3})$
1	1	$N(\mu_{4},\sigma_{4})$

3.联合/边缘/条件概率换算

a.联合概率分布：P(a,b,c,...,n)，其中a,b,c,...,n为系统中的所有变量；

b.边缘概率分布：边缘概率的表达方式与联合概率一样，区别是通过边缘概率查询概率时只需给出系统中的部分变量，比如：g(a,b),g(b,d,g,n),g(b)......；

c.条件概率分布：P(a,b|i=?,j=?)表示在已知某些变量(i,j)的的情况下求另一些变量(a,b)给定值的概率；

d.用联合分布求边缘分布：已知联合概率分布函数f(x,y,z)，求边缘分布g(y)

$g(y)=\underset{-\infty}{\int\int} f(x,y,z)dxdy$

对于离散变量，也就是

$g(y)=\sum_{z} \sum_{x}f(x,y,z)$

e.用联合概率分布求条件概率分布

类似：根据小林与女友是否有过电话，问天气如何，

$P(x|y=?)=\frac{P(x,y=?)}{P(y=?)}$

假设有电话为1，那么P(x|y=1)就是小林与女友有过电话，问天气如何。

f.用条件概率和边缘概率求联合概率分布：P(x,y)=P(x|y)P(y)

根据链式法则：P(a,b,c,d)=P(a)P(b|a)P(c|a,b)P(d|b,c)

变量消元：

网络构建（三步）：1.确定领域中有哪些是重要的变量以及其分布；

2.确定DAG图结构；

3.学习网络中每个节点CPD中的参数（即，监督学习中的参数估计）

网络参数估计：假设D为所有训练数据集，A为CPD参数

a.最大似然估计（https://www.cnblogs.com/sylvanas2012/p/5058065.html）

由贝叶斯公式 $P(A|D)=\frac{P(D|A)P(A)}{P(D)}$ 可得似然度为式中的P(D|A)，最大似然估计就是求如下目标中A的值：

$\underset{A}{argmax}P(D|A)$

最大似然估计完全凭数据说话，没有办法加入任何人类的已有经验。

b.最大后验估计：把优化目标由似然度函数变为了后验函数，通过人为输入先验概率P(A)得到优化目标。

优化目标：（由于无论A取值如何都不影响P(D)的值，因此后两公式等价）

$\underset{A}{argmax}P(A|D)=\underset{A}{argmax}\frac{P(D|A)P(A)}{P(D)}=\underset{A}{argmax}P(D|A)P(A)$

取对数得到：

$\underset{A}{argmax}Pr(A|D)=\underset{A}{argmax} logPr(A|D)=\underset{A}{argmax} (logP(D|A)+logP(A))$

两种参数估计都可以用数学推导或梯度下降的方法求解。

贝叶斯网络(BN)的理解相关推荐

[人工智能AI]之贝叶斯网络
[人工智能AI]之贝叶斯网络(Bayesian network) 部分图片和来源自: NJU-人工智能-高阳教授的课件通俗地讲,贝叶斯网络就是用一组有向无环图,表示多个事件的因果依赖关系,并借此完 ...
Stanford概率图模型：第一讲有向图-贝叶斯网络
原文链接(系列):http://blog.csdn.net/yangliuy/article/details/8067261 概率图模型(Probabilistic Graphical Model)系 ...
贝叶斯网络python代码_贝叶斯网络，看完这篇我终于理解了(附代码)！
1. 对概率图模型的理解概率图模型是用图来表示变量概率依赖关系的理论,结合概率论与图论的知识,利用图来表示与模型有关的变量的联合概率分布.由图灵奖获得者Pearl开发出来. 如果用一个词来形容概率图 ...
机器学习题库整理通俗理解贝叶斯方法和贝叶斯网络
1 贝叶斯方法长久以来,人们对一件事情发生或不发生的概率,只有固定的0和1,即要么发生,要么不发生,从来不会去考虑某件事情发生的概率有多大,不发生的概率又是多大.而且概率虽然未知,但最起码是一个确定的 ...
贝叶斯网络，看完这篇我终于理解了！
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨mantch@知乎来源丨https://zhuanlan.z ...
科普篇：贝叶斯网络中的置信度传播
https://www.toutiao.com/a6695926161593074183/ 在本文中,我将使用置信度传播算法(BP)和一些示例数据.开始本文之前我默认您是了解贝叶斯网络的(BN),这篇 ...
机器学习-白板推导-系列（九）笔记：概率图模型: 贝叶斯网络/马尔可夫随机场/推断/道德图/因子图
文章目录 0 笔记说明 1 背景介绍 1.1 概率公式 1.2 概率图简介 1.2.1 表示 1.2.2 推断 1.2.3 学习 1.2.4 决策 1.3 图 2 贝叶斯网络 2.1 条件独立性 2. ...
贝叶斯条件概率/贝叶斯网络
一.TL;DL 条件概率的公式:P(AB)=P(A)P(B|A)=P(B)P(A|B):即事件A和事件B同时发生的概率等于在发生A的条件下B发生的概率乘以A的概率. 贝叶斯公式:由条件概率公式推导出 ...
贝叶斯网络--概率推理
一.概述贝叶斯网络是用来表示变量间连接概率的图形模式,它提供了一种自然的表示因果信息的方法,用来发现数据间的潜在关系.在这个网络中,用节点表示变量,有向边表示变量的依赖关系. 贝叶斯方法以其独特的不 ...

贝叶斯网络(BN)的理解

贝叶斯网络(BN)的理解相关推荐

最新文章

热门文章