贝叶斯系列：（三）贝叶斯网络

贝叶斯网络是一种信念网，基于有向无环图来刻画属性之间的依赖关系的一种网络结构，并使用条件概率表（CPT）来描述联合概率分布。
具体来所，一个贝叶斯网络B由结构G和参数两部分构成，B=（G, θ），网络结构G是一个有向无环图，点对应每一个属性，设父节点为π，所以包含了每个属性的条件概率表为，如图所示：

结构
以结构表达了属性之间的条件独立性，给定父节点集，假设每个属性与它的非后裔属性独立，于是有联合概率分布定义为：

两个变量通过第三个中间变量的连接方式主要有顺连、分连、汇连这三种连接形式（图1-3）。

（1）顺连（图1-3a）
当z未知时，变量x的变化会影响z的置信度的变化，从而间接影响y的置信度，所以此时x间接影响y，x和y不独立。当变量z的置信度确定时，x就不能影响z，从而不能影响y，此时x和y独立，因为此时x和y的通道被阻断了。
（2）分连（图1-3b）
对于图b，分连代表一个原因导致多个结果，当变量z已知时，变量x和y之间就不能相互影响，是独立的，而当变量z未知时，z可以在变量x和y之间传递信息，从而使变量x和y相互影响从而不独立。
（3）汇连（图1-3c）
汇连与分连恰好相反，代表多个原因导致一个结果，并且当变量z已知时，变量x的置信度的提高会导致变量y的置信度的降低，从而x和y之间会相互影响所以是不独立的。而当z未知时，变量x和y之间置信度互不影响，他们之间是独立的。
故对于一个复杂的DAG,可定义这样一个结论（即D-分离）：设E是一个DAG且包含A,B,C三个节点结合，为了判断A,B是否关于C条件独立，考虑E中所有A,B之间的无向路径满足以下条件的一条，则称这条路径是被阻断的：
（1）路径中的某个节点X满足顺连或分连的连接方式，并且X属于C
（2）路径中的节点X满足汇连的方式，并且X或X的子节点不属于C
如果连接A和B的所有路径都被阻断的，那么A和B是关于C条件独立的，否则A和B是不关于C条件独立的。

道德图
道德图是先找到结构中的汇连结构，并在汇连结构中的父节点上加上一条无向边，把结构中的所有有向边变为无向边，便形成了道德图，令父节点相连的过程称为“道德化”。
基于道德图能够迅速找到变量间的条件独立性，假定道德图中有变量x，y和变量集z={zi}，若变量x和y能在图上被z分开，从道德图中将变量集合z去除后，x和y分别属于两个连通分支，即由z分成两个图，则称x和y被z有向分离，x⊥y|z成立（即x和y关于z条件独立）将上图道德化之后得到右图，

所以i⊥l|g，g⊥s|i，d⊥l|g。

学习
若已知结构，只需要学习参数即可，然后估计出条件概率表即可。但现实中并不知晓网络结构，于是贝叶斯网络就是找出结构最巧当的贝叶斯网络，常用“评分搜索”的方法来进行结构好坏的评判，，就是先定义一个评分函数，然后评估贝叶斯网络与训练数据集的契合程度，然后基于评分函数来寻找最优网络结构。
评分函数是基于信息论的原则，即找到一个能以最短编码长度来描述训练数据的模型。长度包括模型自身的长度和描述该模型所需的参数的字节长度。
给定训练集在数据集D上的评分函数为：

为贝叶斯网络B的对数似然，所以（15）中第一项是计算编码贝叶斯网络所需的参数的字节数，第二项是计算需要结构B所对应的Pb需要多少个字节来描述数据集D，故贝叶斯网络就是寻找结构使评分函数s（B|D）最小。

若f（θ）=1，即每个参数用一个字节描述，则得到AIC评分函数(AIC信息准则即Akaike information criterion，是衡量统计模型拟合优良性的一种标准，由于它为日本统计学家赤池弘次创立和发展的，因此又称赤池信息量准则，它建立在熵的概念基础上，可以权衡所估计模型的复杂度和此模型拟合数据的优良性。

若贝叶斯网络B的网络结构G固定，则评分函数s（B|D）的第一项是固定的，所以最小化评分函数就转化为参数θ最大似然函数估计，参数能够直接在训练数据集D上通过经验估计获得即：

所以若结构一致，则需要对参数进行最大似然估计即可得到结构和参数。
但是从所有的网络结构空间进行搜索最优网络结构是一个NP问题，难以快速求解，一般有两种常用的方法快速求解：贪心算法：假设现有结构为最优，每次调整一条边（增加、删除、改变方向）直到评分函数值最低为止；第二种直接通过网络结构增加约束来减少搜索空间，例如将网络结构限定为树形结构等。

贝叶斯系列：（三）贝叶斯网络相关推荐

贝叶斯系列——贝叶斯定理、贝叶斯决策、朴素贝叶斯、贝叶斯网络、贝叶斯滤波器
写一个贝叶斯系列,整理一下贝叶斯定理.贝叶斯决策.朴素贝叶斯.贝叶斯网络.贝叶斯滤波器众所周知,概率分为两个学派,频率学派(大数定理)和贝叶斯学派(贝叶斯公式),我们不去判断哪个学派说的更对,但是在 ...
机器学习读书笔记之6 - 贝叶斯系列
概率论只不过是把常识用数学公式表达了出来. --拉普拉斯目录 0. 前言 1. 历史 1.1 一个例子:自然语言的二义性 1.2 贝叶斯公式 2. 拼写纠正 3. 模型比较 ...
有关贝叶斯概率和贝叶斯网络和贝叶斯因果网络的自习笔记
回校一周了,前段时间忙活着组会讨论班的事儿,然后安装了一个Ubuntu的双系统,暂时不想码代码先把一直好奇的贝叶斯网络了解下. 贝叶斯概率首先是贝叶斯概率.贝叶斯作为泥腿子颠覆了前人"事件 ...
朴素贝叶斯算法及贝叶斯网络详述
1.贝叶斯定理先验概率P(A):在不考虑其他的情况下,A事件发生的概率. 条件概率P(B|A):A事件发生的情况下,B事件发生的概率. 后验概率P(A|B):在B事件发生之后,对A事件发生的概率的重 ...
图像算法三 —— 贝叶斯和朴素贝叶斯
文章目录 3. 贝叶斯和朴素贝叶斯贝叶斯和朴素贝叶斯的区别贝叶斯网络的概念朴素贝叶斯的概念朴素贝叶斯分类的数学原理朴素贝叶斯的优缺点 3. 贝叶斯和朴素贝叶斯贝叶斯和朴素贝叶斯的区别朴素 ...
朴素贝叶斯半朴素贝叶斯_使用朴素贝叶斯和N-Gram的Twitter情绪分析
朴素贝叶斯半朴素贝叶斯 In this article, we'll show you how to classify a tweet into either positive or negativ ...
贝叶斯与朴素贝叶斯入门及实战
文章目录什么是贝叶斯朴素贝叶斯原理朴素贝叶斯优点朴素贝叶斯缺点贝叶斯模型高斯分布朴素贝叶斯多项式分布朴素贝叶斯伯努利分布朴素贝叶斯总结贝叶斯实战生成式模型和判别式模型的区别什 ...
python实现贝叶斯优化_贝叶斯优化的并行实现
python实现贝叶斯优化 The concept of 'optimization' is central to data science. We minimize loss by optimizi ...
朴素贝叶斯半朴素贝叶斯_SQL Server中的朴素贝叶斯预测
朴素贝叶斯半朴素贝叶斯 In this article, we will walk through Microsoft Naive Bayes algorithm in SQL Server. 在本 ...
贝叶斯算法c语言,01 贝叶斯算法 - 朴素贝叶斯
引子: 1.孩子的性别问题已知一对夫妻生了2个孩子,其中一个是女孩,那么另一个也是女孩的概率的多少? 普遍大家会觉得生男生女都一样,所以另一个也是女孩的概率是1/2.而另一部分稍微聪明一点的人认为: ...

贝叶斯系列：（三）贝叶斯网络

贝叶斯系列：（三）贝叶斯网络相关推荐

最新文章

热门文章