http://blog.csdn.net/pipisorry/article/details/52578631

本文讨论（完备数据的）贝叶斯网的参数估计问题：贝叶斯网的MLE最大似然估计和贝叶斯估计。假定网络结构是固定的，且假定数据集D包含了网络变量的完全观测实例。

参数估计的主要方法有两种：一种基于最大的似然的估计；一种是使用贝叶斯方法。

贝叶斯网的MLE参数估计

最大似然估计MLE

[参数估计：最大似然估计MLE ]

简单示例：局部似然函数

仅包含两个二元变量的网络，即弧

从上看出，似然函数被分解为两项，且每一项对应一个变量。每一项都是一个局部的似然函数，度量了在给定其父节点时预测变量的性能。每一项都只依赖于变量的CPD的参数。

考虑分解的两个单独项

第一项与前面的多项式似然函数一样。

第二项进一步分解：似然函数的可分解性

局部似然函数分解

同理可得theta y0|x0。但是后面有一个更简单更紧凑的使用CPD表方式快速同时计算这两个参数的方法。

变量集合的各种赋值的计数

全局似然分解：转换为局部似然函数

注意，贝叶斯网中节点代表的是随机变量（也就是每个样本的维度，而不是每个样本）。样本数目为m，维度数为i。

似然函数的全局分解

全局似然分解成局部似然函数乘积

Note: 方括号中的每一项表示网络中一个特定变量在给定父节点时的条件似然。

结论

CPD表：进一步分解局部似然函数

参数的选择决定了我们最大化每个局部似然函数的方法。现考虑一种可能是CPD最简单的参数化：CPD表（table-CPD）。

贝叶斯网局部MLE的进一步分解

方框项独立最大化

也就是说，之前简单的示例中我们是分别计算p(x0|u0)p(x1|u0)，现在通过式17.5出现次数（更紧凑的表示）一次同时计算出2个参数p(x0|u0)p(x1|u0)了。

Note: 式17.5就是通过MLE估计出的贝叶斯网的参数计算公式。

数据碎片与过拟合：缺少可靠的大量估计参数的数据

高斯贝叶斯网*

。。。

专栏17.B——概念：非参数模型

作为M-投影的最大似然估计*

。。。

皮皮blog

MAP估计

[参数估计：文本分析的参数估计方法]

皮皮blog

贝叶斯网的贝叶斯参数估计

贝叶斯框架要求在未知的参数和数据实例上指定一个联合分布。与单个参数的情况一样，可以将参数和数据上的联合分布理解为一个贝叶斯网。

贝叶斯参数估计

[参数估计：贝叶斯思想和贝叶斯参数估计 ]

参数独立性与全局分解

简单的例子

图7中的b

全局参数独立性：假设要估计参数之间独立

这里有一个假设：网络结构体现出单个参数变量的先验是先验独立的（没有观测到数据时就是独立的）。即我们认为知道其中一个参数的参数值并不能告诉我们另一个参数的任何信息。更确切的有如下定义

同时，如果参数变量是先验独立的，那么观测到数据时，也可以得到它们是后验独立的。也就是说，如果这两个参数是独立的先验，那么它们也是独立的后验。

也就是后验可以用紧凑的因子分解的形式表达。

一般的网络

假定已经给定了一个具有参数theta的网络结构G。

所以，从上面最终的公式中可以看出，这个和MLE很相似，剩下要做的就是先验p(thetax|pax)的确定上了（其中p(thetax我们已经知道了，如Dirichlet分布)）。

预测

局部分解和贝叶斯网学习的先验分布

通过对局部贝叶斯估计问题求解来得到全局贝叶斯解。

theta x的后验

theta y|x的后验

上面独立先验的证明：

theta y|x的狄利克雷分布先验

预测和参数估计

此式应该也就是贝叶斯网的贝叶斯参数估计计算公式。

贝叶斯网学习的先验分布参数的确定

专家赋值、K2先验（相同的固定先验）、利用先验数据集（等价于MLE了）、BDe先验分布。

先验对参数估计的影响：MLE和不同强度alpha贝叶斯估计的比较

专栏17.C

检验了MLE方法和一些贝叶斯方法，所有方法使用了统一的先验均值和不同的先验强度alpha。

from: http://blog.csdn.net/pipisorry/article/details/52578631

ref: [《Probabilistic Graphical Models：Principles and Techniques》(简称PGM)]

PGM：贝叶斯网的参数估计相关推荐

贝叶斯网的R实现（ Bayesian networks in R）bnlearn(3)
4.参数学习得到贝叶斯网的网络结构之后,可以对局部分布的参数进行参数估计了,这称作参数学习. 4.1参数学习的基本方法 bnlearn包的参数学习函数是bn.fit,其参数method给出了两种具体 ...
贝叶斯网专题11：参数学习之极大似然估计
第一部分:贝叶斯网基础 1.1 信息论基础 1.2 贝叶斯网基本概念 1.3 变量独立性的图论分析第二部分:贝叶斯网推理 2.1 概率推理中的变量消元方法 2.2 团树传播算法 2.3 近似推理 2 ...
贝叶斯网专题12：参数学习之贝叶斯估计
第一部分:贝叶斯网基础 1.1 信息论基础 1.2 贝叶斯网基本概念 1.3 变量独立性的图论分析第二部分:贝叶斯网推理 2.1 概率推理中的变量消元方法 2.2 团树传播算法 2.3 近似推理 2 ...
贝叶斯网专题1：信息论基础
文章目录贝叶斯网专题前言第一部分:贝叶斯网基础 1.1 信息论基础 1.1.1 预备数学知识:Jensen不等式 1.1.2 熵 1.1.3 联合熵.条件熵.互信息 1.1.4 交叉熵和相对熵(K ...
从朴素贝叶斯到贝叶斯网
回顾在文章<朴素贝叶斯>中,小夕为大家介绍了朴素贝叶斯模型的基本知识,并且得出了朴素贝叶斯是利用联合概率P(x1,x2,x3...xn,y)来确定某个样本为某个类别的概率,进而利用最大后 ...
贝叶斯网的R实现（ Bayesian networks in R）bnlearn(4)
贝叶斯网络的推理(inference) (1)推理问题在了解如何构造贝叶斯网络之后,下面我们考虑如何利用贝叶斯网络来进行推理.贝叶斯网络的推理是对某些变量当给定其它变量的状态作为证据时如何推断它们的 ...
贝叶斯网的R实现（ Bayesian networks in R）bnlearn(2)
3.结构学习上面我们采用一个预先设定的结构建立了一个关于marks的贝叶斯网.这种方式在某些情况下(比如存在先验的专家知识)是合适的.但是对大多数的贝叶斯网络,我们需要从数据中学习网络. 3.1贝叶 ...
贝叶斯网的R实现（ Bayesian networks in R）bnlearn(1)
1.bayesian networks的一些基本概念贝叶斯网bayesian networks是一种有向无环图模型(DAG),可表示为G=(V,A).其中V是节点的集合,节点表示随机变量:A是弧(或 ...
机器学习--贝叶斯网
++Bayesian network 1-概念 2-DAG示例 3-BN结构 4-BN中3个变量之间的依赖关系 5-吉布斯采样算法 6-代码部分 0-自定义贝叶斯网络 1-搜索所有网络结构 2-启发式 ...
贝叶斯网专题4：概率推理中的变量消元方法
文章目录第一部分:贝叶斯网基础 [1.1 信息论基础](https://blog.csdn.net/deepbodhi/article/details/119823055) [1.2 贝叶斯网基本概 ...

PGM：贝叶斯网的参数估计