信息论和贝叶斯（或许会继续补充）

想不到我竟然通过信息论理解了贝叶斯

把已知信源[XP(X)]={x1,x20.5,0.5}\left[ \begin{matrix} X\\P(X) \end{matrix}\right] = \left\{ \begin{matrix} x_1,x_2\\ 0.5,0.5 \end{matrix}\right\} [XP(X)]={x1,x20.5,0.5}接到图2.17所示的信道上，求在该信道上传输的平均互信息量I(X;Y)I(X;Y)I(X;Y)，疑义度H(X/Y)H(X/Y)H(X/Y)，噪声熵H(Y/X)H(Y/X)H(Y/X)，联合熵H(XY)H(XY)H(XY)。
求联合概率
p(xiyi)=p(xi)p(yj/xi)p(x1y1)=p(x1)p(y1/x1)=0.5×0.98=0.49p(x1y2)=p(x1)p(y2/x1)=0.5×0.02=0.01p(x2y1)=p(x2)p(y1/x2)=0.5×0.20=0.10p(x2y2)=p(x2)p(y2/x2)=0.5×0.80=0.40p(x_iy_i)=p(x_i)p(y_j/x_i)\\ p(x_1y_1)=p(x_1)p(y_1/x_1)=0.5\times0.98=0.49\\ p(x_1y_2)=p(x_1)p(y_2/x_1)=0.5\times0.02=0.01\\ p(x_2y_1)=p(x_2)p(y_1/x_2)=0.5\times0.20=0.10\\ p(x_2y_2)=p(x_2)p(y_2/x_2)=0.5\times0.80=0.40 p(xiyi)=p(xi)p(yj/xi)p(x1y1)=p(x1)p(y1/x1)=0.5×0.98=0.49p(x1y2)=p(x1)p(y2/x1)=0.5×0.02=0.01p(x2y1)=p(x2)p(y1/x2)=0.5×0.20=0.10p(x2y2)=p(x2)p(y2/x2)=0.5×0.80=0.40
求YYY各消息的概率
p(yj)=∑i=1nxiyjp(y1)=∑i=12xiy1=p(x1y1)+p(x2y1)=0.49+0.10=0.59p(x1y1)=p(x1)p(y1/x1)=0.5×0.98=0.49p(x2y1)=p(x2)p(y1/x2)=0.5×0.20=0.10p(y2)=∑i=12xiy2=p(x1y2)+p(x2y2)=0.49+0.10=0.41p(x1y2)=p(x1)p(y2/x1)=0.5×0.02=0.01p(x2y2)=p(x2)p(y2/x2)=0.5×0.80=0.40p(y2)=1−p(y1)p(y_j)= \sum_{i = 1} ^n x_iy_j \\ \begin{aligned} &p(y_1) = \sum_{i=1}^2x_iy_1=p(x_1y_1)+p(x_2y_1)=0.49+0.10=0.59\\ &p(x_1y_1)=p(x_1)p(y_1/x_1)=0.5\times0.98=0.49\\ &p(x_2y_1)=p(x_2)p(y_1/x_2)=0.5\times0.20=0.10\\ &p(y_2) = \sum_{i=1}^2x_iy_2=p(x_1y_2)+p(x_2y_2)=0.49+0.10=0.41\\ &p(x_1y_2)=p(x_1)p(y_2/x_1)=0.5\times0.02=0.01\\ &p(x_2y_2)=p(x_2)p(y_2/x_2)=0.5\times0.80=0.40\\ &p(y_2)=1-p(y_1) \end{aligned} p(yj)=i=1∑nxiyjp(y1)=i=1∑2xiy1=p(x1y1)+p(x2y1)=0.49+0.10=0.59p(x1y1)=p(x1)p(y1/x1)=0.5×0.98=0.49p(x2y1)=p(x2)p(y1/x2)=0.5×0.20=0.10p(y2)=i=1∑2xiy2=p(x1y2)+p(x2y2)=0.49+0.10=0.41p(x1y2)=p(x1)p(y2/x1)=0.5×0.02=0.01p(x2y2)=p(x2)p(y2/x2)=0.5×0.80=0.40p(y2)=1−p(y1)
求XXX的各后验概率
p(xiyj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)p(xi/yj)=p(xiyj)p(yj)p(x1/y1)=p(x1y1)p(y1)=p(x1)p(y1/x1)p(y1)=p(x1)p(y1/x1)p(x1y1)+p(x2y1)=0.490.59=0.831p(x2/y1)=p(x2y1)p(y1)=p(x2y1)p(x1y1)+p(x2y1)=1−p(x1/y1)=0.169p(x1/y2)=p(x1y2)p(y2)=0.010.41=0.024p(x2/y2)=1−p(x1y1)=0.976\begin{aligned} &p(x_iy_j)=p(x_i)p(y_j/x_i)=p(y_j)p(x_i/y_j)\\ &p(x_i/y_j)=\frac{p(x_iy_j)}{p(y_j)}\\ &p(x_1/y_1)=\frac{p(x_1y_1)}{p(y_1)}=\frac{p(x_1)p(y_1/x_1)}{p(y_1)}=\frac{p(x_1)p(y_1/x_1)}{p(x_1y_1)+p(x_2y_1)}=\frac{0.49}{0.59}=0.831\\ &p(x_2/y_1)=\frac{p(x_2y_1)}{p(y_1)}=\frac{p(x_2y_1)}{p(x_1y_1)+p(x_2y_1)}=1-p(x_1/y_1)=0.169\\ &p(x_1/y_2)=\frac{p(x_1y_2)}{p(y_2)}=\frac{0.01}{0.41}=0.024\\ &p(x_2/y_2)=1-p(x_1y_1)=0.976 \end{aligned} p(xiyj)=p(xi)p(yj/xi)=p(yj)p(xi/yj)p(xi/yj)=p(yj)p(xiyj)p(x1/y1)=p(y1)p(x1y1)=p(y1)p(x1)p(y1/x1)=p(x1y1)+p(x2y1)p(x1)p(y1/x1)=0.590.49=0.831p(x2/y1)=p(y1)p(x2y1)=p(x1y1)+p(x2y1)p(x2y1)=1−p(x1/y1)=0.169p(x1/y2)=p(y2)p(x1y2)=0.410.01=0.024p(x2/y2)=1−p(x1y1)=0.976
求信源熵和联合熵
H(X)=∑i=12p(xi)log1p(xi)=−(0.5log0.5+0.5log0.5)=1(比特/符号)H(Y)=∑j=12p(yj)log1p(yj)=−(0.59log0.59+0.41log0.41)=0.98(比特/符号)H(XY)=∑i=12∑j=12p(xiyj)log1p(xiyj)=−(0.49log0.49+0.01log0.01+0.10log0.10+0.40log0.40)=1.43(比特/两个符号)\begin{aligned} &H(X)=\sum_{i=1}^2p(x_i)log\frac{1}{p(x_i)}=-(0.5log0.5+0.5log0.5)=1(比特/符号)\\ &H(Y)=\sum_{j=1}^2p(y_j)log\frac{1}{p(y_j)}=-(0.59log0.59+0.41log0.41)=0.98(比特/符号)\\ &H(XY)=\sum_{i=1}^2\sum_{j=1}^2p(x_iy_j)log\frac{1}{p(x_iy_j)}\\&=-(0.49log0.49+0.01log0.01+0.10log0.10+0.40log0.40)\\ &=1.43 (比特/两个符号) \end{aligned} H(X)=i=1∑2p(xi)logp(xi)1=−(0.5log0.5+0.5log0.5)=1(比特/符号)H(Y)=j=1∑2p(yj)logp(yj)1=−(0.59log0.59+0.41log0.41)=0.98(比特/符号)H(XY)=i=1∑2j=1∑2p(xiyj)logp(xiyj)1=−(0.49log0.49+0.01log0.01+0.10log0.10+0.40log0.40)=1.43(比特/两个符号)
平均互信息
I(X;Y)=H(X)+H(Y)−H(XY)=1+0.98−1.43=0.55(比特/符号)I(X;Y)=H(X)+H(Y)-H(XY)=1+0.98-1.43=0.55(比特/符号) I(X;Y)=H(X)+H(Y)−H(XY)=1+0.98−1.43=0.55(比特/符号)
疑义度
H(X/Y)=∑i=12∑j=12p(xiyj)log1p(xi/yj)=−(0.49log0.831+0.01log0.24+0.10log0.169+0.40log0.967)=0.45(比特/符号)\begin{aligned} &H(X/Y)=\sum_{i=1}^2\sum_{j=1}^2p(x_iy_j)log\frac{1}{p(x_i/y_j)}\\&=-(0.49log0.831+0.01log0.24+0.10log0.169+0.40log0.967)\\ &=0.45 (比特/符号) \end{aligned} H(X/Y)=i=1∑2j=1∑2p(xiyj)logp(xi/yj)1=−(0.49log0.831+0.01log0.24+0.10log0.169+0.40log0.967)=0.45(比特/符号)
噪声熵
H(Y/X)=∑i=12∑j=12p(xiyj)log1p(yj/xi)=−(0.49log0.98+0.01log0.02+0.10log0.20+0.40log0.80)=0.43(比特/符号)\begin{aligned} &H(Y/X)=\sum_{i=1}^2\sum_{j=1}^2p(x_iy_j)log\frac{1}{p(y_j/x_i)}\\&=-(0.49log0.98+0.01log0.02+0.10log0.20+0.40log0.80)\\ &=0.43 (比特/符号) \end{aligned} H(Y/X)=i=1∑2j=1∑2p(xiyj)logp(yj/xi)1=−(0.49log0.98+0.01log0.02+0.10log0.20+0.40log0.80)=0.43(比特/符号)

信息论和贝叶斯（或许会继续补充）相关推荐

信息论与贝叶斯（二）
选自<信息论(第四版)--基础理论与应用>傅祖芸编著P121T3.4P121 T3.4P121T3.4,解答抄答案设有一批电阻,按阻值分70%70\%70%是2KΩ2K\Omega2KΩ ...
sklearn自学指南(part56)--朴素贝叶斯
学习笔记,仅供参考,有错必究' 文章目录朴素贝叶斯高斯朴素贝叶斯多项朴素贝叶斯(Multinomial Naive Bayes) 补充朴素贝叶斯( Complement Naive Bayes) ...
贝叶斯线性回归方法的解释和优点
本文对比了频率线性回归和贝叶斯线性回归两种方法,并对后者进行了详细的介绍,分析了贝叶斯线性回归的优点和直观特征. 我认为贝叶斯学派和频率学派之间的纷争是「可远观而不可亵玩」的学术争论之一.与其热衷于站 ...
机器学习：贝叶斯分类器
一.贝叶斯网络 1.(补充)先验概率与后验概率先验概率:指根据以往经验和分析. 在实验或采样前就可以得到的概率后验概率:指某件事已经发生,想要计算这件事发生的原因是由某个因素引起的概率. 2.(补 ...
sklearn中的朴素贝叶斯算法
sklearn中的朴素贝叶斯分类器之前理解朴素贝叶斯中的结尾对sklearn中的朴素贝叶斯进行了简单的介绍. 此处对sklearn中的则对sklearn中的朴素贝叶斯算法进行比较详细介绍.不过手下还 ...
概率论信息论基础（随机变量、常用概率分布、贝叶斯规则、信息论基础、结构化概率模型）
目录随机变量及其概率分布独立性期望方差协方差常用概率分布常用函数贝叶斯规则信息论基础结构化概率模型如果这篇文章对你有一点小小的帮助,请给个关注喔~我会非常开心的~ 随机变量及其概率分 ...
贝叶斯网专题1：信息论基础
文章目录贝叶斯网专题前言第一部分:贝叶斯网基础 1.1 信息论基础 1.1.1 预备数学知识:Jensen不等式 1.1.2 熵 1.1.3 联合熵.条件熵.互信息 1.1.4 交叉熵和相对熵(K ...
超参数优化（网格搜索和贝叶斯优化）
超参数优化 1 超参数优化 1.1 网格搜索类 1.1.1 枚举网格搜索 1.1.2 随机网格搜索 1.1.3 对半网格搜索(Halving Grid Search) 1.2 贝叶斯超参数优化(推荐) ...
大数据背后的神秘公式(下)：“贝叶斯革命”
在上一篇文章<大数据背后的神秘公式(上):贝叶斯公式>中我们讲到贝叶斯公式在联邦党人文集作者公案和天蝎号核潜艇搜救中大显身手后,开始引起学术界的注意和重视,而其上世纪八十年代在自然语言处理 ...

信息论和贝叶斯（或许会继续补充）

信息论和贝叶斯（或许会继续补充）相关推荐

最新文章

热门文章