信息熵

离散随机变量XXX的熵为自信息的平均值，记为H(X)H(X)H(X)：H(X)=Ep(x)[I(x)]=Ep(x)[−log⁡p(x)]=−∑xp(x)log⁡p(x)H(X)=\underset{p(x)}{E}\left[I(x)\right]=\underset{p(x)}{E}\left[-\log{p(x)}\right]=-\sum\limits_x{p(x)\log{p(x)}}H(X)=p(x)E[I(x)]=p(x)E[−logp(x)]=−x∑p(x)logp(x)其中，I(x)I(x)I(x)表示事件xxx的自信息；Ep(x)\underset{p(x)}{E}p(x)E表示对随机变量用p(x)p(x)p(x)取算术平均。
信息熵H(X)H(X)H(X)在平均意义上表征了信源的总体特征。在信源输出前，表示信源的平均不确定度。在信源输出后，表示一个信源符号所提供的平均信息量。

条件熵

条件熵为联合集XYXYXY熵的条件自信息I(y∣x)I(y|x)I(y∣x)的平均值：H(Y∣X)=Ep(xy)[I(y∣x)]=−∑x∑yp(xy)log⁡p(y∣x)=∑xp(x)[−∑yp(y∣x)log⁡p(y∣x)]=∑xp(x)H(Y∣x)H(Y|X)=\underset{p(xy)}{E}[I(y|x)] \\=-\sum\limits_x\sum\limits_y{p(xy)\log{p(y|x)}} \\=\sum\limits_x{p(x)\left[-\sum\limits_y{p(y|x)\log{p(y|x)}}\right]} \\=\sum\limits_x{p(x)H(Y|x)}H(Y∣X)=p(xy)E[I(y∣x)]=−x∑y∑p(xy)logp(y∣x)=x∑p(x)[−y∑p(y∣x)logp(y∣x)]=x∑p(x)H(Y∣x)

联合熵

联合集XYXYXY上联合自信息I(xy)的平均值称为联合熵，即H(XY)=Ep(xy)[I(xy)]−∑x∑yp(xy)log⁡p(xy)H(XY)=\underset{p(xy)}{E}[I(xy)] \\-\sum\limits_x\sum\limits_y{p(xy)\log{p(xy)}} H(XY)=p(xy)E[I(xy)]−x∑y∑p(xy)logp(xy)联合熵可表示为H(XY)=H(X)+H(X∣Y)=H(Y)+H(Y∣X)H(XY)=H(X)+H(X|Y)=H(Y)+H(Y|X)H(XY)=H(X)+H(X∣Y)=H(Y)+H(Y∣X)

平均互信息

平均互信息为互信息在联合概率空间中的统计平均值。集合XXX和YYY之间的平均互信息可以看作xxx、yyy之间互信息的平均值，表示从XXX得到的关于YYY的平均信息量。
集合XXX、YYY之间的平均互信息可定义为I(X;Y)=Ep(xy)[I(x;y)]=Ep(x,y)[log⁡p(x∣y)p(x)]=∑x,yp(x)[log⁡p(x∣y)p(x)]=∑x,yp(xy)log⁡p(xy)p(x)p(y)=D(p(xy)∣∣p(x)p(y))I(X;Y)=\underset{p(xy)}{E}[I(x;y)] \\=\underset{p(x,y)}{E}\left[\log{\frac{p(x|y)}{p(x)}}\right] \\=\sum\limits_{x,y}p(x)\left[\log{\frac{p(x|y)}{p(x)}}\right] \\=\sum\limits_{x,y}p(xy)\log{\frac{p(xy)}{p(x)p(y)}} \\=D(p(xy)||p(x)p(y)) I(X;Y)=p(xy)E[I(x;y)]=p(x,y)E[logp(x)p(x∣y)]=x,y∑p(x)[logp(x)p(x∣y)]=x,y∑p(xy)logp(x)p(y)p(xy)=D(p(xy)∣∣p(x)p(y))
平均互信息与熵的关系如下
I(X;Y)=H(X)−H(X∣Y)I(x;Y)=H(Y)−H(Y∣X)I(X;Y)=H(X)+H(Y)−H(XY)I(X;X)=H(X)I(X;Y)=H(X)-H(X|Y) \\I(x;Y)=H(Y)-H(Y|X) \\I(X;Y)=H(X)+H(Y)-H(XY) \\I(X;X)=H(X)I(X;Y)=H(X)−H(X∣Y)I(x;Y)=H(Y)−H(Y∣X)I(X;Y)=H(X)+H(Y)−H(XY)I(X;X)=H(X)

[1] 张小飞等, 信息论与编码,电子工业出版社, 2018.10, P37-P58.

信息度量（二）：信息熵与平均互信息相关推荐

信息安全—密码学信息熵信息理论基础—熵的概念(熵、联合熵、条件熵、平均互信息)
数学基础:概率论乘法法则两个事件相互独立:P(A∩B) = P(A)×P(B) · 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 事件B发生的概率 · · 举个栗子:掷两枚硬币硬币同 ...
信道容量+平均互信息
研究信道的目的是:研究信道能传输的最大信息量,即:信道最大传输能力. 两个主要的信息测度函数: 1):如何描述在信道中传输的消息的信息量的大小,用:平均互信息描述,属于信息传输率问题.2):信道中最 ...
Oracle统计信息（二）—— 直方图 Histogram
一. 简介 1. 引入原因在普通的统计信息中,CBO会默认目标列数据在其最小与最大值间是均匀分布的,并以此为依据预估条件选择率及结果集cardinality,进而选择执行计划.但在实际中,显然有些数 ...
thinkphp中配置信息的二维数组设置与使用
有时候配置信息是二维数组 1.配置 <?php return array (// 阿里大鱼短信配置'dayu_appkey'=>'xxx','dayu_secretKey'=>'xx ...
文献记录(part80)--基于平均互信息的最优社区发现方法
学习笔记,仅供参考,有错必纠关键词:AMI-COPRA 算法 ;AMI-GN 算法 ;平均互信息 ;AMI 方法 ;社区发现; 基于平均互信息的最优社区发现方法摘要本文提出一种基于平均互信息的最 ...
客座编辑：刘克，男，博士，国家自然科学基金委员会信息科学部二处（计算机学科）处长。...
刘克,男,博士,国家自然科学基金委员会信息科学部二处(计算机学科)处长.
Java获取12306余票信息（二）
接上前面我们说到如何用Firefox浏览器抓取数据,并对json进行了分析,下面就是用Java代码来进行操作.以下代码都没有导入包,有需要自行导入 Java获取12306余票信息(一) Java获 ...
数据的距离度量二、余弦距离，汉明距离，测地距离，布雷柯蒂斯距离
数据的距离度量二.余弦距离,汉明距离,测地距离,布雷柯蒂斯距离前言余弦距离汉明距离测地距离布雷柯蒂斯距离前言本篇记录余弦距离,汉明距离,测地距离,布雷柯蒂斯距离. 余弦距离又名余弦相 ...
Http头信息（二）——请求头信息（一）
文章目录前言 1. `Accept` 2. `Accept-Charset` 3. `Accept-Encoding` 4. `Accept-Language` 5.`Authorization` ...

信息度量（二）：信息熵与平均互信息

目录

信息熵

信息熵

条件熵

联合熵

平均互信息

信息度量（二）：信息熵与平均互信息相关推荐

最新文章

热门文章