自信息、信息熵和相对熵

参考：https://blog.csdn.net/happyhorizion/article/details/77894051

https://blog.csdn.net/acdreamers/article/details/44657745

1、自信息

一件事发生的概率越大，其所带的信息量就越小，反之发生的概率越小，信息量就越大。[可以这么理解，对于一件发生概率极低的事情，我们想让他发生，就要去找大量信息]

自信息就是以概率p(x)观察到某一事件发生所携带的信息量，自信息也是概率越大信息量就越小，也可以理解为某个概率事件进行编码所需要的最小编码长度

$I(x)=-logP(x)$

2、信息熵／香农熵

熵是平均自信息量，衡量一件事情发生的不确定性，可以这么理解对于一件事在不同概率下发生都会产生一定的信息量，而熵就是携带的平均信息量。

对于连续值来说：

$H(x)=E_{x~P}[I(x)]=-E_{x~P}[logP(x)]$

对于离散值来说：

$H=-K\Sigma_{i=1}^n(p_i*log(p_i))$ ，其中k常数

3、互信息

对于x来说，它的的不确定性，即熵为H(x), 当已知事件y的不确定性H(y)后，x的不确定性的减少量就是互信息，I(x, y) = H(x) - H(x | y)

4、交叉熵

假设有两个分布p(x) 和 q(x)，其中p(X) 是事件的真实分布，则该事件的熵，即不确定性为，那么如果用q(x) 来进行对该事件进行预测，则其预测出来的不确定性为，称为交叉熵，记作H(p, q), 即用一个非真实的概率分布q(X)对真实事件进行编码所用的平均长度。

交叉熵越小，说明q(x) 越接近真实概率，

5、相对熵（KL散度）

参考：https://www.cnblogs.com/bnuvincent/p/6940863.html

https://www.zhihu.com/question/41252833

相对熵就是对事件用q(x) 进行编码比真实编码所增加的字节长度，也就是交叉熵 - 熵；

互信息衡量两个随机变量之间的关系，引入某一个变量后，另一个变量减少的程度。而相对熵就是衡量两个分布之间的关系

设和是取值的两个概率概率分布

上式中第二项就是交叉熵，

在一定程度上，熵可以度量两个随机变量的距离。KL散度是两个概率分布P和Q差别的非对称性的度量。KL散度是用来度量使用基于Q的编码来编码来自P的样本平均所需的额外的位元数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布，模型分布，或P的近似分布。

转载于:https://www.cnblogs.com/zhaopAC/p/9562738.html

自信息、信息熵和相对熵相关推荐

一文读懂信息量、信息熵、相对熵（KL散度）和交叉熵
在人工智能深度学习的应用中,损失函数绝对是模型网络学习质量的关键.我们使用损失函数来表示的真实值与预测值之间的距离,进而指导模型的收敛方向.对于标量来说,我们能够很容易想到使用方差来描述误差.那么,如 ...
从信息熵、相对熵到交叉熵损失函数
信息熵.相对熵和交叉熵是机器学习中非常重要的概念,它们都是用来衡量不同概率分布之间的差异.在这篇博客中,我们将分别介绍这些概念,并用通俗易懂的语言以及实例的方式来阐述它们的含义. 信息熵信息熵(En ...
信息熵、相对熵、交叉熵公式及tensorflow代码
最近在学习卷积神经网络,其中遇到了信息熵和交叉熵,对此理解的一知半解,现记录一下信息熵.相对熵.交叉熵公式及tensorflow代码,供以后参考. 假设概率分布中,真实分布: 假设分布: 信息量公式 ...
数学期望、信息量、信息熵、相对熵、交叉熵
1.数学期望数学期望就是总体的均值,或者各项的加权平均. 先看离散的情况,假设X为离散型随机变量,x1,x2,x3,--,xk为随机变量的所有可能取值,p1,p2,p3,--,pk为随机变量相应取值 ...
信息熵、相对熵和交叉熵
此文章为了解交叉熵的小记,具体详细讲解可移至文末处参考文章信息熵信息的本质:信息是用来消除随机不确定性的东西: 信息量的大小与信息发生的概率成反比.概率越大,信息量越小.概率越小,信息量越大. 某 ...
信息熵、相对熵（KL散度）、交叉熵、条件熵、互信息、联合熵
信息熵信息量和信息熵的概念最早是出现在通信理论中的,其概念最早是由信息论鼻祖香农在其经典著作<A Mathematical Theory of Communication>中提出的.如今 ...
信息熵/交叉熵/相对熵
参考致敬: 如何通俗的解释交叉熵与相对熵? https://www.zhihu.com/question/41252833 一文彻底搞懂信息熵.相对熵.交叉熵和条件熵(含例子) https://blo ...
相对熵与交叉熵_详解机器学习中的熵、条件熵、相对熵、交叉熵
目录信息熵条件熵相对熵交叉熵总结一信息熵 (information entropy) 熵 (entropy) 这一词最初来源于热力学.1948年,克劳德·爱尔伍德·香农将热力学中的熵引 ...
详解机器学习中的熵、条件熵、相对熵、交叉熵
欢迎大家关注我们的网站和系列教程:http://www.tensorflownews.com/,学习更多的机器学习.深度学习的知识! 目录信息熵条件熵相对熵交叉熵总结一信息熵 (info ...
平均符号熵的计算公式_交叉熵(Cross Entropy)从原理到代码解读
交叉熵(Cross Entropy)是Shannon(香浓)信息论中的一个概念,在深度学习领域中解决分类问题时常用它作为损失函数. 原理部分:要想搞懂交叉熵需要先清楚一些概念,顺序如下:==1.自信息 ...

自信息、信息熵和相对熵

自信息、信息熵和相对熵相关推荐

最新文章

热门文章