信息熵公式的详细讲解

信息熵的公式

设X是一个取有限个值的离散随机变量其概率分布如下
则随机变量X的熵可以表示为

这个公式是如何来的？下面我将为大家详细介绍一下

首先介绍一个概念——信息量 。信息量是对信息的一个度量。信息量跟一件事情所发生的概率有关。通常而言一件事情发生的概率越大，那它产生的信息就越小。

举个例子:
假如我是一个每天都按时上学的乖孩子
某个普通的星期一
我跟妈妈说:妈妈我去上学了妈妈继续做她手里的事情说哦，注意安全
但是如果我跟妈妈说妈妈我今天不去上学了妈妈可能反应比较大问为什么不去上学你是生病了吗？还是在学校受欺负了？等等

我们可以看出 我去上学是一件概率很大的事，所以几乎没有产生什么信息。而我不去上学发生的概率很小，产生了较大的信息。

由此可以看出，我们可以用一个递减的函数来表示某件事情发生的概率与这件事情发生产生的信息量的关系。
h(x) =f(p(x)) 其中 f 表示一个递减的函数

但是递减的函数好多呀用哪一个呢？

注意到还有一个性质: 如果两个事件 X,Y是相互独立的那么这两个事件同时发生所产生的信息量等于这两个事情各自独立发生产生的信息量之和即 h(x,y) = h(x)+h(y)

而这两个事情同时发生的概率是 p(x,y) =p(x)*p(y)

通过这个性质我们很自然的会想到对数函数
h(x,y)=-log(p(x,y))=-log(p(x)*p(y))=-(log(p(x))+log(p(y)))= -(h(x)+h(y))
(log按通常取值以2为底当然也可以以e为底）
之所以在前面需要加一个负号是因为p(x,y) 是一个概率必然取值在[0,1] 之间而当x在[0,1]时 log(x) 是一个小于0 的值但是信息量明显是一个大于0的值，所以我们在前面加上一个负号

log₂(x) 的图像如下这样一个事件 X 发生时产生的信息量
可以表示为 H(X)=-log(P(X)）

由于我们之前在介绍信息熵公式的时候说了X是一个取有限个值的离散随机变量，说明X可以取多个值, 所以信息熵其实是当X取不同值时对信息量取了期望

也就是最后的公式啦

信息熵公式的详细讲解相关推荐

Python的零基础超详细讲解(第十二天）-Python函数及使用
基础篇往期文章: Python的零基础超详细讲解(第一天)-Python简介以及下载_编程简单学的博客-CSDN博客 Python的零基础超详细讲解(第二天)-Python的基础语法1_编程简单学的博 ...
oracle连续周数,详细讲解Oracle数据库的“周数计算”
详细讲解Oracle数据库的"周数计算"以下文字资料是由(历史新知网www.lishixinzhi.com)小编为大家搜集整理后发布的内容,让我们赶快一起来看一下吧! --日期计算 ...
内存超频时序怎么调_电脑内存条专业科普，内存选购、内存品牌、内存安装、内存时序体质、内存超频频率详细讲解...
有很多兄弟经常问,什么牌子的内存条好啊?我用PS.剪辑软件需要多大内存条?内存条怎么超频啊? 所以,今天我们来详细讲解一下内存条. 一.什么是内存条? 内存条又叫随机存取存储器(英文缩写RAM),是与 ...
Redis最详细讲解
Redis最详细讲解原文地址本文脑图 redis基本数据结构本文脑图前言 Redis核心对象 String类型 int SDS SDS与c语言字符串对比 String类型应用 Hash类型字 ...
2023年美赛C题Wordle预测问题一建模及Python代码详细讲解
相关链接 (1)2023年美赛C题Wordle预测问题一建模及Python代码详细讲解 (2)2023年美赛C题Wordle预测问题二建模及Python代码详细讲解 (3)2023年美赛C题Wordl ...
详细讲解RNN+LSTM+Tree_LSTM（Tree-Long Short Term Memory）基于树状长短期记忆网络
14天阅读挑战赛详细讲解RNN+LSTM+Tree_LSTM(Tree-Long Short Term Memory)基于树状长短期记忆网络一.RNN 要讲解Tree_LSTM,这必须得从RNN开 ...
详细讲解 “双评价”——建设指向的土地资源评价
因为本系列只是起研究模拟作用,因此以广东省(省级)为例,地理坐标系使用WGS1984(许多网上得到的数据都是WGS84,所以不使用CGCS2000),投影使用WGS_1984_UTM_Zone_49N ...
Adaboost算法详细讲解
转自线上数据建模 Adaboost算法详细讲解 Adaboost(Adaptive Boosting): Adaboost是Boosting模型,和bagging模型(随机森林)不同的是:Adaboo ...
oracle 怎么计算年数,详细讲解Oracle数据库的“周数计算”
详细讲解Oracle数据库的"周数计算" 2008-03-18 eNet&Ciweek 2)iw的算法为星期一至星期日算一周,且每年的第一个星期一为第一周, 例如20050 ...

信息熵公式的详细讲解

信息熵的公式

信息熵公式的详细讲解相关推荐

最新文章

热门文章