信息论随笔（一）自信息量

1.信息量与概率之间的关系

信息量是信息可以消除的不确定性，怎么理解呢？

直觉上看，一件事情发生的概率越小，消除的不确定性越多，信息量越大。比如太阳从西边升起，消除了很多的不确定性，信息量很大。反之，一件事情发生的概率越大，信息量越小，比如1+1=2，没有消除任何不确定性，因此信息量为0。

那么我们如何用一定的数学形式来量化信息量呢？

首先，我们可以从上述的例子得知，信息量一定和事件发生的概率负相关。那么是否可以用概率的倒数来表示信息量呢？概率的倒数可以满足上述条件，但是当概率为1时，信息量为1而不是0。那么用概率的倒数减去1呢？这种表示方法有一个很大的缺点，就是当概率很小或者很大时，信息量的取值量级相差很大。发生概率为10^-6的事件信息量为10^6-1，而发生概率为10^6的事件信息量为10^-6-1，相差12个量级。

一个很好的缩减量级的方法就是取对数，对概率的倒数取对数。而且这种方式也满足了当概率为1，信息量为0的条件。如果以10为底的话，那么发生概率为10^-6的事件信息量为6哈特，而发生概率为10^6的事件信息量为-6哈特。可以把2，e或者10作为底，那么信息量的单位分别为比特，奈特，哈特。

$self-information = log(\frac1p) = -log(p)$

2.为什么是自信息量？

为什么把信息量称为自信息量？是因为这是事件本身具有的信息量。之后我们还会讨论互信息量，信息熵等概念。

信息论随笔（一）自信息量相关推荐

信息论——密码学笔记（七）
一.信息论 Claude Elmwood Shannon于1948年首先确立了现代信息论. 1.信息量(amount of information):假设所有消息是等可能的,对消息中所有可能的值进行编 ...
关于信息论中熵的定义与含义：
信息熵: 1. 热力学中的热熵是表示分子状态混乱程度的物理量.香农用信息熵的概念来描述信源的不确定度. 2. :两个独立符号所产生的不确定性应等于各自不确定性之和 3. 在信源中,考虑的不是某一单个符 ...
计算机网络第一章：计算机网络概述
目录 1 计算机网络的分类 1.1 计算机网络的不同定义 1.2 不同作用范围的网络 1.3 从网络的使用者进行分类 2 计算机网络的性能 2.1 计算机网络的性能指标 2.1.1 速率 2.1.2 ...
快排Quick Sort到底有多快？
大师级的文章,总是能够使你更接近于事物的本质. 最近看了pongba的数学之美番外篇:快排为什么那么快.文中提到了Mackay的一篇文章(这里是译文),里面提到了使用信息论来解释快排与堆排的速度差 ...
【计算机网络(微课版)】第1章概述课后习题及答案
1-1计算机网络向用户可以提供哪些服务? 计算机网络可以向用户提供的最重要的功能有两个,即连通性和共享性.具体可以展开为提供:浏览信息和发布信息的平台:通信和交流的平台:休闲娱乐的平台:资源共享的平台 ...
决策树---ID3算法
决策树---ID3算法决策树: 以天气数据库的训练数据为例. Outlook Temperature Humidity Windy PlayGolf? sunny 85 85 FALSE no ...
逻辑斯谛回归模型（ Logistic Regression，LR）最大熵模型（Max Entropy，ME）
文章目录 1. Logistic Regression 模型 1.1 logistic 分布 1.2 二项逻辑斯谛回归模型 1.3 模型参数估计 1.4 多项逻辑斯谛回归 1.5 Python代码 2 ...
2 计算机网络性能指标
文章目录速率带宽吞吐量时延时延带宽积往返时间网络利用率速率连接在计算机网络上的主机在数字信道上传送数据位数的速率,也称为data rate或bit rate. 单位是b/s, kb/ ...
《计算机网络》第一章：基础知识Part I
一.计算机网络在信息时代的作用 1.21 世纪的一些重要特征就是数字化.网络化和信息化,它是一个以网络为核心的信息时代. 2.网络现已成为信息社会的命脉和发展知识经济的重要基础. 3.这里的网络是指& ...

信息论随笔（一）自信息量

信息论随笔（一）自信息量相关推荐

最新文章

热门文章