[信息论与编码] 03. 离散信源、信源熵、联合熵、条件熵

离散信源

信源即信息发出的源头，在后续的信道模型中，信源发出的信息即视为信道输入的信息。
根据信源发出信息的取值，可将信源分为离散信源和连续信源。
顾名思义，离散信源即发出的信息取值为离散型的信源；连续信源即发出的信息取值为连续型的信源。
离散信源中又根据符号出现的概率是否与前面符号有关分为：离散无记忆信源和离散有记忆信源。

信息熵

前面已经了解过了自信息的概念。
自信息表示的是某个事件的不确定性。这是具体意义上的。
如果表示的事件从某个具体事件扩大为某个事件集合，
则用熵来表示集合的不确定度。
信源的取值就是一个集合，信源熵则表示信源发出信息（发出符号）的不确定度。

(信源)熵单位: bit/sig，nat/sig，hart/sig
要注意的是，信源熵表示的是某个信源X的平均不确定性，表示的是平均每个信源符号所携带的信息量。则一旦给定信源，则其信源熵也即确定下来。
解决问题是要注意，要求解的是某个具体的消息序列每个符号携带的平均信息量，还是某个信源发出的每个符号携带的平均信息量。前者是先取得具体消息序列的信息量然后除以符号数目；后者使用信源熵公式可以求得。
比如：

第(1)问求的是题设给定消息，也即具体序列，中平均每符号携带的信息量。
需先求得该消息序列的自信息 I ，然后再除以符号数目，得到所求结果。
第(2)问求的是信源中平均没符号携带的信息量。将题设概率空间代入信源熵公式中即可求得。
求信源熵的过程如下例所示：

联合熵

单个符号的离散无记忆信源，如果进行二次扩展，得到二次扩展信源，则其熵为两个相同单个符号DMS的联合熵。
二次扩展信源发出的序列元素都属于原信源。根据排列组合的理论可知，若原信源的符号集合有a个元素，则二次扩展信源的序列集合有a^2个元素。
示例如下：

将其推广，将单个符号的DMS进行N次扩展，可得到N次扩展信源。

若原信源的符号集合有q个元素，则N次扩展信源的序列集合有q^N个元素。

条件熵

条件熵的定义式中，对数内部用的是条件概率，这很容易理解。对条件概率取倒再取对数，这是求自信息的标准过程。求得的自信息表示的是发出符号b后发出符号a的不确定性。
按照熵的定义，熵等于概率取倒再取对数的值乘以对应概率。
但是对数之外与其相乘的是联合概率。

条件熵多应用于如下离散有记忆信源的计算中。

平稳信源是指符号与时间起点无关的信源。

[信息论与编码] 03. 离散信源、信源熵、联合熵、条件熵相关推荐

自信息/熵/联合熵/条件熵/相对熵/交叉熵/互信息及其相互之间的关系
[深度学习基础]:信息论(一)_自信息/熵/联合熵/条件熵/相对熵/交叉熵/互信息及其相互之间的关系_bqw的博客-CSDN博客详解机器学习中的熵.条件熵.相对熵和交叉熵 - 遍地胡说 - 博客园
信息论与编码之离散信源小结
目录前言: 一.信源的数学模型与分类 1.数学模型 2.分类二.离散无记忆信源的N次扩展 1.数学模型三.离散平稳信源(重点:定义,联合熵,条件熵,平均符号熵,极限熵) 1.离散平稳信源四.二 ...
《信息论与编码》学习笔记
信息论与信息编码文章目录信息论与信息编码 1. 准备知识和教材 1.1. 学科关联 1.2. 准备知识 1.3. 教材 1.4. 理论体系的简要概述 1.5. 编码技术的举例 1.5.1. 压缩编 ...
【机器学习】信息论基础（联合熵、条件熵、交叉熵、KL散度等）+ Python代码实现
文章目录一.基本概念 1.1 联合熵 1.2 条件熵 1.3 交叉熵 1.3.1 Python编程实现交叉熵计算 1.4相对熵(KL散度) 1.4.1 Python编程实现KL散度计算二.自信息和 ...
信息论复习笔记（1）：信息熵、条件熵，联合熵，互信息、交叉熵，相对熵
文章目录 1.1 信息和信息的测量 1.1.1 什么是信息 1.1.1 信息怎么表示 1.2 信息熵 1.3 条件熵和联合熵 The Chain Rule (Relationship between ...
信息论（熵、条件熵、联合熵、互信息）
熵熵用于描述一个随机变量的不确定性的大小,熵越大说明该随机变量的不确定性增加,包含的信息量越大(越是确定的事件所含有的信息量越小,必然事件的熵为0). H(X)=−∑x∈Xp(x)logp(x)(1 ...
【Pytorch神经网络理论篇】 21 信息熵与互信息：联合熵+条件熵+交叉熵+相对熵/KL散度/信息散度+JS散度
1 信息熵熵 (Entropy),信息熵:常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据. 1.1 信息熵的性质单调性,发生概率越高的事件,其 ...
熵、条件熵、联合熵、互信息的理解
熵在信息论中,熵(entropy)是表示随机变量不确定性的度量,如果一个事件是必然发生的,那么他的不确定度为0,不包含信息.假设 X X X是一个取有限个值的离散随机变量,其概率分布为: P ( X ...
信息安全—密码学信息熵信息理论基础—熵的概念(熵、联合熵、条件熵、平均互信息)
数学基础:概率论乘法法则两个事件相互独立:P(A∩B) = P(A)×P(B) · 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 事件B发生的概率 · · 举个栗子:掷两枚硬币硬币同 ...
熵、联合熵、相对熵、交叉熵、JS散度、互信息、条件熵
封面镇楼目录一.熵二.联合熵三.相对熵(KL散度) 四.交叉熵五.JS散度六.互信息七.条件熵八.总结一.熵对于离散型随机变量,当它服从均匀分布时,熵有极大值.取某一个值的概率为1 ...

[信息论与编码] 03. 离散信源、信源熵、联合熵、条件熵

离散信源

信息熵

联合熵

条件熵

[信息论与编码] 03. 离散信源、信源熵、联合熵、条件熵相关推荐

最新文章

热门文章