备考通信复试过程中的一些知识点总结梳理—

终于进入信息论的部分啦，信息论的部分条理很清晰，是一定要做到熟悉的部分。

首先还是来定义一下，什么是信息论？信息论书面的来讲就是运用概率论和数理统计方法研究信息，信息熵，通信系统，数据传输，密码学，数据压缩等问题的应用数学学科，通俗的来讲信息论就是研究信息的理论。信息，可以说是一个因人而异极具主观特征的概念。开始时，大家都不知道如何对信息量化定义，是定义它的长度还是它的数值？似乎都不太妥当。直到香农出现，提出了新的概念，那就是信息的大小与他的数值无关，也就是和你怎么说，说几个字没有关系，信息量的大小更重要的是取决于它出现的概率大小。如果该信息所对应的出现概率小，那么当它出现时自然有很大的信息量。在这种定义方式下，香农提出了信息量和信息熵的概念。

信息量根据研究对象的不同可分为自信息量，互信息量。自信息量用来衡量单一事件发生时所包含的信息量多寡或者说一个随机事件发生某一结果后所带来的信息量。它的单位是bit,或是nats，公式如下：

自信息依赖于信息的概率分布，而不依赖于它的真实值

互信息表示通过观察y你可以获取多少x的信息量，或者说你接收到y后，x的不确定度下降了多少。如通信系统中发送x，接受y，那么互信息就是有噪信道所传递的信息量。

熵本来作为一个物理名词，用于形容物质的混乱程度，而这个概念转移到信息论中，信息熵就表示信息的混乱程度，更直白的讲，信息熵就是接受者事先在接受到的消息中未能预料到的信息部分，也就是信源的平均不确定度。信息的本质是熵的减少量，熵是对未知的度量，熵减少意味着未知程度减少，也就是释放了信息。信息熵在数学上表示为消息所对应的概率的负对数的数学期望，它具有非负性。

信息熵与信息量的概念极易混淆。信息熵表示信源输出前信源的平均不确定度，信源输出后平均每个离散消息所提供的信息量。也就是信息熵是信源所有消息的平均值，而不是某条消息，它是在不知道x时的不确定性大小，是知道x之后所获得的平均信息。再换个角度说，熵就是自信息的期望。（有点绕，得多理解一下）

当信源等概传输时，熵有最大值，也成为最大熵定理。

条件熵是信宿在收到Y之后信源X仍存在的平均不确定度，H(X|Y):收到Y情况下反推X称为信道质疑度，H(Y|X):已知X推Y称为噪声熵。（注意H(X|Y)≠H(Y|X)）由信息熵的极值性可得条件熵小于信源熵。

这些概念之间的关系可以由下图形象的体现出来：

香农第一定理指出，无失真编码的最小位数就是原始信源的信息熵，如果低于这个极限就不可能实现无失真编码，这个定理也叫做可变长无失真信源编码定理。但是在实际的运用过程中，模拟信号数字化注定会产生失真，包括一些信息熵较大的数字信源在传输过程中也不免要进行有损的传输。那么在这种有损的实际情况下，第一定理不再适用，因而香农提出了第三定理保真度准则下的信源编码定理，或称为有损信源编码定理。它指出只要码长足够长，总可以找到一种信源编码，使得编码后的信息传输速率略大于率失真函数，而码的平均失真度不大于给定的允许失真度。（给出了不影响信息读取的最大失真度，是量化、数模转换、频带压缩和数据压缩的理论基础）这便是第二个重要的概念，率失真函数。

率失真函数就是表征给定失真度下编码器最小的平均输出码率的函数。也就是在信道速率为R时，能达到的最小失真度为D，信道失真度为D时，所需的最小信道速率是R，无损编码就是：D=0，R(D)=H(X)。同时率失真函数R(D)也可表示为发送信息与接受信息的最小互信息量值，也就是说在有失真的情况下只希望传递最关键的最少的信息量。

举个例子，一个人养了几年的宠物狗不幸因病去世了，医院给这位狗主人发送消息。无失真传输可能就是：亲爱的，我知道狗狗对你很重要，你们相伴了多年的时光@#￥*！）！*#，它度过了快乐的一生，有你这样的主人是它的荣幸，如今它回到汪星了，也希望你节哀顺变。表达了医生的对狗主人的同情和安慰，也告知了狗狗离世的消息，甚至某种程度体现了医生的文采。可如今，信道资源有限，我们必须有损传输。允许的最高失真度就是狗主人要知道狗狗离世的消息，也就是最小的互信息量，那么医生就必须舍弃其他那些不重要的安慰等等，直接一句话给狗主人：你狗無了。允许失真程度小一点，可能医生要说：不好意思，你狗無了。浅表一下同情。

香农的三大定理还有最常见的一条，香农第二定理有噪信道编码定理。当信道的消息传输速率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但是如果信息传输速率超过了信道容量，就不可能实现可靠传输。信道容量也可以表示为互信息的最大值，其意义就是在充分运用信道的情况下，能够传递的最大信息量。粗略的讲，在有错误的信道上，只要信息率不大于信道容量，就可以实现无错误的可靠通信，也就是说C是可靠通信的最高允许速率。第三定理的常见形式就是高斯信道容量公式：C=Wlog(1+S/N)。它指出的信道容量的关键参量，带宽，信噪比之间的关联，说明信道容量的大小不但取决于带宽，也依赖于各种高效率的调制和编码技术。

综上我们围绕着香农三大定理介绍了三个基本概念，也就是无失真编码，传输的编码平均码长不得小于H(X)（香农第一定理，或信源编码定理），可靠通信的最大信息率不得大于信道容量C（先攻第二定理，或信道编码定理），对于无记忆信源，失真限定D以内的编码器最小平均输出码率为R(D)(香农第三定理，或失真条件下的信源编码定理）。香农定理只给出了信息论的一些界限，却没有给出具体方法。接下来我们就介绍在香农定理下的这些编码方式。

备考通信复试过程中的一些知识点总结梳理——信息论基础知识相关推荐

备考通信复试过程中的一些知识点总结梳理——信源编码
信息编码可以简要分为信源编码和信道编码,我们先来介绍信源编码.信源编码的作用就是将输出信号转变为适合于数字通信系统处理和传输的数字信号,主要目的是提高传输的有效性,降低原始信号的冗余度,通常对数据压缩 ...
备考通信复试过程中的一些知识点总结梳理——发信之前（调制）
之前我们已经认识到了通信的一些基本情况,接下来为大家介绍通信运作的一些相关知识. 现代通信系统的主要特点就是智能化,远距离,大容量,多信源,数字化,高效率,保密性,可靠性. 点对点之间的通信,按照消息 ...
备考通信复试过程中的一些知识点总结梳理——移动通信系统Ⅱ
下面介绍复用技术和多址技术. 多址技术是用来区分不同用户的一种技术,为了让用户的地址之间互不干扰,地址之间必须满足相互正交,无冲突多址方式有频分多址(FDMA).时分多址(TDMA).码分多址(CDM ...
备考通信复试过程中的一些知识点总结梳理——信道编码
讲完信源编码的内容之后,我们进入信道编码的学习,也是信息论模块的最后一课. 首先依旧先来定义,什么是信道编码?一般来讲信息传输涉及可行性编码,可靠性编码,有效性编码和安全性编码这四个领域的编码或信号设 ...
开发过程中js遇到的问题及一些基础知识恶补
Supermarket 开发过程中js遇到的问题及一些基础知识恶补函数相关问题 DOM元素相关操作变量操作异常捕获开发过程中关于条形码识别开发结束关于前端板块思路函数相关问题 (funct ...
学习python/pytorch过程中遇到的知识点
Pytorch torch.backends.cudnn.deterministic 和 torch.backends.cudnn.benchmark 这两个参数,用于固定算法,使每次运行结果都一样. ...
自己学习c++过程中写下的笔记,只做基础了解使用
01书写helloworld #include <iostream> using namespace std;int main() {cout << "Hello W ...
python的知识点运用_程序猿在Python编程中不得不使用的十二种基础知识
Python编程中常用的12种基础知识,其中肯定有你不会的! 人生苦短,我用Python 1.正则表达式替换目标: 将字符串line中的 overview.gif 替换成其他字符串. 人生苦短,我用 ...
盘点面试中常问的100 个网络基础知识~
关注.星标公众号,直达精彩内容来源:twt企业IT社区 1)什么是链接? 链接是指两个设备之间的连接.它包括用于一个设备能够与另一个设备通信的电缆类型和协议. 2)OSI 参考模型的层次是什么? 有 ...
计算机信息处理技术知识点,计算机信息处理技术基础知识.doc
计算机信息处理技术基础知识计算机信息处理技术基础知识信息技术概况集成电路的基本知识(20世纪50年代) 集成电路是微电子技术的核心. 分类:①小规模.中规模.大规模.超大规模.极大规模(包含的电 ...

备考通信复试过程中的一些知识点总结梳理——信息论基础知识

备考通信复试过程中的一些知识点总结梳理——信息论基础知识相关推荐

最新文章

热门文章