由热力学到信息学-熵—信息熵
熵的由来
概念公式由卡诺循环的效率而来。两个平衡状态从A到B，其熵的变化Δs=Sa−Sb=∫abdQT\varDelta s=S_a-S_b=\int\limits _a^b{\frac{dQ}{T}}Δs=Sa−Sb=a∫bTdQ,其等于任何A到B的可逆过程的dQT的积分\frac{dQ}{T}的积分TdQ的积分。熵是平衡状态的单值函数。
- 如果两个平衡状态是可逆的，则Δs=0\varDelta s =0Δs=0
- 如果不可逆，Δs>0\varDelta s >0Δs>0
熵与有序度的关系
熵可以表示封闭系统的有序程度，熵越大，越混乱。所以系统由非平衡态，变到平衡状态，只要过程不可逆，那么熵一定是增大的。
举个例子：把一滴墨水滴到一杯水中，墨水会扩散直到和水混合均匀，这个过程是不可逆的，那么整个系统的熵都是增大的。到最后，墨水和水混合均匀，此时系统的混乱程度最大，熵最大。
无序度与微观状态数
在孤立系统中任意微观状态出现的概率都是相同的。某一宏观状态相对应的微观状态数称为热力学概率。热力学概率是分子热运动的系统无序度的量度。而上面说的熵也是无序度的量度。所以熵和热力学概率就有某种联系。玻尔兹曼给出公式：
S=k⋅lnWS=k \cdot ln WS=k⋅lnW
信息熵
为了更好的理解信息和熵之间的关系，看一个例子：
- 只要有外界信息，就可以使信息的熵降低。
- 信息量定义：从两种互不相关的可能性之间做出一个选择，所需的信息的多少，作为信息量的单位，为1bit.
- 信息量越大，表示选择越多，做出判断越难。
- 仿照熵是系统混乱程度的量度，信息熵作为信息混乱程度的量度。信息熵越大，做出判断越难。
- 信息熵公式 S=−k∗∑1Npi∗lnpiS=-k*\sum\limits_{1}^{N} p_i*lnp_iS=−k∗1∑Npi∗lnpi
- 当有外部信息时，熵就会减少，减少的信息量就是信息增益。决策树裂分时如果裂分标准选择entropy，就是根据信息增益寻找裂分条件的。
参考书籍：《物理学》第六版 马文蔚编著
由热力学到信息学-熵—信息熵相关推荐
- 理解熵(信息熵,交叉熵,相对熵)
Highlights: 1)信息熵:编码方案完美时,最短平均编码长度的是多少. 2)交叉熵:编码方案不一定完美时(由于对概率分布的估计不一定正确),平均编码长度的是多少. 平均编码长度 = 最短平均编 ...
- 用python输入概率分布，计算信源熵/信息熵
eval还可以输出矩阵,按input要求输入[p1,p2,...]后,type(p)是list. 要求概率>0,<1,且概率和为1. import numpy as npp = eval( ...
- （热学 热力学统计物理 ）大题典选--------热力学第二定律与熵
2.14 一可逆热机在两个温度分别为和的热源下工作.热源可看成是质量无限大,而热源是一个体积不变的一定量的气体(摩尔,等比热容).当热机工作了长时间后.热机工作了多少功? 2.22 设某理想气体的 ...
- 熵，信息熵，香农熵，微分熵，交叉熵，相对熵
2019-07-13 https://blog.csdn.net/landstream/article/details/82383503 https://blog.csdn.net/pipisorry ...
- 信息熵、条件熵、信息增益、相对熵 、交叉熵 解析
原文地址:https://www.cnblogs.com/kyrieng/p/8694705.html 1.信息熵 (information entropy) 熵 (entropy) 这一词最初来源于 ...
- 信息量、信息熵、KL散度、交叉熵
一.信息量 定义: 香农(C. E. Shannon)信息论应用概率来描述不确定性.信息是用不确定性的量度定义的.一个消息的可能性愈小,其信息愈多:而消息的可能性愈大,则其信息量愈少:事件出现的概率小 ...
- 信息量、信息熵、条件熵、KL散度、交叉熵
文章目录 1. 信息量 2. 信息熵 3. 条件熵 4. 交叉熵与KL散度 4.1 公式推导 1. 信息量 为了理解这个概念,我们先以两个具体的事件为例: 事件1:德国队获得世界杯冠军. 事件2: ...
- 信息熵、相对熵和交叉熵
此文章为了解交叉熵的小记,具体详细讲解可移至文末处参考文章 信息熵 信息的本质:信息是用来消除随机不确定性的东西: 信息量的大小与信息发生的概率成反比.概率越大,信息量越小.概率越小,信息量越大. 某 ...
- 信息熵/交叉熵/相对熵
参考致敬: 如何通俗的解释交叉熵与相对熵? https://www.zhihu.com/question/41252833 一文彻底搞懂信息熵.相对熵.交叉熵和条件熵(含例子) https://blo ...
最新文章
- visual webgui theme designer
- C#（WinForm）实现软件注册
- 三维家导入户型镜像怎么使用_【业】1分钟看懂三维家定制柜设计
- css兼容ie9 ie11,用webpack打包的css在ie9些有些css文件没有引进去是为什么 ie11可以...
- 淘宝开源Android容器化框架Atlas开发者指南
- oracle spool .dbf,oracle技术之oracle spool的简单使用
- java gui 控制台_在GUI面板中创建Java控制台
- shell 变量相关的命令
- 程序员的前20个搜索和排序算法面试问题
- 算法—巧排扑克牌（C语言）
- Linux服务器，服务管理--systemctl命令详解，设置开机自启动
- Linux 文件夹和文件大小排序
- java中result方法_java.sql.resultSet接口中有很多方法的实现
- 《流畅的Python》读书笔记——Python一等函数
- python机器学习搭建空气质量AQI（air quality index）预测模型
- 算法和程序有何异同？
- 计算机视觉(AI)面试大全
- 2008服务器注销设置,windows-server-2008 – 终端服务器在5分钟后注销用户
- 对给定平面任意两点坐标(x1,y1)和(x2,y2)，求这两点之间的距离
- pip更新及Requirement already up-to-date解决方法