1、熵

在初中化学中学过，熵越大表示其混乱程度越大，熵越小表示混乱程度越小。因此在决策树中分类节点中用到了信息熵的概念。

2、信息熵

假设有个离散变量x，有一个概率分布p(x),信息熵H(x)

$H(x)=-\sum_{i=1}^{n}p_{i}\ log p(p_{i})$

3、条件熵

定义：在一个条件下，随机变量的不确定性。

$H(Y|X)=-\sum_{y}^{}p(y)\log p(x|y)$

4、信息增益

在一个条件下，信息不确定性减少的程度

H（X,Y） = H（x）-H（Y|X）

H（X,Y）= 0.9710-0.9510=0.02

5、互信息

定义：指的是两个随机变量之间的相关程度。

确定随机变量X的值后，另一个随机变量Y不确定性的削弱程度，因而互信息取值最小为0，意味着给定一个随机变量对确定一另一个随机变量没有关系，最大取值为随机变量的熵，意味着给定一个随机变量，能完全消除另一个随机变量的不确定性；

H（X,Y） = H（x）-H（Y|X）

熵、信息熵、互信息、条件熵区别相关推荐

【知识建设】信息熵、条件熵、互信息、交叉熵及相对熵（KL散度）
一.信息熵 1. 定义衡量一个随机变量 X X X的信息量,用 H H H表示根据这个定义,这应该是个不确定的值(随机变量是变化的),而数学上使用期望来将这种不确定性量化: H = ∑ x ∈ X ...
信息量、信息熵、条件熵、KL散度、交叉熵
文章目录 1. 信息量 2. 信息熵 3. 条件熵 4. 交叉熵与KL散度 4.1 公式推导 1. 信息量为了理解这个概念,我们先以两个具体的事件为例: 事件1:德国队获得世界杯冠军. 事件2: ...
通俗易懂——信息熵，条件熵，互信息和相对熵
文章目录 1 信息熵 2 条件熵 3 互信息 4 相对熵(KL散度) 5 交叉熵 1948年,香农在著名的论文"通信的数学原理"中首次提出了熵(Entropy)的概念,这也解决 ...
信息熵、条件熵、信息增益、相对熵、交叉熵解析
原文地址:https://www.cnblogs.com/kyrieng/p/8694705.html 1.信息熵 (information entropy) 熵 (entropy) 这一词最初来源于 ...
决策树基础—比特化Bits，信息熵，条件熵，联合熵
决策树基础-比特化Bits,信息熵,条件熵,联合熵比特化(Bits) 一般化的比特化信息熵条件熵联合熵知道了决策树的直观理解,接下来了解一些决策树要用到了知识比特化(Bits) 假设我现在 ...
通俗理解信息熵、条件熵、信息增益
转自知乎 https://zhuanlan.zhihu.com/p/26486223 ,https://zhuanlan.zhihu.com/p/26551798 作者:忆臻主页:https://w ...
信息熵和条件熵的计算
目录 1. 信息熵 2. 条件熵 3. 参考文章表1. 目标值为PlayTennis的14个训练样例 Day Outlook Temperature Humidity Wind PlayTennis ...
信息熵、条件熵、联合熵、互信息和条件互信息
目录 1. 信息熵 2. 联合熵 3. 条件熵 4. 互信息 5. 条件互信息 6. 参考文章 1. 信息熵信息熵是用于度量信息量大小的指标. 设 XXX 是一个随机变量,则 XXX 的信息熵定义为 ...
信息论复习笔记（1）：信息熵、条件熵，联合熵，互信息、交叉熵，相对熵
文章目录 1.1 信息和信息的测量 1.1.1 什么是信息 1.1.1 信息怎么表示 1.2 信息熵 1.3 条件熵和联合熵 The Chain Rule (Relationship between ...

熵、信息熵、互信息、条件熵区别

1、熵

2、信息熵

3、条件熵

4、信息增益

5、互信息

熵、信息熵、互信息、条件熵区别相关推荐

最新文章

热门文章