信息增益与信息增益比的区别

2024-05-10 18:53:41

前言

在统计学习方法这本书中看到了一个公式：

看到这个公式后的感觉就是这个很明显就没啥用的呀，对于每一个特征来说，因为分母都一样呀，主要还是看信息增益，后面去上网查了一下，好像公式有一点不一样，但是重点不是公式是什么，而是为什么要用信息增益比？难道信息增益不好吗？

什么是信息增益比

我们都知道ID3中是选择信息增益作为选特征作为节点的依据，但在C4.5中选择的是信息增益比，那这里肯定是因为信息增益有什么缺点才让后面的学者改进了这个方法，所以我们举了一个场景：
g(D,A)=H(D)−H(D∣A)g(D,A)=H(D)-H(D|A) g(D,A)=H(D)−H(D∣A)
因为H(D)H(D)H(D)是对于任何特征来讲是不变的，所以H(D∣A)H(D|A)H(D∣A)越小，g(D,A)g(D,A)g(D,A)越大，重点集中在H(D∣A)H(D|A)H(D∣A)上，假设在A特征下，只有一个分类结果，那么：
H(D∣A)=1∗log⁡2(1)=0H(D|A)=1*\log_2(1)=0 H(D∣A)=1∗log2(1)=0
这样对于A特征来说，信息增益最大，但是在多分类结果的任务重，分类结果非常多的情况下，基于其他特征的信息增益也有可能是最大，也就是H(D∣B)=0H(D|B)=0H(D∣B)=0，可能存在多个特征的信息增益最大，或者在举一个不特殊的场景：在特征值是连续的，且特征值取值非常多，各不相同的情况下，A特征的每一个特征值对应一个样本，每个样本的分类结果都不一样，这种情况下：
H(D∣A)=∑1n1n∗log⁡2(1)=0H(D|A)=\sum_{1}^{n}\frac{1}{n}*\log_2(1)=0 H(D∣A)=1∑nn1∗log2(1)=0
这里的n是表示样本总数，每个样本的分类结果都不一样，但是在不同的特征值下，概率都是1，所以这种情况下，信息增益是不生效的，需要信息增益比。

社招、校招内推时刻

本人在阿里巴巴工作，业余时间做了社招、校招的公众号，可以内推大家，免筛选直接面试，公众号的一些文章也帮助大学、研究生的一些同学了解校招、了解名企，工作几年的同学想换工作也可以找我走社招内推，同时大家对文章有问题，也可以公众号找我，扫码关注哦！

参考博客

统计学习方法
c4.5为什么使用信息增益比来选择特征？

信息增益与信息增益比的区别相关推荐

信息增益、信息增益率、gini、特征选择、决策树
先简单介绍一下概念熵:表示随机变量的不确定性. 条件熵:在一个条件下,随机变量的不确定性. 信息增益:熵 - 条件熵.在一个条件下,信息不确定性减少的程度.通俗地讲,X(明天下雨)是一个随机变量,X ...
机器学习-有监督学习-分类算法：决策树算法【CART树：分类树(基于信息熵；分类依据：信息增益、信息增益率、基尼系数)、回归树(基于均方误差)】【损失函数：叶节点信息熵和】【对特征具有很好的分析能力】
一.决策树概述注:生产实践中,不使用决策树,太简单,而是使用决策树的升级版:集成学习算法. 集成学习算法有: Random Forest(随机森林) Extremely Randomized For ...
机器学习：信息熵，基尼系数，条件熵，条件基尼系数，信息增益，信息增益比，基尼增益，决策树代码实现（一）
文章目录初始化,涉及到使用的变量: 信息熵定义公式,经验公式代码: 基尼系数定义公式,经验公式代码: 条件熵,条件基尼系数条件熵定义公式,经验公式条件基尼系数定义公式,经验公式代码: ...
信息增益与信息增益率详解
熟悉决策树算法的人都知道ID3以及C4.5两种算法,当然也非常清楚信息增益以及信息增益率两个概念. 信息增益:节点M的信息熵E1与其全部子节点信息熵之和E2的差. 信息增益率:节点信息增益与节点分裂信 ...
信息增益、信息增益率、Gini
1. C4.5继承了ID3的优点,并改进了:(1)使用信息增益率来选择属性,克服了用信息增益选择属性时偏向值多的不足:(2)在构树过程中进行剪枝:(3)能够完成对连续属性的离散化处理:(4)能够对不 ...
【机器学习】采用信息增益、信息增益率、基尼指数来建造决策树。
目录一.创建数据集二.构造决策树(诊断是否复发乳腺癌) 1.信息增益生成决策树 (ID3算法) 信息熵信息增益(ID3算法) 2.信息增益率决策树(C4.5) 3.基尼指数(CART算法 - 分 ...
决策树--信息增益，信息增益比，Geni指数
决策树是表示基于特征对实例进行分类的树形结构从给定的训练数据集中,依据特征选择的准则,递归的选择最优划分特征,并根据此特征将训练数据进行分割,使得各子数据集有一个最好的分类的过程. 决策树算法3要 ...
决策树--信息增益、信息增益比、Geni指数的理解
决策树是表示基于特征对实例进行分类的树形结构从给定的训练数据集中,依据特征选择的准则,递归的选择最优划分特征,并根据此特征将训练数据进行分割,使得各子数据集有一个最好的分类的过程. 决策树算法3要 ...
决策树信息增益与信息增益比
其中『年龄』属性的三个取值{0, 1, 2}对应{青年.中年.老年}:『有工作』.『有自己房子』属性的两个取值{0, 1}对应{否.是}:『信贷情况』的三个取值{0, 1, 2}对应{一般.好.非常好 ...
信息增益matlab实现,python中如何实现信息增益和信息增益率
一.信息增益与信息增益率 1.信息增益以某特征划分数据集前后的熵的差值.熵可以表示样本集合的不确定性,熵越大,样本的不确定性就越大.因此可以使用划分前后集合熵的差值来衡量使用当前特征对于样本集合D划 ...

最新文章

热门文章