决策树ID3、CART、C4.5之间的区别

历史回顾：1984年提出的cart，1986年提出的ID3，1993年提出的c4.5

理论上总的来说，
C4.5是基于ID3优化后产出的算法，主要优化了关于节点分支的计算方式，优化后解决了ID3分支过程中总喜欢偏向取值较多的属性
ID3是信息增益分支：

而CART一般是GINI系数分支：

C4.5一般是信息增益率分支：

工程上总的来说：
CART和C4.5之间主要差异在于分类结果上，CART可以回归分析也可以分类，C4.5只能做分类；C4.5子节点是可以多分的，而CART是无数个二叉子节点；
以此拓展出以CART为基础的“树群”random forest ，以回归树为基础的“树群”GBDT

样本数据的差异：
ID3只能对分类变量进行处理，C4.5和CART可以处理连续和分类两种自变量
ID3对缺失值敏感，而C4.5和CART对缺失值可以进行多种方式的处理
只从样本量考虑，小样本建议考虑c4.5、大样本建议考虑cart。c4.5处理过程中需对数据集进行多次排序，处理成本耗时较高，而cart本身是一种大样本的统计方法，小样本处理下泛化误差较大

目标因变量的差异：
ID3和C4.5只能做分类，CART（分类回归树）不仅可以做分类（0/1）还可以做回归（0-1）
ID3和C4.5节点上可以产出多叉（低、中、高），而CART节点上永远是二叉（低、非低）

样本特征上的差异：
特征变量的使用中，多分的分类变量ID3和C4.5层级之间只单次使用，CART可多次重复使用

决策树产生过程中的优化差异：
C4.5是通过枝剪来修正树的准确性，而CART是直接利用全部数据发现所有树的结构进行对比

作者：slade_sal
链接：https://www.jianshu.com/p/895a76122c4f
來源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。

本文转自https://www.jianshu.com/p/895a76122c4f?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

决策树ID3、CART、C4.5之间的区别相关推荐

机器学习算法 04 —— 决策树(ID3、C4.5、CART，剪枝，特征提取，回归决策树)
文章目录系列文章决策树 1 决策树算法简介 2 决策树分类的原理 2.1 信息熵 2.2 决策树划分依据-信息增益(ID3) 2.3 决策树划分依据-信息增益率(C4.5) 2.4 决策树划分依据 ...
决策树ID3与C4.5
决策树ID3与C4.5 参考极客时间<数据分析实战45讲>17章决策树的生成决策树的生成会经历两个阶段:构造和剪枝构造构造就是生成一颗完整的决策树.简单来说,构造的 ...
决策树ID3、C4.5和CART算法例子详解
决策树决策树是附加概率结果的一个树状的决策图,是直观的运用统计概率分析的图法.机器学习中决策树是一个预测模型,它表示对象属性和对象值之间的一种映射,树中的每一个节点表示对象属性的判断条件,其分支表示 ...
决策树ID3、C4.5、CART、随机森林、bagging、boosting、Adaboost、GBDT、xgboost
决策树 1.决策树学习算法主要由三部分构成: 特征选择决策树生成决策树的剪枝特征选择而我们应该基于什么准则来判定一个特征的分类能力呢? 这时候,需要引入一个概念:信息增益.,下面是公式(其中x ...
决策树ID3，C4.5，CART算法及实现
文章目录一.决策树 1.画法 2.决策树的剪枝 3.挑西瓜决策树 3.1利用信息增益选择最优划分属性 3.2python代码实现二.sk-learn库对西瓜数据集,分别进行ID3.C4.5和CAR ...
决策树ID3、C4.5、CART算法
参考[机器学习]决策树(上)--ID3.C4.5.CART(非常详细) - 阿泽的文章 - 知乎 https://zhuanlan.zhihu.com/p/85731206 算法的目的都是为了构建决策 ...
决策树-ID3与C4.5
决策树是利用可视化的树结构实现数据的分类或回归,现实中分类比如银行根据收入.职业.婚姻状况.年龄等属性了解客户的贷款是否能按期偿还,其分类为"是"或"否",再比 ...
决策树ID3、C4.5这两种算法的特点？为什么使用C4.5要好？
ID3.C4.5这两种算法的特点?为什么使用C4.5要好? 参考:链接 [参考文章] [1]. <机器学习> p73–p79 见附件书本 [2]. C4.5算法详解 https://blo ...
决策树——ID3和C4.5
决策树(decision tree)是一个树结构(可以是二叉树或非二叉树).其每个非叶节点表示一个特征属性上的测试,每个分支代表这个特征属性在某个值域上的输出,而每个叶节点存放一个类别.使用决策树进行 ...

决策树ID3、CART、C4.5之间的区别

决策树ID3、CART、C4.5之间的区别相关推荐

最新文章

热门文章