分类树(回归树)的优劣势
优势:
1、树生成的过程是透明的,方便分析;
2、不需要对变量进行转换(变量的任何单调转换都会得到相同的树);
3、变量子集的选择是自动的,因为它是分割选择的一部分;
4、树在本质上对异常值也是稳健的,因为分割的选择取决于数值的排序,而不是这些数值的绝对大小;
5、可以处理缺失的数据,而不需要估算数值或删除缺失的记录。
劣势:
1、可能会忽视变量之间的线性关系(因为树是非线性和非参的);
2、对数据的变化很敏感,即使是轻微的变化也会导致非常不同的拆分;
3、在预测器空间的横向和纵向分割能充分划分‘类别的情况下,分类树是有用的,但通过对角线或其他方法实现分类时,分类树的性能可能会低于判别分析等方法;
【针对这个劣势,提高性能的一个方法是创建新的预测变量,这些预测因子来自于现有的预测因子,它们可以捕捉预测因子之间的假设关系(类似于回归模型中的相互作用);随机森林也可以缓解这个劣势。】
4、它们需要一个大的数据集,以便构建一个好的分类器;
5、从计算的角度来看,树的生长成本相对较高,在计算每个变量的所有可能的分叉时需要进行多次排序;
6、避免过度拟合的过程中,如交叉验证或使用验证集修剪数据,也会进一步增加计算时间;
7、树会 "偏爱 "有许多潜在分裂点的预测变量。
【一个简单的解决方案是将多个类别合并成一个较小的集合,并将具有许多数值的数字预测器归类。一些特殊的算法通过使用不同的分割标准来避免这个问题,R软件包party中的条件推理树和QUEST分类树。】
参考:
《Data Mining for Business Analytics for Python》Chapter9
分类树(回归树)的优劣势相关推荐
- 分类与回归树(CART)相关知识
文章目录 CART算法 CART回归树生成 CART分类树的生成 连续值处理: 离散值处理: CART 剪枝 CART算法 分类与回归树(CART)是应用广泛的算法,同样由特征选择.树的生成及剪枝组成 ...
- 数据挖掘十大经典算法--CART: 分类与回归树
一.决策树的类型 在数据挖掘中,决策树主要有两种类型: 分类树 的输出是样本的类标. 回归树 的输出是一个实数 (例如房子的价格,病人呆在医院的时间等). 术语分类和回归树 (CART) 包含了上述 ...
- CART分类与回归树
一.CART分类与回归树 资料转载: http://dataunion.org/5771.html http://blog.sina.com.cn/s/blog_afe2af380102x020.ht ...
- CART分类与回归树的原理与实现
算法概述 CART(Classification And Regression Tree)算法是一种决策树分类方法. 它采用一种二分递归分割的技术,分割方法采用基于最小距离的基尼指数估计函数,将当前的 ...
- 1. 分类与回归树原理(CART)
1. 简介 分类与回归树(Classification And Regression Tree),采用二分递归分割技术,将当前样本集划分成两个子集,即其结构为二叉树,每个内部节点均只有两个分支.左分支 ...
- ML之DT之CART:分类与回归树CART算法的简介、应用、经典案例之详细攻略
ML之DT之CART:分类与回归树CART算法的简介.应用.经典案例之详细攻略 目录 分类与回归树CART算法简介 1.CART原理-比较ID3.C4.5 2.CART算法描述 CART算法的案经典案 ...
- 决策树6:分类与回归树CART
0x01 概念介绍 1.1 CART算法 CART算法:Classification And Regression Tree.顾名思义,CART算法既可以用于创建分类树(Classification ...
- CART 分类和回归树
背景 CART(Classification And Regression Tree)可以做分类树也可以做回归树.注意特征可以是不同的类别,标签也可以是不同的类别. 回归树 求最优的数据切分点,首先要 ...
- 机器学习系列之手把手教你实现一个分类回归树
https://www.ibm.com/developerworks/cn/analytics/library/machine-learning-hands-on5-cart-tree/index.h ...
- 监督学习 | CART 分类回归树原理
文章目录 CART 算法 1. CART 生成 1.1 回归树生成 最小二乘回归树生成算法 1.2 分类树生成 基尼指数 CART 生成算法 参考文献 相关文章: 机器学习 | 目录 监督学习 | I ...
最新文章
- python常用的基本操作
- OpenCV:实现灰度直方图和单通道直方图拉伸
- 女朋友掉水里,各类程序猿怎么救?
- MYSQL快速导入大量数据
- Flutter AnimatedSwitcher 动画切换组件的基本使用
- 稳妥圣诞节海报设计模板|节日怎可辜负美食
- java输入其他字符提示_Eclipse输入任意字母或指定字符出现提示框
- C程序设计 4顺序程序设计
- (2021系统架构设计师)个人对于软考的一些总结
- vue电商后台管理项目总结
- Axure 下载教程
- android root 升级失败怎么办,安卓手机ROOT失败的常见原因及解决办法
- Stealing Harry Potter‘s Precious BFS+DFS
- C++ RQNOJ 星门龙跃
- ブリアー / 三星枪
- 数组的filter方法,数组过滤方法
- 微电子电路——反相器延迟时间
- XMLHttpRequest简介
- 财路网每日原创推送:2019年区块链在企业应用中扮演的角色
- ListView滚动的方法