决策树(CART)算法总结
文章目录
- 1.决策树原理
- 2.决策树优缺点
- 3.CART算法
- 4.CART算法实现
- 5. 应用实例--泰坦尼克号数据集
- 5.1 数据集获取
- 5.2 数据描述
- 5.3 代码实例
1.决策树原理
决策树算法重点就在于“决策”和“树”这两个概念,顾名思义决策树是基于树结构来进行决策的,这也恰恰是人们在遇到问题时进行问题梳理的一种很自然的处理机制。
决策树的目标是建立分类和回归模型,核心目标是决策树的生长和决策树的修剪。
对于决策树的生长算法有:ID3,C5.0,CART,CHAID,QUEST等;
对于决策树的修剪方法有:预剪枝,后剪枝。
2.决策树优缺点
优点:
- 不需要预处理,不需要提前归一化,处理缺失值;
- 既可以处理离散值也可以处理连续值。很多算法只是专注于离散值或者连续值;
- 简单直观,生成的决策树很直观;
- 使用决策树预测的代价是O(log2m)O(log2m)。 m为样本数;
- 可以处理多维度输出的分类问题;
- 相比于神经网络之类的黑盒分类模型,决策树在逻辑上可以得到很好的解释;
- 可以交叉验证的剪枝来选择模型,从而提高泛化能力;
- 对于异常点的容错能力好,健壮性高。
缺点: - 决策树算法非常容易过拟合,导致泛化能力不强。可以通过设置节点最少样本数量和限制决策树深度来改进;
- 决策树会因为样本发生一点点的改动,就会导致树结构的剧烈改变。这个可以通过集成学习之类的方法解决;
- 寻找最优的决策树是一个NP难的问题,我们一般是通过启发式方法,容易陷入局部最优。可以通过集成学习之类的方法来改善;
- 有些比较复杂的关系,决策树很难学习,比如异或。这个就没有办法了,一般这种关系可以换神经网络分类方法来解决;
- 如果某些特征的样本比例过大,生成决策树容易偏向于这些特征。这个可以通过调节样本权重来改善。
3.CART算法
纵使决策树的生成算法有很多,但是scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法,既可以做分类,又可以做回归。分类回归树(Classification And Regression Tree, CART)是由美国斯坦福大学和加州大学伯克利分校的布雷曼(Breiman) 等人于1984年提出的,同年他们出版了相关专著Classification and Regression Trees。
CART算法也有树的生成和剪枝两部分,对于树的生成采用的标准主要是:基尼系数(分类),方差(回归);对于树的剪枝采用的标准主要是是:MCCP算法(最小代价复杂性修剪法)。对于这两部分的理论介绍这里不再给出,随便找一本介绍CART树算法的书都有相应的介绍,例如:链接1,链接2……
4.CART算法实现
scikit-learn决策树算法类库中,分类决策树的类对应的是DecisionTreeClassifier,而回归决策树的类对应的是DecisionTreeRegressor。
对于这两者来说,参数定义几乎完全相同,但是意义不全相同。下面就对DecisionTreeClassifier和DecisionTreeRegressor的重要参数做一个总结,重点比较两者参数使用的不同点和调参的注意点。
DecisionTreeClassifier
DecisionTreeClassifier(criterion=’gini’, splitter=’best’, max_depth=None,
min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0,
max_features=None, random_state=None, max_leaf_nodes=None,
min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None,
presort=False)
DecisionTreeRegressor
DecisionTreeRegressor(criterion=’mse’, splitter=’best’, max_depth=None,min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0,max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, presort=False)
5. 应用实例–泰坦尼克号数据集
5.1 数据集获取
链接:https://pan.baidu.com/s/13Qd_qoR22B4VRvUIGm296w 提取码:x4ic
5.2 数据描述
特征 | 描述 |
---|---|
Survived | 0代表死亡,1代表存活 |
Pclass | 乘客所持票类,有三种值(1,2,3) |
Name | 乘客姓名 |
Sex | 乘客性别 |
Age | 乘客年龄(有缺失) |
SibSp | 乘客兄弟姐妹/配偶的个数(整数值) |
Parch | 乘客父母/孩子的个数(整数值) |
Ticket | 票号(字符串) |
Fare | 乘客所持票的价格(浮点数,0-500不等) |
Cabin | 乘客所在船舱(有缺失) |
Embark | 乘客登船港口S、C、Q(有缺失) |
5.3 代码实例
1.导入所需要的库
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt
2.导入数据集,探索数据
data = pd.read_csv("E:/data/titianic.csv",index_col = 0)data.head()data.info()
3.对数据集进行预处理
#删除缺失值过多的列,和观察判断来说和预测的y没有关系的列
data.drop(["Cabin","Name","Ticket"],inplace=True,axis=1)#处理缺失值,对缺失值较多的列进行填补,有一些特征只确实一两个值,可以采取直接删除记录的方法
data["Age"] = data["Age"].fillna(data["Age"].mean())
data = data.dropna()#将分类变量转换为数值型变量#将二分类变量转换为数值型变量
#astype能够将一个pandas对象转换为某种类型,和apply(int(x))不同,astype可以将文本类转换为数字,用这个方式可以很便捷地将二分类特征转换为0~1
data["Sex"] = (data["Sex"]== "male").astype("int")#将三分类变量转换为数值型变量
labels = data["Embarked"].unique().tolist()
data["Embarked"] = data["Embarked"].apply(lambda x: labels.index(x))#查看处理后的数据集
data.head()
4.提取X和Y,划分数据集
X = data.iloc[:,data.columns != "Survived"]
y = data.iloc[:,data.columns == "Survived"]from sklearn.model_selection import train_test_split
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3)#修正测试集和训练集的索引
for i in [Xtrain, Xtest, Ytrain, Ytest]:i.index = range(i.shape[0])#查看分好的训练集和测试集
Xtrain.head()
5.首次尝试,粗略查看结果
clf = DecisionTreeClassifier(random_state=42)
clf = clf.fit(Xtrain, Ytrain)
score_ = clf.score(Xtest, Ytest)print(score_)#尝试一下10折交叉验证的平均分和方差
score = cross_val_score(clf,X,y,cv=10)
print(score)
print(score.mean())
print(score.std())
6.在不同max_depth下观察模型的拟合效果
#当然这里你也可以尝试其他参数,不一定试验max_depth
tr = []
te = []
for i in range(10):clf = DecisionTreeClassifier(random_state=42,max_depth=i+1,criterion="entropy")clf = clf.fit(Xtrain, Ytrain)score_tr = clf.score(Xtrain,Ytrain)score_te = clf.score(Xtest, Ytest)tr.append(score_tr)te.append(score_te)
print("train:{}".format(max(tr)))
print("test:{}".format(max(te)))
plt.plot(range(1,11),tr,color="red",label="train")
plt.plot(range(1,11),te,color="blue",label="test")
plt.xticks(range(1,11))
plt.legend()
plt.show()
7.用网格搜索调整参数
parameters = {'splitter':('best','random'),'criterion':("gini","entropy"),"max_depth":np.arange(1,10),'min_samples_leaf':np.arange(1,50,5),'min_impurity_decrease':np.linspace(0,0.5,20)}clf = DecisionTreeClassifier(random_state=42)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(Xtrain,Ytrain)GS.best_params_GS.best_score_
决策树(CART)算法总结相关推荐
- 02-23 决策树CART算法
文章目录 决策树CART算法 决策树CART算法学习目标 决策树CART算法详解 基尼指数和熵 CART算法对连续值特征的处理 CART算法对离散值特征的处理 CART算法剪枝 生成剪枝后的决策树 选 ...
- 决策树CART算法、基尼系数的计算方法和含义
决策树CART算法--基尼系数 决策树的CART算法使用基尼系数来选择划分属性.一个数据集的纯度可以用基尼系数来度量 Gini(D)=∑k=1∣y∣∑k′≠kpkpk′=1−∑k=1∣y∣pk2\be ...
- 分类算法之决策树CART算法
1. CART算法的认识 Classification And Regression Tree,即分类回归树算法,简称CART算法,它是决策树的一种实现,通常决策树主要有三种实现,分别是ID3算法,C ...
- 机器学习第五篇:详解决策树-CART算法
01|前言: 本篇接着上一篇决策树详解,CART是英文"classification and regression tree"的缩写,翻译过来是分类与回归树,与前面说到的ID3.C ...
- 决策树-CART算法
总第80篇 01|前言: 本篇接着上一篇决策树详解,CART是英文"classification and regression tree"的缩写,翻译过来是分类与回归树,与前面说到 ...
- cart算法_机器学习十大算法之一——决策树CART算法
本文始发于个人公众号:TechFlow,原创不易,求个关注 今天是机器学习专题的第23篇文章,我们今天分享的内容是十大数据挖掘算法之一的CART算法. CART算法全称是Classification ...
- 决策树——CART算法+实战(sklearn)
CART算法 CART举例 剪枝 优缺点 数据集 from sklearn import tree import numpy as np # 载入数据 data = np.genfromtxt(&qu ...
- cart算法实例matlab,matlab 决策树cart算法源代码
matlab源码 决策树 c4.5 cart function D = CART(train_features, train_targets, params, region) % Classify u ...
- 决策树CART算法讲解
ID3和C4.5在上一篇,点击 转载:https://www.cnblogs.com/pinard/p/6053344.html
- 决策树分类算法研究及用例
文章目录 1 题目 2 理论及算法原理 2.1决策树模型的构成 2.2决策树的数据结构 2.3决策树的功能 2.4实现决策树模型的算法 2.5决策树生成算法原理 3算法对比分析 3.1算法概括 3.2 ...
最新文章
- 2019年最新10份开源Java精选资料
- C++反汇编代码分析
- ScrollView中嵌入Listview,当item高度不一样的时候,item展示不全问题
- SwiftTour基础学习(五)控制流
- Mysql中有哪些数据类型(建议收藏)
- 记一次golang中sync.Map并发创建、读取的问题
- 五十二 常用第三方模块 图形界面
- node-mysql_Nodejs与MySQL交互(felixge/node-mysql)
- 锂电池容量电压对照表_锂电池保护板与电池管理系统分别是什么?有什么作用?...
- 数字html显示e的格式化,表格中数字显示是E+数字 怎么正常显示
- [转帖]任正非管理思想
- Python-scrapy爬虫
- 保存在线阅读文件到本地的方法
- 好的工具分享(持续更新)
- IBM赌未来:量子计算服务IBM Q系统今年上线
- Nacos整合Gateway实现动态路由
- 计算机毕业设计(20)java毕设作品之电影院在线选座售票系统
- Ubantu安装JDK(ppa源的方式)
- 小学五年级上册计算机教案新疆,新疆青少年出版社 陕西人民教育出版社 信息技术五年级上册教案...
- tomcat出现404的原因_详解Tomcat出现404的解决方法