CART-回归树实例

例如：根据职业和年龄来预测月薪。

职业	年龄	月薪
程序员	22	20000
程序员	23	26000
程序员	29	30000
教师	23	12000
教师	25	14000

样本x：[1, 0, 22], [1, 0, 23], [1, 0, 29], [0, 1, 23], [0, 1, 25] （注：我们对职业特征进行了one-hot升维）

样本y：[20000, 26000, 30000, 12000, 14000]

分裂规则：找到使得按照feature<=阈值，和feature>阈值分成的两个分枝。
以职业为切分点：

程序员均值c1=(20000+26000+30000)/3=25333.33 教师均值c2=13000

以职业平方误差=(20000-25333.33)^2+(26000-25333.33)^2+(30000-25333.33)^2 + (12000-13000)^2+(14000-13000)^2=51 666 666+2 000 000 = 53 666 666

以年龄为划分：

以年龄22切分点：

c左-均值 = 20000 c右-均值= (26000+30000+12000+14000)/4=20500

以年龄-22的平方误差= (20000-20000)^2 +(26000-20500)^2+(30000-20500)^2+(12000-20500)^2+(14000-20500)^2= 235 000 000

以年龄23切分点：

c左-均值 = (20000+26000+12000)/3=19333.33 c右-均值=(30000+14000)/2=22000

以年龄-23的平方误差= (20000-19333.33)^2+(26000-19333.33)^2+(30000-22000)^2+(12000-22000)^2+(14000-22000)^2=272 888 937.77

以年龄25切分点：

c左-均值 = (20000+26000+12000+16000)/4=18500 c右-均值=30000

以年龄-25的平方误差= (20000-18500)^2+(26000-18500)^2+(30000-18500)^2+(12000-18500)^2+(30000-30000)^2=233 000 000

同理可得每个年龄的划分情况

	职业_程序员	职业_教师	年龄_22	年龄_23	年龄_25
平方误差	53 666 666	53 666 666	235 000 000	272 888 937.77	233 000 000

故第一次分裂选择职业。左子树为程序员的三个样本，柚子树为教师的两个样本。

import numpy as np
from sklearn.tree import DecisionTreeRegressorlist = [[1, 0, 22], [1, 0, 23], [1, 0, 29], [0, 1, 23], [0, 1, 25]]
x = np.array(list)
y = np.array([20000, 26000, 30000, 12000, 14000])
model = DecisionTreeRegressor(max_depth=1)
model.fit(x, y)
print(model.tree_.value) #各节点的输出值

总结：

1.CART回归树的损失函数平方误差（SE）

2.CART回归树的某叶子节点的输出值为该节点所有样本的均值。

CART-回归树实例相关推荐

Lesson 8.3Lesson 8.4 ID3、C4.5决策树的建模流程CART回归树的建模流程与sklearn参数详解
Lesson 8.3 ID3.C4.5决策树的建模流程 ID3和C4.5作为的经典决策树算法,尽管无法通过sklearn来进行建模,但其基本原理仍然值得讨论与学习.接下来我们详细介绍关于ID3和C4. ...
大白话5分钟带你走进人工智能-第二十六节决策树系列之Cart回归树及其参数(5)...
第二十六节决策树系列之Cart回归树及其参数(5) 上一节我们讲了不同的决策树对应的计算纯度的计算方法, ...
CART回归树原理及python实现
CART回归树入门学习一.什么是CART回归算法二.分类树与回归树区别三.CART回归树与一般回归算法区别四.CART回归树创建 4.1 CART回归树的划分 4.2 CART回归树的构建 4 ...
一个例子让你明白什么是CART回归树
关于CART的原理我相信各位都有看过,是不是有些晕呢?没关系,这里我给大家讲个例子,你就理解原来CART回归树生成这么简单啊... 首先建立一个数据集,为了方便,就取少量数据,如下表,数据的创建仅作参 ...
决策树(二)：CART回归树与Python代码
上一篇介绍了决策树的基本概念,特征划分标准及ID3､C4.5和CART分类树的算法,本文着重对CART回归树的内容进行补充. 本文概览: 首先介绍CART回归树的算法,然后是创建CART回归树的主要步 ...
CART回归树--决策树
决策树的关键问题这么多特征,使用哪个特征先进行子表划分? CART回归树原始数据集S,此时树的深度depth=0; 针对集合S,遍历每一个特征的每一个value, 用该value将原数据集S分裂成 ...
CART回归树原理及示例
转载:https://cethik.vip/2016/09/21/machineCAST/ 一.概念 CART全称叫Classification and Regression Tree.首先要强调的是 ...
CART回归树及其实战
1.CART简介分类与回归树(classification and regression tree,CART)模型由Breiman等人在1984年提出,是应用广泛的决策树学习方法.CAR ...
决策树-CART回归树
1.什么是CART? CART,又名分类回归树,是在ID3的基础上进行优化的决策树,学习CART记住以下几个关键点: (1)CART既能是分类树,又能是分类树: (2)当CART是分类树时,采用GIN ...
cart回归树的理解
id3不能直接处理连续性的特征,需要将连续性的转化成离散的,但是会破坏连续性特征的内在结构. 一.概念 CART全称叫Classification and Regression Tree.首先要强调的 ...

CART-回归树实例

CART-回归树实例相关推荐

最新文章

热门文章

CART-回归树 实例

CART-回归树 实例相关推荐

最新文章

热门文章

CART-回归树实例

CART-回归树实例相关推荐