数据分析——随机森林解决回归问题

下表为训练数据集，特征向量只有一维，根据此数据表建立回归决策树。

在本数据集中，只有一个特征变量，最优切分变量自然是x。接下来考虑9个切分点{1.5,2.5,3.5,4.5,5.5,6.5,7.5,8.5,9.5}，根据下式计算每个待切分点的损失函数值：

当切分点s=1.5时，可得c1和c2值

同理，其他切分点的c1和c2值如下

当切分点s=1.5时，可得损失函数值

同理，其他切分点的损失函数值如下

由上可知，当切分点s=6.5时，损失函数值最小。因此，第一个划分点为(j=x,s=6.5)，这是决策树的第一层，划分后可得：

同理，我们进行第二层切分，经计算R1最佳切分点为3.5，R2最佳切分点为8.5，最终决策树如下图所示

代码实现：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import tree, linear_modelx = np.arange(1,11,1).reshape(-1,1)
y = np.array([5.56, 5.70, 5.91, 6.40, 6.80, 7.05, 8.90, 8.70, 9.00, 9.05])# Fit regression model
model1 = tree.DecisionTreeRegressor(max_depth=2)
model2 = linear_model.LinearRegression()
model1.fit(x, y)
model2.fit(x, y)# Predict
# X_test = np.arange(0.0, 12.0, 0.01)[:, np.newaxis]
X_test = np.arange(0.0, 12.0, 0.01).reshape(-1,1)
y1 = model1.predict(X_test)
y2 = model2.predict(X_test)# Plot the results
fig, axs = plt.subplots(1,1)
axs.scatter(x, y, color="black", label="source data")
axs.plot(X_test, y1, color="red", label="max_depth=2", linewidth=2)
axs.plot(X_test, y2, color='black', label='liner regression', linewidth=2)
plt.xlabel("x")
plt.ylabel("y")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()

运行结果：

数据分析——随机森林解决回归问题相关推荐

数据分析——随机森林解决分类问题
根据轴承振动数据预测轴承故障,轴承振动数据一共有792组,每组数据包括6000个时间点的振幅.轴承标签数据一共有10类,0表示无故障,1~9分别表示不同的故障. 百度网盘下载训练数据: 链接:http ...
《scikit-learn》随机森林之回归
今天我们学习下随机森林做回归的用法话不多说直接上测试代码,看的更加清晰,总体上和回归树是一样的使用流程 from sklearn.datasets import load_boston from s ...
随机森林RandomForest回归生物标记预测时间序列
关于随机森林的简介和应用理论,请阅读之前分享的文章: 一文读懂随机森林在微生态中的应用关于随机森林进行分类的入门实战,请阅读之前分享的 <RandomForest:随机森林预测生物标记biom ...
机器学习算法概述：随机森林逻辑回归
摘要: 机器学习算法入门介绍:随机森林与逻辑回归! 随机森林是用于分类和回归的监督式集成学习模型.为了使整体性能更好,集成学习模型聚合了多个机器学习模型.因为每个模型单独使用时性能表现的不是很好,但如 ...
python大数据之随机森林（回归与分类）
随机森林在大数据运用中非常的常见,它在预测和回归上相比于SVM,多元线性回归,逻辑回归,多项式回归这些,有着比较好的鲁棒性. 随机森林是一个用随机方式建立的,包含多个决策树的分类器.其输出的类别是由各 ...
R语言随机森林模型回归randomForest
基于<The influence of the neighbourhood environment on peer-to-peer accommodations: A random forest ...
随机森林算法初步实现
随机森林算法是一种灵活,易于使用的机器学习算法,本文主要是实现初步的模型,供大家学习参考. 文章目录 1. 导入数据 2. 划分数据集 3. 数据处理 4. 构建模型 5. 对测试集进行预测 6. 回 ...
多元随机森林回归（Multivariate Random Forest Regreesor）经验总结
多元随机森林回归(Multivariate Random Forest Regreesor)经验总结随机森林多元回归问题是否需要分析自变量相关性最近在使用随机森林解决多元回归问题,本文涉及一些 ...
【金融】【随机森林】使用随机森林对期货数据（涨跌）进行回归
[金融][随机森林]使用随机森林对期货数据(涨跌)进行回归 RF-RF_train3year3month 读取数据划分训练集与数据集,3年+3月,以此类推取特定数据 Exponential smo ...

数据分析——随机森林解决回归问题

数据分析——随机森林解决回归问题相关推荐

最新文章

热门文章