一.描述

随机森林回归模型能够通过组合不同的决策树降低方差，但有时会略微增加偏差。在实际应用中，方差降低通常比偏差增加更加显著，所以随机森林回归模型能够取得更好的效果。

二.用法和参数

n_estimators参数：用于设置随机森林回归模型里决策树的数量，通常数量越大，效果越好，但是计算时间也会随之增加。当决策树的数量超过一个临界值后，算法的效果并不会很显著的变好
max_features参数：用于设置分隔节点时考虑的特征的随机子集的大小。这个值越低，方差越减小的越多，但是偏差的增大也越多。默认回归问题中设置max_features参数为None，意为选择所有特征

三.实例

import numpy as np
from sklearn.ensemble import RandomForestRegressor
import matplotlib.pyplot as plt
import mpl_toolkits.mplot3d
# 生成50*50的网格
x, y = np.mgrid[-2:2:50j, -2:2:50j]
# 计算网格上每一个点的高度值
z = x*np.exp(-x**2-y**2)
# 随机生成区间[-2, 2]内的100个x
_x = np.random.random(100) * 4 - 2
# 随机生成区间[-2, 2]内的100个y
_y = np.random.random(100) * 4 - 2
# 生成网格中所有点的高度
_z = _x*np.exp(-_x**2-_y**2) + (np.random.random(100)-0.5) * 0.1
# 训练样本集
X_train = np.stack((_x, _y), axis=1)
# 训练标签集
y_train = _z
# 测试样本集
X_test = np.stack((x.ravel(), y.ravel()), axis=1)
# 测试标签集
y_test = z.ravel()
rfr_1 = RandomForestRegressor(n_estimators=20, max_depth=10)
rfr_2 = RandomForestRegressor(n_estimators=50, max_depth=10)
# 模型训练
rfr_1.fit(X_train, y_train)
rfr_2.fit(X_train, y_train)
# 模型预测
z_1 = rfr_1.predict(X_test)
z_2 = rfr_2.predict(X_test)
# 模型评估
score_1 = rfr_1.score(X_test, y_test)
score_2 = rfr_2.score(X_test, y_test)
score_1
plt.figure(figsize=(20, 10))
ax = plt.subplot(121, projection='3d')
ax.scatter3D(_x, _y, _z, c='r')
ax.plot_surface(x, y, z_1.reshape(x.shape), cmap=plt.cm.hsv, alpha=0.5)
ax = plt.subplot(122, projection='3d')
ax.scatter3D(_x, _y, _z, c='r')
ax.plot_surface(x, y, z_2.reshape(x.shape), cmap=plt.cm.hsv, alpha=0.5)
plt.show()

Scikit-learn_回归算法_随机森林回归算法相关推荐

matlab 随机森林算法_随机森林算法
随机森林是一种灵活,易于使用的机器学习算法,即使没有超参数调整,也能在大多数情况下产生出色的结果.它也是最常用的算法之一,因为它简单,并且可以用于分类和回归任务.在这篇文章中,您将学习随机森林算法如何 ...
基于python的随机森林回归实现_随机森林理论与python代码实现
1,初品随机森林随机森林,森林就是很多决策树放在一起一起叫森林,而随机体现在数据集的随机采样中和特征的随机选取中,具体下面再讲.通俗的说随机森林就是建立多颗决策树(CART),来做分类(回归),以多 ...
java利用复循环洗牌算法_随机洗牌算法
今天偶然看到群里的朋友说道,面试被问如何将扑克牌随机洗牌输出.笔者觉得这道题挺有意思而且挺开放性,有多种不同的实现方式.然后我就随手写了一个算法,仔细一想这个算法的优化空间挺大,于是又写出三种算法. ...
随机森林回归算法讲解
随机森林(Random Forest)是一种基于集成学习的机器学习算法,被广泛用于回归问题.它通过使用多个决策树对数据进行建模,并将它们的预测结果进行集成,从而提高了模型的性能和稳定性.在本教程中,我 ...
Lesson 9.2 随机森林回归器的参数
文章目录一.弱分类器的结构 1. 分枝标准与特征重要性 2. 调节树结构来控制过拟合二.弱分类器的数量三.弱分类器训练的数据 1. 样本的随机抽样 2. 特征的随机抽样 3. 随机抽样的模式四 ...
LESSON 9.1 随机森林回归器的实现
目录三随机森林RandomForest 1 RamdomForestRegressor的实现 2 随机森林回归器的参数 2.1 弱分类器结构 2.2 弱分类器数量 2.3 ...
Python实现Stacking回归模型(随机森林回归、极端随机树回归、AdaBoost回归、GBDT回归、决策树回归)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景 Stacking通常考虑的是异质弱学习器(不同的学习算法被组合在 ...
机器学习基础算法之随机森林
英文原文<The Random Forest Algorithm> 专知编译<机器学习基础算法之随机森林> [导读]在当今深度学习如此火热的背景下,其他基础的机器学习算法显得 ...
Python实现GWO智能灰狼优化算法优化随机森林分类模型(RandomForestClassifier算法)项目实战
说明:这是一个机器学习实战项目(附带数据+代码+文档+视频讲解),如需数据+代码+文档+视频讲解可以直接到文章最后获取. 1.项目背景灰狼优化算法(GWO),由澳大利亚格里菲斯大学学者 Mirjal ...

Scikit-learn_回归算法_随机森林回归算法

一.描述

二.用法和参数

三.实例

Scikit-learn_回归算法_随机森林回归算法相关推荐

最新文章

热门文章