Introduction

决策树会让您做出艰难的决定。有很多树叶的深树将会过拟合，因为每个预测都来自其叶子上只有少数房屋的历史数据。但是叶子很少的浅树会表现不佳，因为它无法捕获原始数据中的许多区别。

即使在今天，最成熟的建模技术也面临着过拟合和欠拟合之间的这种紧张关系。但是，许多模型都有聪明的想法，可以带来更好的性能。我们将以随机森林为例。

随机森林使用许多树，并通过平均每个组树的预测来进行预测。它通常比单个决策树具有更好的预测准确性，并且与默认参数一起使用效果很好。如果您继续建模，您可以学习更多具有更好性能的模型，但其中许多模型对获取正确的参数很敏感。

Example

您已经多次看到加载数据的代码，加载后我们有以下变量：

train_X
val_X
train_y
val_y

【1】

import pandas as pd# Load data
melbourne_file_path = '../input/melbourne-housing-snapshot/melb_data.csv'
melbourne_data = pd.read_csv(melbourne_file_path)
# Filter rows with missing values
melbourne_data = melbourne_data.dropna(axis=0)
# Choose target and features
y = melbourne_data.Price
melbourne_features = ['Rooms', 'Bathroom', 'Landsize', 'BuildingArea', 'YearBuilt', 'Lattitude', 'Longtitude']
X = melbourne_data[melbourne_features]from sklearn.model_selection import train_test_split# split data into training and validation data, for both features and target
# The split is based on a random number generator. Supplying a numeric value to
# the random_state argument guarantees we get the same split every time we
# run this script.
train_X, val_X, train_y, val_y = train_test_split(X, y,random_state = 0)

我们构建一个随机森林模型，类似于我们在scikit-learn中构建决策树的方式 - 这次使用RandomForestRegressor类而不是DecisionTreeRegressor。

【2】

from sklearn.ensemble import RandomForestRegressor
from sklearn.metrics import mean_absolute_errorforest_model = RandomForestRegressor(random_state=1)
forest_model.fit(train_X, train_y)
melb_preds = forest_model.predict(val_X)
print(mean_absolute_error(val_y, melb_preds))

202888.18157951365

Conclusion

可能还有进一步改进的空间，但这比250,000的最佳决策树误差有了很大的改进。有些参数允许您更改随机森林的性能，就像我们更改单个决策树的最大深度一样。但随机森林模型的最佳特征之一是，即使没有这种调整，它们通常也能合理地工作。

您很快就会学习XGBoost模型，它可以在使用正确的参数进行调整时提供更好的性能（但需要一些技巧才能获得正确的模型参数）。

Your Turn

尝试使用随机森林模型看看对您自己模型的改善。

6.Random Forests相关推荐

R语言使用randomForest包构建随机森林模型（Random forests）、使用importance函数查看特征重要度、使用table函数计算混淆矩阵评估分类模型性能、包外错误估计OOB
R语言使用randomForest包中的randomForest函数构建随机森林模型(Random forests).使用importance函数查看特征重要度.使用table函数计算混淆矩阵评估分类 ...
Introduction to random forests
2019独角兽企业重金招聘Python工程师标准>>> 1: Introduction In the past three missions, we learned about de ...
Random Forests
Random Forests http://www.stat.berkeley.edu/~breiman/RandomForests/
Random Forests C++实现：细节，使用与实验
Random Forests C++实现:细节,使用与实验 1. 随机森林简介 1.1 算法简介 1.2 随机特性 2. C++实现和使用 2.1 动机 2.2 细节 2.2.1 算法的参数(Hype ...
统计学中的Bootstrap方法（Bootstrap抽样）用来训练bagging算法，如果随机森林Random Forests
统计学中的Bootstrap方法(Bootstrap抽样)用来训练bagging算法,如果随机森林Random Forests 提示:系列被面试官问的问题,我自己当时不会,所以下来自己复盘一下,认真学 ...
随机森林（Random Forests）介绍
1.决策树(Decision Tree) 决策树是一种树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别.常见的决策树算法有C4.5.ID3和CART.I ...
随机森林 (Random Forests) 简单介绍与应用
1 集成方法(Ensemble methods) 1.1 什么是集成方法简单来说,集成方法就是组合多个模型,以获得更好效果. 1.2 两种集成方法平均法(averaging methods):也 ...
装袋法（bagging）和随机森林（random forests）的区别
bagging method 和random forests 一般都是应用在决策树中.这篇文章只讨论bagging method 和random forests 的区别. bagging method ...
【随机森林】random forests 简单介绍
Random Forest,顾名思义 Random 就是随机抽取: Forest 就是说这里不止一棵树,而由一群决策树组成的一片森林 ,连起来就是用随机抽取的方法训练出一群决策树来完成分类任务. R ...
Random Forests原理
Random Forests原理分类: 机器学习2012-07-27 15:09 1085人阅读评论(3) 收藏举报 randomreference算法测试转载自:http://lincccc ...

6.Random Forests

Introduction

Example

Conclusion

Your Turn

6.Random Forests相关推荐

最新文章

热门文章