Baggging

概述

bagging又叫套袋法，集成学习的一种。

简单来说是这样的：

我们有了训练集T，有放回地取数据至集合T1中，再有放回地取数据到T2中，……，有放回地取数据至Tk中；

这样我们就有了k个训练集，对于每一个训练集分别训练（可用同一种方法，也可也不同方法），我们就有了k个模型；

对于分类问题，采用投票的方式确定最终的分类，对于回归问题，取均值作为最终的预测数据。

当然bagging最终不一定能得到更好的效果，但大多数时候是可以的。

sklearn实现bagging

import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn import tree
from sklearn.ensemble import BaggingClassifier# 导入数据
iris = datasets.load_iris()
xdata = iris.data[:,:2]
ydata = iris.target
# 训练测试拆分
x_train,x_test,y_train,y_test = train_test_split(xdata,ydata)# 画图函数
def plot(model):# 获取数据范围x_min,x_max = xdata[:,0].min()-1,xdata[:,0].max()+1 y_min,y_max = xdata[:,1].min()-1,xdata[:,1].max()+1 # 生成网格矩阵xx,yy = np.meshgrid(np.arange(x_min,x_max,0.02),np.arange(y_min,y_max,0.02))z = model.predict(np.c_[xx.ravel(),yy.ravel()])z = z.reshape(xx.shape)# 等高线图cs = plt.contourf(xx,yy,z)# 建立bagging模型
dtree = tree.DecisionTreeClassifier()
bagging_dtree = BaggingClassifier(dtree,n_estimators=100)
bagging_dtree.fit(x_train,y_train)
plot(bagging_dtree)
plt.scatter(xdata[:,0],xdata[:,1],c=ydata)
plt.show()

集成学习（一）—— Bagging相关推荐

集成学习之Bagging
集成学习之Bagging 1 Bagging集成原理目标:把下面的圈和方块进行分类 [此时用直线很难把圈和方块分开的] 实现过程: 1.采样不同数据集 2.训练分类器 3.平权投票,获取最终结果 4 ...
集成学习、Bagging算法、Bagging+Pasting、随机森林、极端随机树集成（Extra-trees）、特征重要度、包外评估
集成学习.Bagging算法.Bagging+Pasting.随机森林.极端随机树集成(Extra-trees).特征重要度.包外评估目录
python机器学习案例系列教程——集成学习（Bagging、Boosting、随机森林RF、AdaBoost、GBDT、xgboost）
全栈工程师开发手册 (作者:栾鹏) python数据挖掘系列教程可以通过聚集多个分类器的预测结果提高分类器的分类准确率,这一方法称为集成(Ensemble)学习或分类器组合(Classifier C ...
集成学习：Bagging、随机森林、Boosting、GBDT
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 集成学习:Bagging.随机森林.Boosting.GBDT ...
[白话解析] 通俗解析集成学习之bagging，boosting 随机森林
[白话解析] 通俗解析集成学习之bagging,boosting & 随机森林 0x00 摘要本文将尽量使用通俗易懂的方式,尽可能不涉及数学公式,而是从整体的思路上来看,运用感性直觉的思考来 ...
监督学习 | 集成学习之Bagging、随机森林及Sklearn实现
文章目录集成学习 1. 投票分类器 1.1 硬投票法 1.2 软投票法 2. Bagging & Pasting 2.1 包外评估 2.2 Random Patches 和随机子空间 3. ...
集成学习（Bagging和Boosting）
一.概念集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型,集成学习潜在的思想是即便某一个弱分类器得到了错误的预测,其他的弱分类器也可以将错误纠正回来. Baggging 和Bo ...
机器学习（九）：集成学习（bagging和boosting），随机森林、XGBoost、AdaBoost
文章目录一.什么是随机森林? 1.1 定义 1.2 目的 1.3 随机森林 VS bagging 二.集成学习 2.1 定义 2.2 决策树的问题 2.3 袋装法概念与理论 2.4 装袋法的优缺点 ...
集成学习（bagging/boosting/stacking）BERT,Adaboost
文章目录集成学习(ensemble learning) 1.bagging(装袋法) 2.boosting(提升法) 3.stacking(堆叠法) 集成学习(ensemble learning) ...
[学习笔记] [机器学习] 7. 集成学习（Bagging、随机森林、Boosting、GBDT）
视频链接数据集下载地址:无需下载 1. 集成学习算法简介学习目标: 了解什么是集成学习知道机器学习中的两个核心任务了解集成学习中的 Boosting 和 Bagging 1.1 什么是集成学习 ...

集成学习（一）—— Bagging

Baggging

概述

sklearn实现bagging

集成学习（一）—— Bagging相关推荐

最新文章

热门文章