Boosting算法总结

Adaboosting:

通过前向分步法，优化损失函数，为指数损失函数，然后梯度上升树。
可以任意分类器作为弱分类器。
优化步长，与迭代次数。

GBDT

回归问题：
1）拟合残差
2）CART树
3）拟合负梯度
分类问题：
1)改变拟合Loss，比如：逻辑回归，对数损失， Adaboost 指数损失。
2）训练更精准
3）没法并行处理
调参
GBDT
n_estimators: 弱学习做大迭代次数
learing_rate: 权重缩减系数，也称作步长。)
subsample: 子采样，不放回抽样，防止过拟合。不能太小，负责偏差大。
随机森林是有放回抽样
loss: 回归选误差函数，分类选指数损失，或对数损失。
CART
1. max_feature: 最大特征树
  2）max_depth: 决策树最大深度，默认是3，数据多特征多一般限制使用
  3）mini_samples_split：内部节点再划分使用的最小样本数。
  4）mini_samples_leaf：叶子节点最少样本数。用于剪枝

XGBoost

优化方面
1）算法本身优化：
a. 弱分类模型选择上，可以支持更多弱分类器。
b. 损失函数上，添加正则化项，预防过拟合
c. 算法优化上，对误差做二阶泰勒展开，更加准备。 GBDT只做一阶泰勒展开。
2）算法运行效率
a. 每个弱分类器，建立过程并行选择，先对所有的特征的值进行排序分组，对分组特征，选择合适的分组大小，cpu缓存进行读取加速。
3）算法健壮性
a.缺失值特征，枚举所有缺失值进入左子树还是右子树决定缺失值处理方法。
调参
1）booster: 默认是gbtree CART,gblinear
2)e_estimators ：弱分类器个数
3）objective 分类，还是损失，以及对应的损失函数。

Boosting算法总结相关推荐

xgboost 正则项_深入理解Boosting算法(4)-XGBoost
导语:记得第一次使用XGBoost的时候还是2016年,那会的XGBoost工具还不完善,深度模型还没有怎么样火起来,大家用的最多的还是Sklearn里面的GBDT,或者R语言的GBM.后来在工作中也 ...
[机器学习] Boosting算法4 --- LightGBM介绍与分布式
[机器学习] Boosting算法1 --- AdaBoost [机器学习] Boosting算法2 --- GBDT [机器学习] Boosting算法3 --- XGBoost [机器学习] Bo ...
[机器学习] Boosting算法2 --- GBDT
[机器学习] Boosting算法1 --- AdaBoost [机器学习] Boosting算法2 --- GBDT [机器学习] Boosting算法3 --- XGBoost [机器学习] Bo ...
[机器学习] Boosting算法1 --- AdaBoost
[机器学习] Boosting算法1 --- AdaBoost [机器学习] Boosting算法2 --- GBDT [机器学习] Boosting算法3 --- XGBoost [机器学习] Bo ...
boosting算法_集成学习：boosting、BDT、GBDT的概括理解
boosting是一种集成学习的方法,与bagging并列形成俩中不同的集成学习算法,本文主要概括boosting方法. boosting在训练过程中,它通过改变训练样本的权重,学习多个学习器,然后将 ...
Boosting算法与假设间隔
Boosting算法与假设间隔间隔概念 AdaBoost算法 AdaBoost 平均间隔参考资料间隔概念间隔是一种几何度量,能够用于度量分类器预测的可信程度.间隔的两种定义:①样本间隔: 被预 ...
机器学习 —— Boosting算法
Boosting算法(提升法) 算法的三个要素 (1)函数模型:Boosting的函数模型是叠加型的,即 F(x)=∑i=1kfi(x;θi)F(x)=∑i=1kfi(x;θi) F(x)=\sum_ ...
Boosting算法
\quad\quadboosting算法是目前工业界广泛使用的基于树的集成算法之一,该算法有诸多的优势,包括对过拟合的处理,对缺失数据的处理,对大多数损失函数的支持等等.不过该算法有诸多的变体,有些也 ...
boosting算法的分类
https://www.cnblogs.com/liuq/p/9947764.html 另外高维回归,L2boosting的结果和lasso相近,可能说明L2boosting可以解释为某种L1正则化的 ...
python 梯度提升树_梯度提升方法(Gradient Boosting)算法案例
GradientBoost算法 python实现,该系列文章主要是对<统计学习方法>的实现. 完整的笔记和代码以上传到Github,地址为(觉得有用的话,欢迎Fork,请给作者个Star) ...

Boosting算法总结

Boosting算法总结相关推荐

最新文章

热门文章