xgboost与gdbt区别比较

1.从本质上看
gbdt是机器学习算法的一种，xgboost是该算法的具体工程实现

2.基分类器
gbdt采用cart作为基分类器，而xgboost的基分类器可以是线性的

3.防止过拟合
xgboost在目标函数中显式的加入了正则化项来控制模型的复杂度

4.数据的使用
gbdt每轮迭代都使用全部数据，xgboost则可以对数据进行采用

5.对缺失值处理
XGBOOST可以自动学习出缺失值的分裂方向

6.列抽样
XGBOOST可以支持类似于随机森林的列抽样

7.模型训练
GBDT在训练模型时中使用了代价函数的一阶导数信息，而XGBOOST将代价函数进行了二次展开，使用了二阶导数的信息。

8.并行方式
两个模型从迭代上都不是并行的，因为同属于boosting，只能是串行的，但是从特征的粒度来看，xgboost可以实现并行。
决策树在确定最佳分割点时，需要对特征的值进行排序。XGBoost在训练之前，预先对数据进行了排序，然后保存为block(块)结构，后面的迭代中重复地使⽤这个结构，⼤大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。

以上都是本人通过各种方式学习后总结了两者的一些不同。

xgboost与gdbt区别比较相关推荐

XGboost和GBDT区别及解读XGboost参数
GBDT和XGBoost区别传统的GBDT以CART树作为基学习器,XGBoost还支持线性分类器,这个时候XGBoost相当于L1和L2正则化的逻辑斯蒂回归(分类)或者线性回归(回归): 传统的G ...
【机器学习】一文详解GBDT、Xgboost、Boosting与Bagging之间的区别
GBDT与Xgboost的区别 N问GBDT 1. 怎么设置单棵树的停止生长条件? 2. 如何评估特征的权重大小? 3. 当增加样本数量时,训练时长是线性增加的吗? 4. 当增加树的颗数时,训练时长是 ...
第二篇：对CART,Gradient Boost，Xgboost，LightGBM的学习
1.衡量决策树(结果是离散的)划分纯度的方式(也就是划分指标是否对数据进行最恰当地划分):信息增益(ID3).信息增益率(C4.5).基尼系数(CART)等等. 2.回归树的关键点.参数:(1)选取哪 ...
GBDT和XGBoost
写在最开头,对GB的理解: 1.Gradient Boosting:每一次的计算是为了减少上一次的残差(residual),而为了消除残差,我们可以在残差减少的梯度(Gradient)方向上建立一个新 ...
Xgboost算法之原理+代码
https://blog.csdn.net/kwame211/article/details/81098025 这里有一套系统的XGBoost学习方法,结合学习吧! 1. XGBoost简介 xgbo ...
XGBoost(极端梯度提升)算法原理小结
前言 XGBoost(eXtreme Gradient Boosting)全名叫极端梯度提升,XGBoost是集成学习方法的王牌,在Kaggle数据挖掘比赛中,大部分获胜者用了XGBoost,XGBo ...
XGBoost原理及目标函数推导详解
前言 XGBoost(eXtreme Gradient Boosting)全名叫极端梯度提升,XGBoost是集成学习方法的王牌,在Kaggle及工业界都有广泛的应用并取得了较好的成绩,本文较详细的介 ...
12.集成学习进阶一——xgboost
xgboost算法 XGBoost(Extreme Gradient Boosting)全名叫极端梯度提升树,XGBoost是集成学习⽅法的王牌,在Kaggle数据挖掘⽐赛中,⼤部分获胜者⽤了XGB ...
xgboost参数原理详解,适合入门新人
sklearn集成方法 bagging 常见变体(按照样本采样方式的不同划分) Pasting:直接从样本集里随机抽取的到训练样本子集 Bagging:自助采样(有放回的抽样)得到训练子集 Rando ...

xgboost与gdbt区别比较

xgboost与gdbt区别比较相关推荐

最新文章

热门文章