模型和参数

监督学习中的 model（模型） 通常是指给定输入 xixi 如何去预测输出 yiyi 的数学结构。 例如，一个常见的模型是一个 linear model（线性模型）（如线性回归和 logistic regression），其中的预测是由 y^i=∑jwjxijy^i=∑jwjxij 给出的，这是加权输入特征的线性组合（线性叠加的方式）。 其实这里的预测 yy 可以有不同的解释，取决于做的任务。 例如，我们可以通过 logistic 转换得到 logistic regression 中 positive 类别的概率，当我们想要对输出结果排序的时候，也可以作为排序得分指标等。

parameters（参数） 是我们需要从数据中学习的未确定部分。在线性回归问题中，参数是系数 ww 。 通常我们使用 ΘΘ 来表示参数。

目标函数：训练损失 + 正则

基于对 yiyi 的不同理解，我们可以得到不同的问题，比如回归，分类，排序等。 我们需要找到一种方法来找到训练数据的最佳参数。为了做到这一点，我们需要定义一个所谓的 objective function（目标函数） 以给定一组参数来衡量模型的性能。

关于目标函数的一个非常重要的事实是，它们 must always（必须总是） 包含两个部分：training loss （训练损失） 和 regularization（正则化）。

其中 LL 是训练损失函数， ΩΩ 是正则化项。 training loss （训练损失）衡量我们的数据对训练数据的预测性。 例如，常用的训练损失是 mean squared error（均方误差，MSE）。

另一个常用的损失函数是 logistic 回归的 logistic 损失。

regularization term（正则化项） 是人们通常忘记添加的内容。正则化项控制模型的复杂性，这有助于避免过拟合。 这听起来有些抽象，那么我们在下面的图片中考虑下面的问题。在图像左上角给出输入数据点的情况下，要求您在视觉上 fit（拟合） 一个 step function（阶梯函数）。 您认为三种中的哪一种解决方案是最拟合效果最好的？

答案已经标注为红色了。请思考一下这个是否在你的视觉上较为合理？总的原则是我们想要一个 simple（简单） 和 predictive（可预测） 的模型。 两者之间的权衡也被称为机器学习中的 bias-variance tradeoff（偏差-方差 权衡）。

对于线性模型常见的正则化项有 L2L2 正则和 L1L1 正则。这样的目标函数的设计来自于统计学习中的一个重要概念，也是我们刚才说的， bias-variance tradeoff（偏差-方差 权衡）。比较感性的理解， Bias 可以理解为假设我们有无限多数据的时候，可以训练出最好的模型所拿到的误差。而 Variance 是因为我们只有有限数据，其中随机性带来的误差。目标中误差函数鼓励我们的模型尽可能去拟合训练数据，这样相对来说最后的模型会有比较小的 bias 。而正则化项则鼓励更加简单的模型。因为当模型简单之后，有限数据拟合出来结果的随机性比较小，不容易过拟合，使得最后模型的预测更加稳定。

为什么要介绍 general principle（一般原则）

上面介绍的要素构成了监督学习的基本要素，它们自然是机器学习工具包的基石。 例如，你应该能够描述 boosted trees 和 random forests 之间的差异和共同点。 以正式的方式理解这个过程也有助于我们理解我们正在学习的目标以及启发式算法背后的原因，例如 pruning 和 smoothing 。

附加训练

我们想要问的第一件事就是树的 parameters（参数） 是什么。 你可能已经发现了，我们要学习的是那些函数 fifi ，每个函数都包含树的结构和叶子分数。这比传统的你可以找到捷径的优化问题要难得多。在 tree ensemble 中，参数对应了树的结构，以及每个叶子节点上面的预测分数。 一次性训练所有的树并不容易。 相反，我们使用一个附加的策略：优化好我们已经学习完成的树，然后一次添加一棵新的树。 我们通过 y^(t)iy^i(t) 来关注步骤 tt 的预测值，所以我们有

另外还有一个问题，每一步我们想要哪棵 tree 呢？一个自然而然的事情就是添加一个优化我们目标的方法。

如果我们考虑使用 MSE 作为我们的损失函数，它将是下面的形式。

MSE 的形式比较友好，具有一阶项（通常称为残差）和二次项。 对于其他形式的损失（例如，logistic loss），获得这么好的形式并不是那么容易。 所以在一般情况下，我们把损失函数的泰勒展开到二阶

其中 gigi 和 hihi 被定义为

我们删除了所有的常量之后， tt 步骤中的具体目标就变成了

这成为了新树的优化目标。这个定义的一个重要优点是它只依赖于 gigi 和 hihi 。这就是 xgboost 如何支持自定义损失函数。 我们可以使用完全相同的使用 gigi 和 hihi 作为输入的 solver（求解器）来对每个损失函数进行优化，包括 logistic regression， weighted logistic regression。

模型复杂度

我们已经介绍了训练步骤，但是等等，还有一个重要的事情，那就是 regularization（正则化） ！ 我们需要定义树的复杂度 Ω(f)Ω(f) 。为了做到这一点，让我们首先改进一棵树的定义 f(x)f(x) 如下

这里 ww 是树叶上的分数向量，qq 是将每个数据点分配给叶子的函数，TT 是树叶的数量。 在 XGBoost 中，我们将复杂度定义为

当然有不止一种方法来定义复杂度，但是这个具体的方法在实践中运行良好。正则化是大多数树的包不那么谨慎或简单忽略的一部分。这是因为对传统的树学习算法的对待只强调提高 impurity（不纯性），而复杂度控制则是启发式的。 通过正式定义，我们可以更好地了解我们正在学习什么，是的，它在实践中运行良好。

The Structure Score（结构分数）

这是 derivation（派生）的神奇部分。在对树模型进行重新格式化之后，我们可以用第 tt 棵树来编写目标值如 :

其中 Ij={i|q(xi)=j}Ij={i|q(xi)=j} 是分配给第 jj 个叶子的数据点的索引的集合。 请注意，在第二行中，我们更改了总和的索引，因为同一叶上的所有数据点都得到了相同的分数。 我们可以通过定义 Gj=∑i∈IjgiGj=∑i∈Ijgi 和 Hj=∑i∈IjhiHj=∑i∈Ijhi 来进一步压缩表达式 :

在这个等式中 wjwj 是相互独立的，形式 Gjwj+12(Hj+λ)w2jGjwj+12(Hj+λ)wj2 是二次的，对于给定的结构 q(x)q(x) 的最好的 wjwj，我们可以得到最好的客观规约:

最后一个方程度量一个树结构 q(x)q(x) how good（到底有多好） 。

如果这一切听起来有些复杂，我们来看一下图片，看看分数是如何计算的。 基本上，对于一个给定的树结构，我们把统计 gigi 和 hihi push 到它们所属的叶子上，统计数据加和到一起，然后使用公式计算树是多好。 除了考虑到模型的复杂度，这个分数就像决策树中的杂质测量一样（例如，熵/GINI系数）。

学习树结构

既然我们有了一个方法来衡量一棵树有多好，理想情况下我们会列举所有可能的树并挑选出最好的树。 在实践中，这种方法是比较棘手的，所以我们会尽量一次优化树的一个层次。 具体来说，我们试图将一片叶子分成两片，并得到分数

这个公式可以分解为 1) 新左叶上的得分 2) 新右叶上的得分 3) 原始叶子上的得分 4) additional leaf（附加叶子）上的正则化。 我们可以在这里看到一个重要的事实：如果增益小于 γγ，我们最好不要添加那个分支。这正是基于树模型的 pruning（剪枝） 技术！通过使用监督学习的原则，我们自然会想出这些技术工作的原因 :)

对于真实有价值的数据，我们通常要寻找一个最佳的分割。为了有效地做到这一点，我们把所有的实例按照排序顺序排列，如下图所示。 

然后从左到右的扫描就足以计算所有可能的拆分解决方案的结构得分，我们可以有效地找到最佳的拆分。