集成学习03-偏差与方差理论

1. 训练均方误差与测试均方误差

2. 偏差-方差的权衡

3. 估计测试误差

4. 特征提取的3种方式

5. 模型调优（针对超参数）

在选择基础模型后，下一步要优化模型，以达到更好的预测效果。

1. 训练均方误差与测试均方误差

对于均方误差，即：

如果我们所用的数据是训练集上的数据，那么这个误差为训练均方误差，如果我们使用测试集的数据计算的均方误差，我们称为测试均方误差。

训练模型的最终目的是使测试误差达到最小，而不是训练误差最小。

一个模型的训练均方误差最小时，不能保证测试均方误差同时也很小。模型在训练误差很小，但是测试均方误差很大时，我们称这种情况叫模型的过拟合。

图：训练均方误差（灰色曲线），测试均方误差（红色曲线），所有方法都已使测试均方误差尽可能最小。

随着模型复杂度的升高，训练MSE持续下降，测试MSE先减小到最小值再迅速升高。

我们寻找的最优的模型是测试均方误差达到最小时对应的模型，就是训练MSE下降一点，测试MSE最小的地方，即蓝色方块的位置。

2. 偏差-方差的权衡

从上图的测试均方误差曲线可以看到：测试均方误差曲线呈现U型曲线，这表明了在测试误差曲线中有两种力量在互相博弈。可以证明：

我们称Var(

集成学习03-偏差与方差理论相关推荐

（三）集成学习上——偏差与方差
参考:DataWhale教程链接集成学习(上)所有Task: (一)集成学习上--机器学习三大任务 (二)集成学习上--回归模型 (三)集成学习上--偏差与方差 (四)集成学习上--回归模型评估与超 ...
【集成学习（上）】My_Task03掌握偏差与方差理论笔记
文章目录 (4) 优化基础模型 (4) 优化基础模型特征提取的实例:向前逐步回归案例来源:https://blog.csdn.net/weixin_44835596/article/details ...
深度学习中偏差和方差
本文部分内容摘自https://blog.csdn.net/wuzqChom/article/details/75091612 从上面可以看出来均方误差由方差和偏差构成,那偏差和方差的高低又代表什么呢 ...
深度学习中偏差和方差的区别
解释一 **偏差(Bias): **描述的是预测值(估计值)的期望与真实值之间的差距.偏差越大,越偏离真实数据,在下图中的表现也就是数据点离红圆心的距离. **方差(Variance):**描述的是预 ...
A01_机器学习_3.集成学习
从三种基本决策树到集成学习决策树是一个非常常见并且优秀的机器学习算法,它易于理解.可解释性强,其可作为分类算法,也可用于回归模型. 本文将分三篇介绍决策树,第一篇介绍基本树(包括 ID3.C4.5. ...
（七）集成学习中-投票法Voting
集成学习第一法宝:投票! 参考:DataWhale教程链接集成学习(上)所有Task: (一)集成学习上--机器学习三大任务 (二)集成学习上--回归模型 (三)集成学习上--偏差与方差 (四)集成 ...
集成学习精讲之Boosting - SAP大神黄佳新作《零基础学机器学习》节选
Boosting的意思就是提升,这是一族通过训练弱学习模型的肌肉将其提升为强学习模型的算法.要想在机器学习竞赛中追求卓越,Boosting是一种必须的存在.这是一个属于高手的技术. 图片来源于网上,侵 ...
（十五）集成学习（下）——蒸汽量预测
参考:DataWhale教程链接集成学习(上)所有Task: (一)集成学习上--机器学习三大任务 (二)集成学习上--回归模型 (三)集成学习上--偏差与方差 (四)集成学习上--回归模型评估与超 ...
树模型系列之集成学习(Bagging、Boosting、Stacking)
文章目录树模型系列之集成学习(Bagging.Boosting.Stacking) bagging Boosting Stacking 偏差与方差集成学习的偏差与方差 Bagging 的偏差与方差 ...
【组队学习】【29期】7. 集成学习（上）
7. 集成学习(上) 航路开辟者:李祖贤.薛传雨.六一.杨毅远.陈琰钰领航员:刘思含航海士:李祖贤基本信息开源内容:https://github.com/datawhalechina/ense ...

集成学习03-偏差与方差理论

1. 训练均方误差与测试均方误差

2. 偏差-方差的权衡

集成学习03-偏差与方差理论相关推荐

最新文章

热门文章