机器学习之方差与偏差（bias-variance）

2024-05-28 14:32:08

目录

问题背景
原理
偏差、方差与噪声的含义
偏差与方差的冲突
What to do with large bias?
What to do with large variance?

问题背景

我们评价一个机器学习模型的好坏，通常是评价模型的泛化性能，而对泛化性能为什么高低缺乏一些了解。偏差-方差分解（bias-variance decomposition）就是解释学习算法泛化性能的一种重要工具。

原理

偏差、方差与噪声的含义

偏差：度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
方差：度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
噪声：则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。

（1）
Simpler model is less influenced by the sampled data
即上图中所反映的，若不容易理解，可以这么想，考虑极限时最简单的模型是0，就不会受到影响
（2）

偏差与方差的冲突

一般来说，偏差与方差是有冲突的，这称为偏差-方差窘境（bias-variance dilemma），如下图所示。

给定学习任务，假设我们能控制学习算法的训练程度，那么训练不足时，训练数据的扰动不足以使学习器产生显著变化，此时偏差占主导；随着训练程度的加深，学习器的拟合能力逐渐增强，训练数据发生的扰动渐渐能被学习器学到，方差逐渐占主导；在训练程度充足后，学习器拟合能力已非常强，训练数据的轻微扰动都会导致学习器发生显著变化，若继续学习，则将发生过拟合。
对于误差，若variance占主导，称为Overfitting
若bias占主导，称为Underfitting

What to do with large bias?

What to do with large variance?

————————————————
[1] 《机器学习》（周志华著）
[2] CSDN博主「jiayk2016」的文章
[3] 台大李宏毅机器学习公开课

机器学习之方差与偏差（bias-variance）相关推荐

吴恩达机器学习：方差与偏差
在前几周的课程里,我们已经学习了监督学习中的线性回归.逻辑回归.神经网络( 点击进入笔记 ).回顾课程作业,所有的样本数据都被用来训练模型.验证模型时,也只是将模型的数据结果与正确结果作对比来看 ...
偏见方差的权衡(Bias Variance Tradeoff)
统计学习中有一个重要概念叫做residual sum-of-squares RSS看起来是一个非常合理的统计模型优化目标.但是考虑k-NN的例子,在最近邻的情况下(k=1),RSS=0,是不是
【机器学习】——方差和偏差、Bagging、Boosting、Stacking
统计视角下的Bias Variance Tradeoff 和它在KNN模型中的体现
统计视角下的Bias Variance Tradeoff 和它在KNN模型中的体现前言一.Bias Variance Tradeoff 1. 真实数据分布和取样的假设 2. 统计理论中的Bias和 ...
偏差(bias)、方差(variance)和噪音(noise)
对于一个预测问题,若真实模型为f(x)f(\boldsymbol{x})f(x). 通常我们通过对特定的数据集D=(x1,y1),(x2,y2),-,(xn,yn)D = {(\boldsymbol{ ...
偏差(Bias)与方差(Variance)详解
偏差与方差详解 1 问题背景 2 一点点数学 3 偏差与期望 4 偏差方差窘境 5 Bagging与Boosting 1 问题背景 NFL(No Free Lunch Theorem)告诉我们选择算 ...
偏差bias与方差variance
目录 1 含义 1.1 偏差 1.2 偏差和方差 2 期望泛化误差公式推导 3 权衡偏差与方差: 4 解决高偏差与高方差参考学习算法的预测误差, 或者说泛化误差(generalization er ...
机器学习笔记：误差的来源（bias variance）
1 bias & variance 简单的模型--bias大,variance小复杂的模型--bias小,variance大 2 variance 3 bias 黑线--实际的曲线蓝线-- ...
机器学习中的方差与偏差
方差与偏差的定义方差:不同的训练数据集训练出的模型输出值之间的差异. 偏差:用所有可能的训练数据集训练出的所有模型的输出的平均值与真实模型的输出值之间的差异. 方差与偏差的数学公式首先,以回归为例 ...

最新文章

热门文章