机器学习中的方差偏差分析（Bias-variance analysis）

在预测问题中，给定一个新的数据点，预测错误的期望是多少？
假设数据是独立同分布地从一个潜在固定的概率分布中获取的，假设其分布函数为 P ( < x , y > ) = P ( x ) P ( y ∣ x ) P(<\textbf{x},y>) = P(\textbf{x})P(y|\textbf{x}) P(<x,y>)=P(x)P(y∣x)，我们的目标就是对任意给定的数据点 x x x, 求出 E P [ ( y − h ( x ) ) 2 ∣ x ] , E_P[(y−h(\textbf{x}))^2|\textbf{x}], EP[(y−h(x))2∣x],其中，y 是数据集中 x \textbf{x} x 对应的值，期望是针对所有数据集，下标 P 表示所有数据集是从同一分布 P 中获取的。形式上，该值是某一点 x \textbf{x} x 在多个数据集上的预测错误的均值（期望）。
对于给定的假设集，我们可以计算出模型的真实错误（true error），也称泛化错误、测试错误 ∑ x E P [ ( y − h ( x ) ) 2 ∣ x ] P ( x ) , \sum_{\textbf{x}}E_P[(y−h(\textbf{x}))^2|\textbf{x}]P(\textbf{x}), x∑EP[(y−h(x))2∣x]P(x),即为 所有数据点 在那个输入数据的潜在固定分布上的预测错误的期望。如果 x \textbf{x} x 为连续变量，则上述求和转化成积分形式。
我们接下来将把 真实错误（true error） 一分为三：真实错误 = 偏差 + 方差 + 噪声。 \textbf{真实错误 = 偏差 + 方差 + 噪声。} 真实错误 = 偏差 + 方差 + 噪声。
关于方差和期望的基本结论：
E [ X 2 ] = ( E [ X ] ) 2 + V a r [ X ] E ( X Y ) = E ( X ) E ( Y ) + C o v ( X , Y ) E[X^2] = (E[X])^2 + V ar[X]\\E(XY) = E(X)E(Y) + Cov(X,Y) E[X2]=(E[X])2+Var[X]E(XY)=E(X)E(Y)+Cov(X,Y)
先做一个简单展开：
E P [ ( y − h ( x ) ) 2 ∣ x ]   = E P [ ( h ( x ) ) 2 − 2 y h ( x ) + y 2 ∣ x ]   = E P [ ( h ( x ) ) 2 ∣ x ] + E P [ y 2 ∣ x ] − 2 E P [ y ∣ x ] E P [ h ( x ) ∣ x ] ， … … ( 1 ) E_P[(y−h(\mathbf{x}))^2|\mathbf{x}] \\\,\\= E_P [(h(\mathbf{x}))^2 − 2yh(\mathbf{x}) + y^2|\mathbf{x}]\\\,\\=E_P [(h(\mathbf{x}))^2|\mathbf{x}] +E_P[y^2|\mathbf{x}] -2E_P[y|\mathbf{x}]E_P[h(\mathbf{x})|\mathbf{x}]，……(1) EP[(y−h(x))2∣x]=EP[(h(x))2−2yh(x)+y2∣x]=EP[(h(x))2∣x]+EP[y2∣x]−2EP[y∣x]EP[h(x)∣x]，……(1)
上式中包含三项。令 h ‾ ( x ) = E P [ h ( x ) ∣ x ] \overline{h}(\mathbf{x})=E_P[h(\mathbf{x})|\mathbf{x}] h(x)=EP[h(x)∣x]，表示点 x 在不同数据集上（分布P上）预测的均值（期望），则

第一项
运用方差的结论：平方的期望=期望的平方+方差
E P [ ( h ( x ) ) 2 ∣ x ] = ( h ‾ ( x ) ) 2 + E P [ ( h ( x ) − h ‾ ( x ) ) 2 ∣ x ] 。 … … ( 2 ) E_P [(h(\mathbf{x}))^2|\mathbf{x}]=(\overline{h}(\mathbf{x}))^2+E_P [(h(\mathbf{x})-\overline{h}(\mathbf{x}))^2|\mathbf{x}]。……(2) EP[(h(x))2∣x]=(h(x))2+EP[(h(x)−h(x))2∣x]。……(2)
第二项
运用方差的结论：平方的期望=期望的平方+方差
E P [ y 2 ∣ x ] = ( E P ( y ∣ x ) ) 2 + E P [ ( y − f ( x ) ) 2 ∣ x ] E_P [y^2|\mathbf{x}]=(E_P(y|\mathbf{x}))^2+E_P [(y-f(\mathbf{x}))^2|\mathbf{x}] EP[y2∣x]=(EP(y∣x))2+EP[(y−f(x))2∣x]
注意到 E P ( y ∣ x ) = E P ( f ( x ) + ϵ ∣ x ) = f ( x ) E_P(y|\mathbf{x}) = E_P(f(\mathbf{x})+\epsilon|\mathbf{x})=f(\mathbf{x}) EP(y∣x)=EP(f(x)+ϵ∣x)=f(x)，其中 ϵ ∼ N ( 0 , σ ) \epsilon\sim N(0,\sigma) ϵ∼N(0,σ)，故上式化为
E P [ y 2 ∣ x ] = ( f ( x ) ) 2 + E P [ ( y − f ( x ) ) 2 ∣ x ] 。 … … ( 3 ) E_P [y^2|\mathbf{x}]=(f(\mathbf{x}))^2+E_P [(y-f(\mathbf{x}))^2|\mathbf{x}]。……(3) EP[y2∣x]=(f(x))2+EP[(y−f(x))2∣x]。……(3)

将(2)(3)代入(1)，得 E P [ ( y − h ( x ) ) 2 ∣ x ]   = E P [ ( h ( x ) ) 2 ∣ x ] + E P [ y 2 ∣ x ] − 2 f ( x ) h ‾ ( x )   = ( h ‾ ( x ) ) 2 + E P [ ( h ( x ) − h ‾ ( x ) ) 2 ∣ x ] + ( f ( x ) ) 2 + E P [ ( y − f ( x ) ) 2 ∣ x ] − 2 f ( x ) h ‾ ( x )   = E P [ ( h ( x ) − h ‾ ( x ) ) 2 ∣ x ] + ( f ( x ) − h ‾ ( x ) ) 2 + E P [ ( y − f ( x ) ) 2 ∣ x ] 。 … … ( ∗ ) E_P[(y−h(\mathbf{x}))^2|\mathbf{x}] \\\,\\=E_P [(h(\mathbf{x}))^2|\mathbf{x}] +E_P[y^2|\mathbf{x}] -2f(\mathbf{x})\overline{h}(\mathbf{x}) \\\,\\=(\overline{h}(\mathbf{x}))^2+E_P [(h(\mathbf{x})-\overline{h}(\mathbf{x}))^2|\mathbf{x}] \\+ (f(\mathbf{x}))^2+E_P [(y-f(\mathbf{x}))^2|\mathbf{x}] \\-2f(\mathbf{x})\overline{h}(\mathbf{x}) \\\,\\=E_P [(h(\mathbf{x})-\overline{h}(\mathbf{x}))^2|\mathbf{x}] +(f(\mathbf{x})-\overline{h}(\mathbf{x}))^2 + E_P [(y-f(\mathbf{x}))^2|\mathbf{x}] 。……(*) EP[(y−h(x))2∣x]=EP[(h(x))2∣x]+EP[y2∣x]−2f(x)h(x)=(h(x))2+EP[(h(x)−h(x))2∣x]+(f(x))2+EP[(y−f(x))2∣x]−2f(x)h(x)=EP[(h(x)−h(x))2∣x]+(f(x)−h(x))2+EP[(y−f(x))2∣x]。……(∗)
大功告成！！！！！！！！！！!！!！！！!！!！!！!！！！！!

E P [ ( h ( x ) − h ‾ ( x ) ) 2 ∣ x ] E_P [(h(\mathbf{x})-\overline{h}(\mathbf{x}))^2|\mathbf{x}] EP[(h(x)−h(x))2∣x] 为预测的方差；
( f ( x ) − h ‾ ( x ) ) 2 (f(\mathbf{x})-\overline{h}(\mathbf{x}))^2 (f(x)−h(x))2 为 平方偏差；
E P [ ( y − f ( x ) ) 2 ∣ x ] E_P [(y-f(\mathbf{x}))^2|\mathbf{x}] EP[(y−f(x))2∣x] 为噪声

机器学习中的方差偏差分析（Bias-variance analysis）相关推荐

一文读懂机器学习中的模型偏差
一文读懂机器学习中的模型偏差 http://blog.sina.com.cn/s/blog_cfa68e330102yz2c.html 在人工智能(AI)和机器学习(ML)领域,将预测模型参与决策过程 ...
机器学习中的方差与偏差
方差与偏差的定义方差:不同的训练数据集训练出的模型输出值之间的差异. 偏差:用所有可能的训练数据集训练出的所有模型的输出的平均值与真实模型的输出值之间的差异. 方差与偏差的数学公式首先,以回归为例 ...
机器学习中的方差和偏差理解
一.Bias(偏差) & Variance(方差) 偏差:描述的是预测值(估计值)的期望与真实值之间的差距.偏差越大,越偏离真实数据,如下图第二行所示. 方差:描述的是预测值的变化范围,离散程 ...
偏见方差的权衡(Bias Variance Tradeoff)
统计学习中有一个重要概念叫做residual sum-of-squares RSS看起来是一个非常合理的统计模型优化目标.但是考虑k-NN的例子,在最近邻的情况下(k=1),RSS=0,是不是
深入理解机器学习——偏差（Bias）与方差（Variance）
分类目录:<深入理解机器学习>总目录偏差(Bias)与方差(Variance)是解释学习算法泛化性能的一种重要工具.偏差方差分解试图对学习算法的期望泛化错误率进行拆解,我们知道,算法在不 ...
2.5 数据不匹配时，偏差和方差的分析-深度学习第三课《结构化机器学习项目》-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 2.4 在不同的划分上进行训练并测试回到目录 2.6 定位数据不匹配数据不匹配时,偏差和方差的分析 (Bias and Variance with Mismatched ...
机器学习中的统计学基础
一.什么是统计学是一门收集.整理和分析统计数据的方法科学其目的是探索数据内在的数据规律性,以达到对客观事物的科学认识统计学研究随机现象,以推断为特征,"由部分及全体"的思想贯 ...
机器学习中的7种数据偏见
作者 | Hengtee Lim 翻译 | Katie,责编 | 晋兆雨出品 | AI科技大本营头图 | 付费下载于视觉中国机器学习中的数据偏差是一种错误,其中数据集的某些元素比其他元素具有更大 ...
什么是3D偏差分析？浩辰3D偏差分析应用技巧
3D偏差分析又称挣得值法或偏差分析法,是对项目进度和费用进行综合控制的一种有效方法.偏差分析的价值在于将项目的进度和费用进行综合度量,从而能准确描述项目的进展状态.由浩辰CAD公司研发的浩辰3D设计软 ...

机器学习中的方差偏差分析（Bias-variance analysis）

机器学习中的方差偏差分析（Bias-variance analysis）相关推荐

最新文章

热门文章