归纳偏置/归纳偏差/inductive bias

归纳偏置/归纳偏差/inductive bias

“归纳偏差”中的“偏差”容易让人想到数据估计中估计值与真实值的差别error，会让人认为“归纳偏差”是某种需要被规避的错误、误差，但事实并非如此，inductive bias在机器学习中起到的是积极作用。

更合适的翻译应该是“归纳偏置”：归纳是自然科学中常用的两大方法（归纳与演绎，induction and deduction)之一,指的是从一些例子中寻找共性、泛化，形成一个比较通用的规则的过程；而“bias”“偏置”是指我们对模型的偏好。因此归纳偏置可以理解为，从现实生活中观察到的现象中归纳出一定的规则，然后对模型做一定的约束，从而可以起到“模型选择”的作用，即从假设空间中选择出更符合现实规则的模型。类似贝叶斯学习中的“先验，prior”，但与“先验”不同的是，“先验”一般是确定性的已知、知识，而“偏置”更倾向于是一种经验性的假设。

归纳偏置在机器学习中几乎无处不在。具体的例子可以参考文末资料，笔者说一下自己想到的一个简单例子。

比如，我们考虑一组（0，0）（1，1）...（i，i）...（n,n）的点，当我们要学习一个模型来模拟x到y的映射时，我们最希望的是模型学习到y=x这个线性映射，可实际上符合这些样本点的映射有无穷多种，如果我们在非线性映射空间进行学习的话，学习过程就会十分复杂，因此我们在某些情况下就会做出“我们假定这是一个线性映射”这样的假设，之后在此假设的基础上对模型进行学习，这里的“我们假定这是一个线性映射”就是基于先验知识等所作出的归纳偏置；而当我们在线性映射空间进行学习时，也有可能得到无限种映射，此时我们会根据奥卡姆剃刀原则选择“尽可能简单的模型”。奥卡姆剃刀是机器学习中最典型的一种归纳偏置。

作用：

机器学习中的归纳偏置可以提高模型的泛化性。例如在上文的例子中，如果我们在采样中遇到了噪音（0，10），（7，-20）...，等就很可能会使得对泛化性更强的映射y=x学习的失败，从而学习到一个“过拟合”的模型，而在我们加入“线性映射”、“奥卡姆剃刀”等归纳偏置后，就会更容易学习到在目标域更具有泛化性、通用性的映射y=x（模型）

总结：

inductive bias更合适的翻译是归纳偏置而非归纳偏差，它是一种在模型的无限解空间中所引入的合理假设与约束，这类假设、约束能够缩小求解空间并提高所得模型在目标域的泛化性。

归纳偏置/归纳偏差/inductive bias相关推荐

归纳偏置 (Inductive Bias)
一.概念 Inductive Bias一般翻译为归纳偏置/归纳偏差(归纳偏置应该更容易理解些),是一个关于机器学习算法的目标函数的假设.其实说的是模型的指导规则. 归纳是自然科学中常用的两大方法(归纳 ...
如何理解inductive bias
inductive 归纳, deductive 演绎 inductive bias 经常翻译为归纳偏好.归纳偏置以下内容都是比较粗浅的理解和从各方收集来的加工内容,仅作增长见识. 理解一在西瓜书 ...
【机器学习】浅谈归纳偏置 (Inductive Bias)
目录一.概念二.例子三.意义一.概念在机器学习中,很多学习算法经常会对学习的问题做一些关于目标函数的必要假设,称为归纳偏置 (Inductive Bias). 归纳 (Induction) ...
inductive bias:归纳偏置
为什么卷积神经网络(CNN)相比于全连接网络(FC)往往有更好的泛化性能,尤其在图像分类任务上?通常用更好的归纳偏置(inductive bias)来解释,然而在数学上并不严格,因为足够宽的全连接网络 ...
CNN中的Inductive bias(归纳偏置)
归纳偏置其实就是一种先验知识,一种提前做好的假设. 在CNN中的归纳偏置一般包括两类:①locality(局部性)和②translation equivariance(平移等变性) ① locali ...
独家 | 用归纳偏置来增强你的模型性能
作者:Sebastian Dick 翻译:王可汗校对:车前子本文约3800字,建议阅读13分钟. 本文为大家展示了在机器学习模型中编码现实生活中的对称性可以将其准确性提高几个数量级. 对称无处不在 ...
推荐：用归纳偏置来增强你的模型性能
作者:Sebastian Dick 翻译:王可汗校对:车前子本文约3800字,建议阅读13分钟. 本文为大家展示了在机器学习模型中编码现实生活中的对称性可以将其准确性提高几个数量级. 对称无处 ...
归纳偏置是什么？从现实生活中观察到的现象中归纳出一定的规则，然后对模型做一定的约束，从而可以起到“模型选择”的作用
归纳偏置在机器学习中是一种很微妙的概念:在机器学习中,很多学习算法经常会对学习的问题做一些假设,这些假设就称为归纳偏置(Inductive Bias). 归纳偏置这个译名可能不能很好地帮助理解,不妨拆 ...
机器学习中的归纳偏置
机器学习中的归纳偏置带着偏见看世界,否则你根本没有看待世界的方式. 本文主要参考整理自知乎问题:如何理解Inductive bias? No-Free-Lunch(NLF)定理指出学习是不可能的,除 ...

归纳偏置/归纳偏差/inductive bias

归纳偏置/归纳偏差/inductive bias相关推荐

最新文章

热门文章