L1、L2范数如何解决过拟合问题

范数一般当做距离来理解。过拟合问题的通俗理解就是泛化能力过强，在最小化误差的同时使模型尽可能的拟合训练数据，学习的特征越多，模型的复杂度越高，测试时的误差也就越大。像决策树的叶子结点越多，这时我们就要剪枝啦。而L1、L2范数就是在使模型变得简单。

L1

数学角度，L1范数表示向量x中非零元素的绝对值之和。抽象得很！

$||x||_{1} = \sum _{i}|x_{i}|$

深度学习角度，L1范数表示成

$L1 = \sum_{i=1}^{n} |y_{i}-f(x_{i})|$

在最小化误差时，将L1或者L2范数作为正则化项，与误差项一同求最优。L1要做的事情就是使模型参数稀疏化，把一些无关紧要的特征筛掉。把L1L2起个名字叫规则化算子，任何的规则化算子，如果它在0的地方不可微，并且可以分解为一个“求和”的形式，那么这个规则化算子就可以实现稀疏。所以L1范数是绝对值函数，绝对值函数在0处是不可微，可以稀疏模型。

L2

L2范数是指向量各元素的平方和再求平方根，公式不写了。它处理过拟合的手段是使参数变小，接近于零，因为越小的参数模型也就越简单。矩阵与向量的范数通常表示矩阵的大小或矩阵的长度。

换一种说法，假设样本 $X$ ,其数目小于样本自身维度时，在最优化问题中会遇到矩阵的逆与矩阵本身相乘，此时 $X^{T}X$ 就不会是满秩的，也是不可逆的，求解结果将会有无穷多解。加上L2范数 $\lambda L2$ ，就是在 $X^{T}X$ 位置加正则项，变成 $%uFF08X^{T}X+\lambda I%uFF09$ $\left ( X^{^{T}}X+\lambda I \right )$ ，显而易见，满秩且可逆，可以确定为唯一解。

总结：L1范数稀疏模型，选择少量重要特征。L2范数会选择更多特征，使这些特征接近于零。

大神传送门

L1、L2范数如何解决过拟合问题相关推荐

浅谈L0,L1,L2范数及其应用
原文传送门:浅谈L0,L1,L2范数及其应用浅谈L0,L1,L2范数及其应用在线性代数,函数分析等数学分支中,范数(Norm)是一个函数,其赋予某个向量空间(或矩阵)中的每个向量以长度或大小.对于 ...
什么是范数（norm）？以及L1,L2范数的简单介绍
什么是范数? 范数,是具有"距离"概念的函数.我们知道距离的定义是一个宽泛的概念,只要满足非负.自反.三角不等式就可以称之为距离.范数是一种强化了的距离概念,它在定义上比距离多了一 ...
机器学习基础-23:矩阵理论(L0/L1/L2范数等)
机器学习基础-23:矩阵理论(L0/L1/L2范数等) 机器学习原理与实践(开源图书)-总目录,建议收藏,告别碎片阅读! 线性代数是数学的一个分支,广泛应用于科学和工程领域.线性代数和矩阵理论是机器学 ...
正则化与L0,L1,L2范数简介
参考:机器学习中的范数规则化之(一)L0.L1与L2范数 1. 常见的范数 1.1 L0 范数向量中非零元素的个数,即稀疏度,适合稀疏编码,特征选择. 1.2 L1 范数又叫曼哈顿距离或最小绝对误 ...
[转] L1 L2范数
作者:Andy Yang 链接:https://www.zhihu.com/question/26485586/answer/616029832 来源:知乎著作权归作者所有.商业转载请联系作者获得授 ...
为什么L2范数能防止过拟合
都在说加正则化项能防止过拟合,可是为什么它可以防止过拟合呢呢说这个东西之前我们先讲一下什么是 L2 范数,以及什么是过拟合 L2范数 L2范数是指向量各元素的平方和然后求平方根.我们让L2范数的规则 ...
L0,L1,L2范数
http://blog.csdn.net/zouxy09/article/details/24971995
【机器学习】L1正则化与L2正则化详解及解决过拟合的方法
在详细介绍L1与L2之前,先讲讲正则化的应用场景. 正则化方法:防止过拟合,提高泛化能力所谓过拟合(over-fitting)其实就是所建的机器学习模型或者是深度学习模型在训练样本中表现得过于优越, ...
范数规则化（一）：L0、L1与L2范数
目录 0 范数 1 L0 范数 2 L1 范数 2.1 L1 2.2 L1正则化和特征选择 2.3 拉普拉斯先验与L1正则化 2.3.1 拉普拉斯分布 2.3.2 拉普拉斯先验 3 L2 范数 3 ...

L1、L2范数如何解决过拟合问题

L1

L2

L1、L2范数如何解决过拟合问题相关推荐

最新文章

热门文章