L1正则化和L2正则化的区别
文章目录
- 前言
- 一、L1和L2正则化是什么?
- 二、区别
- 三、其他问题
前言
在防止过拟合的方法中有L1正则化和L2正则化,那么这两者有什么区别呢?
一、L1和L2正则化是什么?
L1和L2是正则化项,又叫做惩罚项,是为了限制模型的参数,防止模型过拟合而加在损失函数后面的一项。
二、区别
- L1是模型各个参数的绝对值之和。
L2是模型各个参数的平方和的开方值。 - L1会趋向于产生少量的特征,而其他的特征都是0。
因为最优的参数值很大概率出现在坐标轴上,这样就会导致某一维的权重为0 ,产生稀疏权重矩阵
L2会选择更多的特征,这些特征都会接近于0。
最优的参数值很小概率出现在坐标轴上,因此每一维的参数都不会是0。当最小化||w||时,就会使每一项趋近于0。
三、其他问题
- 为什么参数越小代表模型越简单?
越是复杂的模型,越是尝试对所有样本进行拟合,包括异常点。这就会造成在较小的区间中产生较大的波动,这个较大的波动也会反映在这个区间的导数比较大。只有越大的参数才可能产生较大的导数。因此参数越小,模型就越简单。
- 实现参数的稀疏有什么好处?
因为参数的稀疏,在一定程度上实现了特征的选择。一般而言,大部分特征对模型是没有贡献的。这些没有用的特征虽然可以减少训练集上的误差,但是对测试集的样本,反而会产生干扰。稀疏参数的引入,可以将那些无用的特征的权重置为0。
- L1范数和L2范数为什么可以避免过拟合?
加入正则化项就是在原来目标函数的基础上加入了约束。当目标函数的等高线和L1,L2范数函数第一次相交时,得到最优解。
L1范数:
L1范数符合拉普拉斯分布,是不完全可微的。表现在图像上会有很多角出现。这些角和目标函数的接触机会远大于其他部分。就会造成最优值出现在坐标轴上,因此就会导致某一维的权重为0 ,产生稀疏权重矩阵,进而防止过拟合。
L2范数:
L2范数符合高斯分布,是完全可微的。和L1相比,图像上的棱角被圆滑了很多。一般最优值不会在坐标轴上出现。在最小化正则项时,可以是参数不断趋向于0.最后很小的参数。
假设要求的参数为θ,hθ(x)hθ(x)是我们的假设函数,那么线性回归的代价函数如下:
那么在梯度下降法中,最终用于迭代计算参数θj的迭代式为:
如果在原始代价函数之后添加L2正则化,则迭代公式会变成下面的样子:
每一次迭代,θj都要先乘以一个小于1的因子,从而使得θj不断减小,因此总得来看,θ是不断减小的。
L1正则化和L2正则化的区别相关推荐
- 正则项的原理、梯度公式、L1正则化和L2正则化的区别、应用场景
先对"L1正则化和L2正则化的区别.应用场景"给出结论,具体见后面的原理解释: L1正则化会产生更稀疏的解,因此基于L1正则化的学习方法相当于嵌入式的特征选择方法. L2正则化计算 ...
- L1正则化与L2正则化的区别
摘要 正则化的本质是在Cost Function中添加的p-范数.本文从正则化的本质p-范数入手,解释了L1正则化和L2正则化的区别. 正则化 在Cost Function上添加了正则化项,就能降低模 ...
- L1正则化和L2正则化(从解空间角度)
文章目录 一.什么是过拟合? 二.为什么模型会过拟合? 三.如何防止模型过拟合? 四.L1正则和L2正则 4.1 L1.L2的区别 4.2 为什么正则化能够防止过拟合? 4.3 为什么L1正则具有稀疏 ...
- 【AI面试】L1 loss、L2 loss和Smooth L1 Loss,L1正则化和L2正则化
损失函数是深度学习模型优化的一个灵魂基础,所以无论是很新的transform模型,还是比较早期的AlexNet,都不可避免的要涉及到损失函数的设计和应用. 所以,各种形形色色的损失函数(Loss)也就 ...
- l1正则化和l2正则化_l1 vs l2正则化以及何时使用
l1正则化和l2正则化 I have read many articles on the topic to find out which is better out of two and what s ...
- 【L1正则化与L2正则化详解及为什么L1和L2正则化可防止过拟合】
一.为什么L1和L2正则化可防止过拟合? 线性模型常用来处理回归和分类任务,为了防止模型处于过拟合状态,需要用L1正则化和L2正则化降低模型的复杂度,很多线性回归模型正则化的文章会提到L1是通过稀疏参 ...
- L1正则化,L2正则化与范数的关系?
目录 深度学习基础:L1正则化,L2正则化与范数的关系? 范数的概念 范数如何与正则联系起来? 为什么最小化权重的范数就可以实现正则化? L1L1L1 范数和 L2L2L2 **范数** 有什么区别? ...
- L1正则化、L2正则化的多角度分析和概率角度的解释
L1正则化.L2正则化的公式如下 min w L 1 ( w ) = min w f ( w ) + λ n ∑ i = 1 n ∣ w i ∣ min w L 2 ( w ) = min ...
- L1正则化与L2正则化
1.1-范数,2-范数 1-范数: 2-范数:2-范数就是通常意义下的距离 2.L1和L2正则化 我们所说的正则化,就是在原来的loss function的基础上,加上了一些正则化项或者称为模型复杂度 ...
最新文章
- 帝国cms 标签php,帝国cms常用标签总结
- AIX-maxuproc参数案例
- Java后端 + 百度SDK实现人脸识别
- linux 修改内核源码,Source Insight阅读linux内核源代码——根据其他文章修改
- 易语言mysql表新增防止重复_sqlite数据库 大量插入数据时如何避免重复插入(易语言,做好用sql语句写下)...
- document.cookie 获取不到_意想不到,王者荣耀中不用花钱就可以获得的皮肤有哪
- Linux-iptables初识
- java 方法 内部类,Java 面向对象 之 方法中内部类
- 不能错过!CIO不可不知的“数据经济学” | 凌云时刻
- 七夕怕被偷窥?摄像头探测器来帮您!
- double bottoms
- react-native 加载图片的几种方式
- 解决 Evernote 印象笔记中代码语法高亮
- python的源代码下载_官方下载python源码,编译linux版本的python
- 解二元一次方程————拓展欧几里得算法
- Azure Az-900认证 04——-考取AZ900所有知识点总结--获取证书!
- 武装突袭3多人服务器文件地图,武装突袭3地图文件夹 | 手游网游页游攻略大全...
- apache评分表的意义_APACHE-II评分系统表.doc
- 比较无线局域网和无线广域网的特征
- UVa-12325宝箱
热门文章
- 基础复习全书——第一章
- SSM+工业关键设备监测运维系统 毕业设计-附源码191400
- 阅读笔记-软件工程的大泥球
- xmta温度控制仪说明书_XMT-7000-XMTA-7000,XMTA7000,XMTA 7000,可带通讯协议温度控制仪-XMTA-7000-余姚市浩辉自动化科技有限公司...
- JAVA泡泡堂网络游戏的设计与实现免费源代码+LW
- ftp 操作,支持断点续传或者继续下载。
- vue基于el-timeline组件实现动态表格时间线
- 微软的DreamSpark计划-学生可免费使用vs2008 pro,sql server Dev 2005,Expression Studio等产品...
- 批量打包下载阿里OSS文件
- 小巧的Lingoes翻译家