归一化、标准化、正则化公式相关小记
作者:RayChiu_Labloy
版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处
目录
特征缩放
归一化(Normalization):
定义:
什么叫量纲:
分类和公式:
min-max归一化(Min-Max Normalization)--区间(0,1)
平均归一化--区间(-1,1)
非线性归一化
标准化(Standardization):
最常见的标准化方法->Z-Score 标准化
中心化:
正则化:
过拟合
公式和原理
两个正则化损失函数等高线图
没有正则化的损失函数等高线和最优化示意图
L1正则化(Lasso回归)损失函数等高线示意图
L2正则化(岭回归)损失函数等高线示意图
归一化和正则化在数据、参数、和结果上的区别
特征缩放
面对特征数量较多的时候,保证这些特征具有相近的尺度(无量纲化),可以使梯度下降法更快的收敛。这两张图代表数据是否均一化的最优解寻解过程(左边是未归一化的),从这两张图可以看出,数据归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解
在前边讲梯度下降的时候咱们也提到过,一般在最优化前会加归一化操作
机器学习最优化算法之梯度下降_RayChiu757374816的博客-CSDN博客
原因就是这样会减少数据模型的震荡,以最快的速度达到最优化。
缩放的方法就包括了各种归一化和标准化操作。
归一化(Normalization):
定义:
就是把数据压缩映射到一定区间,例如(0,1) (-1,1) (0,255)区间,会把有量纲表达式变成无量纲表达式,便于不同单位或量级的指标能够进行比较和加权。
这里还是强调一下归一化是针对的数据。
什么叫量纲:
就是通过一些手段将不同单位不同场景类型的数据去掉单位来表示。
分类和公式:
min-max归一化(Min-Max Normalization)--区间(0,1)
有人把它还称作rescaling
适用场景:
- 如果对输出结果范围有要求,用归一化
- 如果数据较为稳定,不存在极端的最大最小值,用归一化
缺点:这种方法有个缺陷就是当有新数据加入时,可能导致max和min的变化,需要重新定义。
平均归一化--区间(-1,1)
(注意这中间的mean(x)、min(x) 和 max(x) 分别是样本数据的平均值、最小值和最大值)
适用场景:
- 矩阵分解
非线性归一化
log对数函数转换y = log10(x) 、反正切函数转换x' = atan(x)*(2/pi)、sigmoid变换、softmax变换以及L2范数归一化(见下图)
标准化(Standardization):
最常见的标准化方法->Z-Score 标准化
其中 和
分别是样本数据的均值(mean)和标准差(std)。 数据会变成一个均值为 0 ,方差为 1 的分布
适用场景:
- SVM、LR、神经网络
- 如果数据存在异常值和较多噪音,用标准化,可以间接通过中心化避免异常值和极端值的影响
中心化:
也叫零均值处理,就是将每个原始数据减去这些数据的均值:
x' = x - μ
正则化:
过拟合
不加正则化训练出来的模型:
加了正则的模型表现
可以看到训练出来的模型太复杂,会影响使用,容易过拟合。
公式和原理
正则化主要用于避免过拟合的产生和减少网络误差。
其中,第 1 项是经验风险,第 2 项是正则项, 为调整两者之间关系的系数。常见的有正则项有 L1 正则 和 L2 正则 以及 Dropout
L1和L2正则公式和原理详细内容请移步:我这样说范数和模你应该懂L1、L2正则咋回事了吧_RayChiu757374816的博客-CSDN博客
两个正则化损失函数等高线图
没有正则化的损失函数等高线和最优化示意图
L1正则化(Lasso回归)损失函数等高线示意图
lasso回归最终会等到稀疏矩阵,好多参数会是0,也就是筛选了特征,把对结果贡献很低的特征给过滤掉了,最终模型只关注非零的特征。
L2正则化(岭回归)损失函数等高线示意图
归一化和正则化在数据、参数、和结果上的区别
这里谈一下和归一化的关系,我理解归一化是为了使得预处理的数据被限定在一定的范围内(比如[0,1]或者[-1,1]),从而消除奇异样本数据导致的不良影响,这样处理使得训练时减少震荡,能够更加快速的训练,然而归一化不是必须的,不归一化最多是会延长最优化的时间,而不影响训练出来的模型使用。而正则化是针对的参数、系数theta或者叫w、b,最终的目的是让参数数值相差很小,比如不正则化可能第一个参数是100,第二个是1,加正则化后可能最终的参数第一个是1.013第二个是0.892,这样泛化能力强了,会影响模型的生成和使用,也就是归一化不影响推理结果,正则会影响。
参考:2(1).数据预处理方法 - nxf_rabbit75 - 博客园
6.3. Preprocessing data — scikit-learn 1.0 documentation
学习笔记163—理解模型正则化:L1正则、L2正则(理论+代码)-上地信息-shangdixinxi.com
【如果对您有帮助,交个朋友给个一键三连吧,您的肯定是我博客高质量维护的动力!!!】
归一化、标准化、正则化公式相关小记相关推荐
- 数据预处理之归一化/标准化/正则化/零均值化
数据预处理之归一化/标准化/正则化/零均值化 一.标准化(Standardization) 二.归一化(Normalization) 三,中心化/零均值化 (Zero-centered) 四.正则化 ...
- 关于使用sklearn进行数据预处理 —— 归一化/标准化/正则化
20220121 z-score标准化 模型存储和load再调用其实没有关系 再load计算的时候,也是以实际的数据重新计算 并不是以save模型的边界来计算的 20211227 onehot训练集保 ...
- 使用sklearn进行数据预处理 —— 归一化/标准化/正则化
本文主要是对照scikit-learn的preprocessing章节结合代码简单的回顾下预处理技术的几种方法,主要包括标准化.数据最大最小缩放处理.正则化.特征二值化和数据缺失值处理.内容比较简单, ...
- 规范化、标准化、归一化、正则化
规范化: 针对数据库 规范化把关系满足的规范要求分为几级,满足要求最低的是第一范式(1NF),再来是第二范式.第三范式.BC范式和4NF.5NF等等,范数的等级越高,满足的约束集条件越严格. 针对数据 ...
- 几种数据预处理方法汇总(标准/中心化、归一化、正则化)+Python代码
1. 数据的标准化(规范化/归一化) 数据标准化是将样本的属性缩放到某个指定的范围. 数据标准化的原因: 某些算法要求样本具有零均值和单位方差: 需要消除样本不同属性具有不同量级时的影响:①数量级的差 ...
- 量纲与无量纲、标准化、归一化、正则化【能够帮助梯度下降中学习进度收敛的更快、提升模型的收敛速度提升模型的精度、防止模型过拟合,提高模型的泛化能力】
目录 1 量纲与无量纲 1.1 量纲 1.2 无量纲 2 标准化 3 归一化 归一化的好处 4 正则化 5 总结 1 量纲与无量纲 1.1 量纲 物理量的大小与单位有关.就比如1块钱和1分钱,就是两个 ...
- 机器学习中之规范化,中心化,标准化,归一化,正则化,正规化
一.归一化,标准化和中心化 广义的标准化: (1)离差标准化(最大最小值标准化) (2)标准差标准化 (3)归一化标准化 (4)二值化标准化 (5)独热编码标准化 归一化 (Normalization ...
- 解读:为什么要做特征归一化/标准化?
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 作者:shine-lee,编辑:极市平台 本文解读了一项数据预处理中的重 ...
- 为什么要做特征归一化/标准化?
作者:shine-lee 来源:极市平台公众号 链接:https://blog.csdn.net/blogshinelee/article/details/102875044 编辑:王萌(深度学习冲鸭 ...
最新文章
- python自动输出_python自动化报告的输出
- Xcode可重用代码块code snippets
- php docker开发环境,使用Docker的PHP开发环境
- 基于机器学习的AI预测更智能?
- merge语句_SQL Server MERGE语句概述和示例
- 关注程序员健康之——研究显示白天小睡90分钟将有效增强记忆力
- 【如何提取软件图片素材资源】
- paip.PHP-asp—jsp实现事件机制 WEBFORM式开发
- mysql根据id主键查询是找到了就不再遍历后面的数据了吗_MySQL索引相关
- 常用量化回测数据/收益指标的一些说明
- matlab 设计数字滤波器,基于Matlab的FIR数字滤波器设计
- JQ获取本地JSON文件中的数据 模拟分页效果 - 初学
- 学硕停招,985高校这些专业开始只留专硕
- 解析:数组名a、数组名取地址a、数组首地址a[0]、数组指针*p
- 设计类计算机主机要求,术业有专攻,设计师就该配台专业点的电脑
- (专升本)Word插入操作(图片、剪贴画、屏幕截图、自选图形)
- linux 修改sh文件生效,Linux-shell脚本基础
- 我告诉你2019年,该怎样去系统学习大数据,知识+内容+教程
- 英飞凌毫米波雷达传感器助力打造高度可靠的智能座舱监控系统
- Grasscutter(除草机)联机搭建指南