为什么需要做归一化或者标准化

一句话解释就是为了让我们求解loss最低值的过程中更加的平稳和缓，容易收敛。
具体解释可以看这里:
特征工程中的「归一化」有什么作用？ - 忆臻的回答 - 知乎
https://www.zhihu.com/question/20455227/answer/197897298

用我自己的话总结就是:损失函数对某个权重求梯度的时候，会用到这个权重之前的变量，如果这个白能量过大，会导致梯度过大，也就是这个权重在收敛的过程中每次变化量会很大，就不容易收敛。

这就要求我们在收敛过程中使用不同的学习率，对于梯度变化多大的使用小一点的学习率，梯度变化大的方向使用大一点的学习率，这就比较麻烦了。

转载于:https://www.cnblogs.com/lzida9223/p/10972725.html

为什么需要做归一化或者标准化相关推荐

聊聊归一化和标准化
先扯闲篇儿~ 一个同事曾遭遇这样的面试题:在机器学习建模时,如果某个特征的取值范围比其他特征大很多,该如何处理? 同事脱口而出:做归一化或标准化处理,把特征取值范围缩小. 面试官给出的答案是:不用处理 ...
归一化 vs 标准化定量的分析
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达导读不要再用sklearn中的StandarScaler作为默认 ...
数据的规范化，归一化，标准化，正则化
原文地址:数据的规范化,归一化,标准化,正则化作者:打湿井盖数据的规范化,归一化,标准化,正则化,这几个破词整得我头晕,首先这些词就没规范好,对数据做实验更晕,网上狂搜一阵后,发现数据归一化,标准化 ...
归一化、标准化和正则化
归一化 Normalization 归一化一般是将数据映射到指定的范围,用于去除不同维度数据的量纲以及量纲单位. 常见的映射范围有 [0, 1] 和 [-1, 1] ,最常见的归一化方法就是 Min- ...
数据归一化处理方法_数据预处理：归一化和标准化
1. 概述数据的归一化和标准化是特征缩放(feature scaling)的方法,是数据预处理的关键步骤.不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间 ...
负数如何归一化处理_「译」对比归一化和标准化——量化分析
[译] 对比归一化和标准化 -- 量化分析原文地址:Normalization vs Standardization - Quantitative analysis 原文作者:Shay Geller ...
理解：回归与拟合、归一化与标准化
回归和拟合: 一.回归: 研究一个随机变量Y对另一个(X)或一组(X1,X2,-,Xk)变量的相依关系的统计分析方法. 应用回归预测法时应首先确定变量之间是否存在相关关系.如果变量之间不存在相关关系, ...
机器学习算法 01 —— K-近邻算法(数据集划分、归一化、标准化)
文章目录系列文章 K-近邻算法 1 什么是K-近邻算法 1.1 K-近邻算法(KNN)概念 1.2 举例说明K-近邻算法 1.3 K-近邻算法流程总结 2 K-近邻算法API初步使用 2.1 Sci ...
python实现归一化与标准化
数据预处理-Sklearn实现归一化与标准化并plot 数据集是:https://archive.ics.uci.edu/ml/datasets/wine (这里只选前三列) 完整代码 import ...

为什么需要做归一化或者标准化

为什么需要做归一化或者标准化相关推荐

最新文章

热门文章