数据归一化的原因

如下图所示：

样本间的距离被发现时间所主导。这样就会使数据不准确，因此我们的解决方案就是将所有的数据映射到同一尺寸，接下来我们介绍两种方法。

最值归一化（normalization)

定义：把所有数据映射到0-1之间。

注：适用于分布有明显边界的情况，但是受outlier影响较大。
代码：

import numpy as np
import matplotlib.pyplot as plt
X = np.random.randint(0, 100, (50, 2))
X = np.array(X, dtype = float)
X[:,0] = (X[:,0] - np.min(X[:,0])) / (np.max(X[:,0]) - np.min(X[:,0]))
X[:,1] = (X[:,1] - np.min(X[:,1])) / (np.max(X[:,1]) - np.min(X[:,1]))

注：由于numpy只能存在一种数据类型，所以我们需要将数据类型转化为float，否则归一化完的数据无法正确显示。

然后我们将归一化的数据绘图：

plt.scatter(X[:,0], X[:,1])
plt.show()

可以明显的看出所有数据在0-1之间。

均值方差归一化（standardization）

定义：把所有数据归一到均值为0方差为1的分布中

适用条件：数据分布没有明显的边界；有可能存在极端数据值。
代码：

X2 = np.random.randint(0, 100, (50, 2))
X2 = np.array(X, dtype = float)
X2[:,0] = (X2[:,0] - np.mean(X2[:,0])) / np.std(X2[:,0])
X2[:,1] = (X2[:,1] - np.mean(X2[:,1])) / np.std(X2[:,1])

然后我们绘图可得：

plt.scatter(X2[:,0],X2[:,1])
plt.show()

可以看出数据并不是在0-1之间。
接下来我们看下他的均值与标准差：

可以很明确的看出均值几乎等于0，而标准差就是为1。

机器学习之数据归一化（Feature Scaling）相关推荐

CS229 1 .线性回归与特征归一化(feature scaling)
线性回归是一种回归分析技术,回归分析本质上就是一个函数估计的问题(函数估计包括参数估计和非参数估计),就是找出因变量和自变量之间的因果关系.回归分析的因变量是应该是连续变量,若因变量为离散变量,则问题 ...
机器学习之数据归一化
为何要经常对数据做归一化: 归一化后加快了梯度下降求最优解的速度: 归一化有可能提高精度. 加快了梯度下降如下图所示,蓝色的圈圈图代表的是两个特征的等高线.其中左图两个特征X1和X2的区间相差非常 ...
机器学习（一）- feature scaling
feature scaling feature scaling(特征缩放) 的思想就是将所选特征的value都缩放到一个大致相似的范围.这样做的目的是为了加快收敛,减少采用梯度下降算法迭代的次数.那么 ...
机器学习之数据归一化
文章目录一.为什么要进行数据归一化二.解决方法:将所有数据映射到同一个尺度 1.最值归一化 normalization 2.均值方差归一化 standardization 1.公式 2.公式说明: ...
机器学习数据处理-数据归一化
目录方差标准差相对标准偏差正态分布数据归一化方差概念描述了一组数据距离他们平均值的离散程度场景如果一个班的平均分是50分,可能有两种极端情况: 大部分人都在50分左右附近徘徊一半 ...
【机器学习】数据归一化全方法总结：Max-Min归一化、Z-score归一化、数据类型归一化、标准差归一化等
数据标准化(归一化)处理是数据挖掘的一项基础工作,不同评价指标往往具有不同的量纲和量纲单位,这样的情况会影响到数据分析的结果,为了消除指标之间的量纲影响,需要进行数据标准化处理,以解决数据指标之间的可 ...
机器学习之数据的偏态分布和数据的标准化
目录一.偏态分布 1.何为数据的偏态分布? 2.构建模型时为什么要尽量将偏态数据转换为正态分布数据? 3.如何检验样本是否服从正态分布? 4 .如果不是正态分布怎么办? 5.采用库函数skew进行数 ...
机器学习中数据预处理——标准化/归一化方法（scaler）
由于工作问题比较忙,有两周没有总结一下工作学习中遇到的问题. 这篇主要是关于机器学习中的数据预处理的scaler变化. 工作中遇到的问题是:流量预测问题,拿到的数据差距非常大,凌晨的通话流量很少几乎为 ...
机器学习中的特征缩放（feature scaling）浅谈
引言在运用一些机器学习算法的时候不可避免地要对数据进行特征缩放(feature scaling),比如:在随机梯度下降(stochastic gradient descent)算法中,特征缩放有时能 ...

机器学习之数据归一化（Feature Scaling）

数据归一化的原因

最值归一化（normalization)

均值方差归一化（standardization）

机器学习之数据归一化（Feature Scaling）相关推荐

最新文章

热门文章