在开始之前，先举一个小例子。假设小明考了80分，小华也考了80分。但前者是百分制，后者150是满分。如果我们把从这两个渠道收集上来的数据进行集成、挖掘。无论使用什么算法，结果也不是正确的。因为这两个分数，代表的含义完全不同。所以说，有时候数据变换比算法选择更重要。数据错了，算法再正确也是错的。那么，如何将不同渠道的数据进行统一呢？这就用到了数据变化。

众所周知，在数据变换前，我们需要先对字段进行筛选，然后对数据进行探索和相关性分析，接着是选择算法模型，然后针对算法模型对数据的需求进行数据变换，从而完成数据挖掘前的准备工作。

从这个流程可以看出，数据变换是数据准备的重要环节。它可以通过 数据平滑、数据聚集、数据概化和规范化等方式，将数据转换成适用于数据挖掘的形式。

一、常见的变换方法

数据平滑：去除数据中的噪声，将连续数据离散化。可采用分箱、聚类和回归的方式进行数据平滑。

数据聚集：对数据进行汇总。比如SQL 中的 Max() 、Sum() 等函数。

数据概化：将数据由较低的概念抽象成较高的概念，减少数据复杂度。即用更高的概念替代更低的概念。比如：上海、杭州、深圳可以概化为中国。

数据规范化：使属性数据按比例缩放，这样就将原来的数值映射到一个新的特定区域中，常用的方法有：Min-Max规范化、Z-score规范化、按小数定标规范化等。

属性构造：构造出新的属性并添加到属性集中。会用到特征工程的知识，因为通过属性与属性的连接构造新的属性，其实就是特征工作。比如：数据表中统计每个人的英语、语文和数学成绩，可以构造一个“总和”这个属性，来作为新属性。这样“总和”这个属性就可以用到后续的数据挖掘计算中。

以上这些变换方法中，最简单易用的就是对数据进行规范化处理。下面，就详细说说如何对数据进行规范化处理。

二、数据规范化的几种方法

在讲具体的方法前，插一句，下面的方法，都会用 Python 的 SciKit-Learn 库来实现。

那么，什么是 SciKit-Learn 呢？它是 Python 的重要机器学习库，它帮我们封装了大量的机器学习算法，比如分类、聚类、回归、降维等。此外，它也包括了数据变换模块。

1、Min-Max 规范化

Min-max 规范化方法：将原始数据变换到[0,1]的空间中。让原始数据投射到指定的空间[min, max]。用公式表示就是：新数值 =(原数值 - 极小值)/(极大值 - 极小值)。

在 SciKit-Learn 里有个函数 MinMaxScaler 是专门做这个的，它允许我们给定一个最大值与最小值，然后将原数据投射到[min, max]中。默认情况下[min,max]是[0,1]，也就是把原始数据投放到[0,1]范围内。

# coding:utf-8

from sklearn import preprocessing

import numpy as np

# 初始化数据，每一行表示一个样本，每一列表示一个特征

x = np.array([

[0.,-3.,1.],

[3.,1.,2.],

[0.,1.,-1.]

])

# 将数据进行 [0, 1] 规范化

min_max_scaler = preprocessing.MinMaxScaler()

min_max_x = min_max_scaler.fit_transform(x)

print(min_max_x)输出结果

2、Z-Score 规范化

开篇中讲到的例子，虽然小明、小华都是80分，但是两者的80分代表完全不同的含义。那么，如何用相同的标准来比较 小明 和 小华的成绩呢？Z-Score就可以来解决这个问题。

Z-Score 的方法：新数值 = (原数值 - 均值)/ 标准差。

假设 小明 所在的班级平均分为 80，标准差为 10。小华 所在的班级平均分为 120，标准差为 100。那么 小明 的新数值 =(80-80)/10=0，小华 的新数值 =(80-120)/100=-0.4。那么在 Z-Score 标准下，小明 的成绩会比 小华 的成绩好。

在 SciKit-Learn 库中使用 preprocessing.scale() 函数，可以直接将给定数据进行 Z-Score 规范化。

这个结果实际上就是将每行每列的值减去了平均值，再除以方差的结果。我们看到 Z-Score 规范化将数据集进行了规范化，数值都符合均值为 0，方差为 1 的正态分布。

因此，我们能看到 Z-Score 的优点是算法简单，不受数据量级影响，结果易于比较。不足在于，它需要数据整体的平均值和方差，而且结果没有实际意义，仅是用于比较！！！。

3、小数定标规范化

小数定标规范化，就是通过移动小数点的位置类进行规范化。小数点移动多少位取决于属性A的取值中的最大绝对值。

比如，新数值A的取值范围是 -999 到 88，那么最大绝对值是 999。小数点就会移动3位，即新数值=原数值/100，那么A的取值范围，就被规范化到[-0.999,0.088]。使用 numpy 实现

最后，再强调一次，数据挖掘中数据变换比算法选择更重要。在上面考试成绩的例子中，假如我们要让数据满足一定的规律，达到规范性的要求，便于挖掘。这就是数据变换的作用。如果不做变换的话，要不就是维数过多，增加了计算的成本，要不就是数据过于集中，很难找到数据之间的特征。