数据规范化(归一化)、及Z-score标准化
数据规范化
数据规范化(归一化)处理是数据挖掘的一项基础工作。不同评价指标往往具有不同的量纲,数值见的差别可能很大,不进行处理可能会影响到数据分析的结果。为了消除指标之间的量纲和取值范围差异的影响,需要进行标准化处理,将数据按照比例进行缩放,使之落入一个特定的区域,便于进行综合分析。如将工资收入属性值映射到[-1, 1]或者[0, 1]内。
数据规范化对于基于距离的挖掘算法尤为重要。
(1)最小-最大规范化
最小-最大规范化也称为离散标准化,是对原始数据的线性变换,将数据值映射到[0, 1]之间。
转换公式如下:
离差标准化保留了原来数据中存在的关系,是消除量纲和数据取值范围影响的最简单方法。这种处理方法的缺点是若数值集中且某个数值很大,则规范化后各值接近于0,并且将会相差不大。(如 1, 1.2, 1.3, 1.4, 1.5, 1.6,8.4)这组数据。若将来遇到超过目前属性[min, max]取值范围的时候,会引起系统报错,需要重新确定min和max。
(2)零-均值规范化(z-score标准化)
零-均值规范化也称标准差标准化,经过处理的数据的均值为0,标准差为1。转化公式为:
其中为原始数据的均值,
为原始数据的标准差,是当前用得最多的数据标准化方式。标准差分数可以回答这样一个问题:"给定数据距离其均值多少个标准差"的问题,在均值之上的数据会得到一个正的标准化分数,反之会得到一个负的标准化分数。
(3)小数定标规范化
通过移动属性值的小数位数,将属性值映射到[-1, 1]之间,移动的小数位数取决于属性值绝对值的最大值。转化公式为:
代码的实现地址为:点击打开链接
数据规范化(归一化)、及Z-score标准化相关推荐
- tensorflow keras numpy 数据 规范化、标准化、归一化
numpy 数据 规范化.归一化 import numpy as np import tensorflow as tf 标准化 mean = np.mean(train_data, axis=0) # ...
- 数据变换,数据规范化的方法之归一化(Min-max规范化)、标准化(Z-score规范化)、小数定标规范化
这篇总结了哪些东西: 1. 数据变换 2. 数据规范化方法 归一化(Min-max规范化) 标准化(Z-score标准化) 小数定标规范化 4. 规范化的作用 3. 数据挖掘算法中是否都需要进行规范化 ...
- 数据规范化(标准化)
数据规范化(标准化) 在数据预处理时,这两个术语可以互换使用.(不考虑标准化在统计学中有特定的含义). 下面所有的规范化操作都是针对一个特征向量(dataFrame中的一个colum)来操作的. ...
- 机器学习之数据预处理——归一化,标准化
机器学习之数据预处理--归一化,标准化 基础知识 1.什么是特征预处理 2.预处理方法 : 3.预处理API: 数据的标准化(normalization)和归一化 数据的标准化 数据归一化 1 把数变 ...
- 数据预处理 - 归一化与Z-Score标准化
归一化 归一化是一种简化计算的方式,即将有量纲的表达式,经过变换,化为无量纲的表达式,成为标量, 在多种计算中都经常用到这种方法.归一化方法有两种形式,一种是把数变为(0,1)之间的小数,一种是把有量 ...
- 数据预处理——归一化标准化
数据的标准化(normalization)是将数据按比例缩放,使之落入一个小的特定区间. 去除数据的单位限制,将其转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权 最典型的就是数据的归 ...
- r语言归一化_数据变换-归一化与标准化
一般在机器学习的模型训练之前,有一个比较重要的步骤是数据变换. 因为,一般情况下,原始数据的各个特征的值并不在一个统一的范围内,这样数据之间就没有可比性. 数据变换的目的是将不同渠道,不同量级的数据转 ...
- java 数据归一化,数据变换-归一化与标准化
一般在机器学习的模型训练之前,有一个比较重要的步骤是数据变换. 因为,一般情况下,原始数据的各个特征的值并不在一个统一的范围内,这样数据之间就没有可比性. 数据变换的目的是将不同渠道,不同量级的数据转 ...
- 机器学习中之规范化,中心化,标准化,归一化,正则化,正规化
一.归一化,标准化和中心化 广义的标准化: (1)离差标准化(最大最小值标准化) (2)标准差标准化 (3)归一化标准化 (4)二值化标准化 (5)独热编码标准化 归一化 (Normalization ...
最新文章
- ImportError: No module named tensorflow.compat.v1 忽略已经安装的某个包版本 忽略已安装版本...
- 深入理解分布式技术 - Dubbo vs Spring Cloud
- 怎么打开python shell_Python之使用adb shell命令启动应用的方法详解
- Bossie Awards 开源大数据工具最佳列表
- TextMate里添加Theme
- 万年历c语言 输出单月,求帮忙差错,打印万年历,输入某年某月,打印该月日历...
- 单目深度估计综述(updating...)
- 广东又将添新高校:香山大学来了
- JavaScript代理_ES6新增
- 流行音乐网站 /音乐网站/音乐播放系统
- 图像平滑处理-中值滤波
- 【编程题】【Scratch四级】2019.12 抽奖
- 【跨域】Access-Control-Allow-Origin 简单介绍
- 尚硅谷大数据开发Day04
- 用模拟器初识DELL Network
- 基因组序列genbank格式和fasta格式批量下载
- 100度享乐电商网 jQuery
- Leetcode:面试题 01.06. 字符串压缩
- n2n内网穿透及代理服务
- 抽象类可用于创建对象吗_芦竹,见过吗?清热泻火。可用于热病烦渴,风火牙痛...