一、数据清理

数据清理主要是处理缺失数据、噪声数据等。

1 处理缺失值

处理缺失值常用方法：

删除数据：根据缺失情况，按行删除或者按列删除
度量填补缺失值：可以根据数据属性，采用均值、中位数、众数等中心度量值来填补缺失数据
预测填补缺失值：可以将缺失属性作为因变量，建立分类或回归模型，对缺失值进行建模填补

2 噪声数据

对于噪声数据主要通过光滑的操作，可以通过：

分箱操作。其主要思想为每一个数据与它的“近邻”数据应该是相似的，因此将数据用其近邻（“箱”或“桶”）替代，这样既可以光滑有序数据值，还能在一定程度上保持数据的独有特点。
回归处理。通过一个映像或函数拟合多个属性数据，从而达到光滑数据的效果。
离群点分析。聚类可以将相似的值归为同一“簇”，因此主要使用聚类等技术来检测离群点。

二、数据集成

需要的数据往往分布在不同的数据源中，数据集成就是将多个数据源合并存放在一个一致的数据存储（如数据仓库）中的过程。在实际应用中，数据集成解决 3类问题：实体识别、冗余和相关分析，以及数值冲突的检测与处理。

1 实体识别

实体识别是指从不同数据源识别现实世界的实体，它的任务是统一不同源数据的矛盾之处。

2 冗余和相关分析

可以通过可视化、相关性分析等方法，来删除冗余数据

3 数值冲突的检测与处理

对于现实世界的同一实体，由于表达方式、尺度标准或编码的不同常导致元数据的巨大差异。因此要对数据进行尺度标准或编码的统一。

三、数据变换

常用的数据变换操作有：数据规范化、数据里散化、概念分层。

1 数据规范化

数据规范化的目的是将数据按比例缩放，使得属性之间的权值适合数据挖掘。
常见的数据规范化方法包括：

最小-最大规范化
z-score分数规范化
小数定标规范化等。

2 数据离散化

数据离散化是将数值属性的原始值用区间标签或概念标签替换的过程，它可以将连续属性值离散化。

3 概念分层

概念分层的主要思想是将低层概念的集合映射到高层概念的集合。

实际操作不一一细化了，相对来说大部分操作都是python学习过程中的基础练习。

数据预处理常用方法总结相关推荐

数据预处理常用方法流程
文章目录数据读取和选择缺失数据找出缺失数据处理缺失数据丢弃观察值丢弃特征填充缺失数据数值变量分类变量替换缺失值异常值如何找出异常值数值变量直方图箱形图分类变量条形图 ...
机器学习 | 基本概念与数据预处理和特征工程
文章目录一.机器学习的基本概念二.降维 1.模块preprocessing:几乎包含数据预处理的所有内容 (1)模块Impute:填补缺失值专用 (2)模块feature_selection:包含 ...
python 归一化_一文学会用python进行数据预处理
怎样用Python进行数据转换和归一化 1.概述实际的数据库极易受到噪声.缺失值和不一致数据的侵扰,因为数据库太大,并且多半来自多个异种数据源,低质量的数据将会导致低质量的数据分析结果,大量的数 ...
Stanford UFLDL教程数据预处理
数据预处理 Contents [hide] 1概要 2数据归一化 2.1简单缩放 2.2逐样本均值消减 2.3特征标准化 3PCA/ZCA白化 3.1基于重构的模型 3.2基于正交化ICA的模型 4大 ...
机器学习之数据预处理
在sklearn之数据分析中总结了数据分析常用方法,接下来对数据预处理进行总结当我们拿到数据集后一般需要进行以下步骤: (1)明确有数据集有多少特征,哪些是连续的,哪些是类别的 (2)检查有没有缺失 ...
特征工程之数据预处理（上）
机器学习入门系列(2)–如何构建一个完整的机器学习项目,第三篇! 该系列的前两篇文章: 机器学习入门系列(2)–如何构建一个完整的机器学习项目(一) 机器学习数据集的获取和测试集的构建方法分别介绍了 ...
属性子集选择的基本启发方法_一文看懂数据预处理最重要的3种思想和方法
导读:本文我们考虑应当采用哪些预处理步骤,让数据更加适合挖掘.数据预处理是一个广泛的领域,包含大量以复杂的方式相关联的不同策略和技术.我们将讨论一些最重要的思想和方法,并试图指出它们之间的相互联系. ...
一文看懂数据预处理最重要的3种思想和方法
导读:本文我们考虑应当采用哪些预处理步骤,让数据更加适合挖掘.数据预处理是一个广泛的领域,包含大量以复杂的方式相关联的不同策略和技术.我们将讨论一些最重要的思想和方法,并试图指出它们之间的相互联系. ...
关于数据预处理的7个重要知识点，全在这儿了！
导读:今天这篇文章是「大数据」内容合伙人周萝卜关于<Python数据分析与数据化运营>的一篇读书笔记.在大数据公众号后台对话框回复合伙人,免费读书.与50万「大数据」同行分享你的洞见. 作 ...

数据预处理常用方法总结

目录