5.2去除重复数据和5.3异常值处理

案例介绍：
通过Kettle工具，去除原始数据集revenue.txt中的缺失值。
1、通过使用Kettle工具，创建一个转换delete_missing_value，并添加“文本文件输入”控件、“字段选择”控件、“过滤记录”控件、“Excel输出”控件、“空操作（什么也不做）”控件以及Hop跳连接线。

配置文本文件输入

点击获取字段，然后改名：

预览数据：

在过滤记录中选择条件

Excel输出

结果：

案例介绍：
通过Kettle工具，使用平均值填充法对文件people_survey.txt中的缺失值进行填充。
通过使用Kettle工具，创建一个转换fill_missing_value，并添加“文本文件输入”控件、“过滤记录”控件、“空操作（什么也不做）”控件、“替换NULL值”控件、“合并记录”控件、“字段选择”控件以及Hop跳连接线。

选择好组件

文本文件输入：

过滤记录：

替换null值：

合并两个表：

结果:

其实感觉并不需要去过滤记录可以直接替换啊很奇怪。

异常值处理
案例介绍：
通过Kettle工具，替换和修改数据表interpolation_data中的异常值。

将组件设置好。
表输入，连接上所需表所在数据库，然后通过获取sql查询语句来获取表

过滤记录进行数据分批

将错误值变成空

再进行一次替换

根据id合并

在字段选择中移除多出来的数据

5.2去除重复数据和5.3异常值处理相关推荐

R语言dplyr包distinct函数去除重复数据行实战
R语言dplyr包distinct函数去除重复数据行实战目录 R语言dplyr包distinct函数去除重复数据行实战 #导入dplyr包 #仿真数据
java 两个数组去重复数据_Java实现数组去除重复数据的方法详解
本文实例讲述了Java实现数组去除重复数据的方法.分享给大家供大家参考,具体如下: 前一段时间被面试问到:如果一个数组中有重复元素,用什么方法可以去重?一时间会想到用一种方法,但是后来查阅资料后发现, ...
mysql基础14(关于mysql数据库在没有主键情况下去除重复数据办法)
关于mysql数据库在没有主键情况下去除重复数据办法约定表名:mat 根据 cat 字段去重新增加主键为 id 步骤 1.为mat新增一列自增主键 alter table mat add col ...
execl筛选去重_excel表格如何去除重复数据进行筛选
原标题:"Excel表格如何去除重复数据"的相关路由器设置教程资料分享.- 来源:191路由网. 我们有时候会遇到这样的一个情况,一些数据里面有一些重复的,我们想去除这些重复的数据 ...
linux列表去重复数据,Linux常用去除重复数据口令
一.uniq干什么用的文本中的重复行,基本上不是我们所要的,所以就要去除掉.linux下有其他命令可以去除重复行,但是我觉得uniq还是比较方便的一个.使用uniq的时候要注意以下二点 1,对文本操 ...
mysql去除重复数据
mysql去除重复数据根据one列查询重复的数据(根据单列判断重复) SELECT * FROM tab_test WHERE ONE IN (SELECT ONE FROM testdelete ...
mysql中如何去除重复数据_MySQL如何去除重复数据？
这篇文章主要介绍了MySQL 去除重复数据实例详解的相关资料,需要的朋友可以参考下 MySQL 去除重复数据实例详解有两个意义上的重复记录,一是完全重复的记录,也即所有字段均都重复,二是部分字段重复 ...
mysql中如何去除重复数据_mysql数据库如何去除重复数据
mysql数据库去除重复数据的方法:1.查询需要删除的记录,会保留一条记录:2.删除重复记录,只保留一条记录,代码为[delete a from test1 a, (...)as bid from t ...
php如何去重,php如何去除重复数据
php去除重复数据的方法:1.利用"array_unique"函数直接将一个数组中的重复的值去除:2.利用"array_flip"函数和"array_ ...

5.2去除重复数据和5.3异常值处理

5.2去除重复数据和5.3异常值处理相关推荐

最新文章

热门文章

5.2去除重复数据 和5.3异常值处理

5.2去除重复数据 和5.3异常值处理相关推荐

最新文章

热门文章

5.2去除重复数据和5.3异常值处理

5.2去除重复数据和5.3异常值处理相关推荐