kettle实现数据清洗
一:Excel的输入
1.把即将要处理的文件保存到Excel表中->打开kettle ->创建转换 ->创建Excel输入控件.效果如图所示
2.双击Excel输入控件 -> 单机浏览 -> 选择所需要处理的Excel表 -> 单机添加 ->点击工作表完成配置 -> 点击获取字段如下图->点击确定完成配置
3.点击预览看是否导入成功
4.运行并查看数据
二:生成记录
1.打开 kettle,创建转换->创建生成记录控件
3.运行并查看数据
三:生成随机数
1.新建转换并命名 -> 生成随机数控件-> 生成记录控件 ->Excel输出控件
2.进行配置生成随机数控件 -> 字段名称写授权码 -> 类型选择倒数第二个
3.点击如图所示内容,->点击快速通道
3.添加如下控件
4."生成记录"控件配置
5.生成随机数
6.择要输出的表的位置，点击字段中的获取字段，然后确定
7.运行,查看结果
四、获取系统信息
1.创建一个新的转换并命名，拖入“获取系统信息”控件。
2.配置"获取系统信息控件"
3.点击运行
五、排序记录
1.打开kettle创建一个转换并命名。拖入“Excel输入”控件和“排序记录”控件。
2.配置Excel输入控件
2.点击预览记录,看是否导入成功
3.运行并查看数据
六、去除重复纪录
1.创建新的转换，托入“Excel”控件，“排序记录”控件以及“去除重复纪录控件”
2. 双击进入“Excel输入”控件进行配制。（上面讲过不再赘述)
3.双击进入“排序记录”进行配制。这里选择序号升序进行排序。
4.双击进入“去除重复纪录”控件进行配制。”字段名称”选择序号（即去除重复的序号）。
勾选“增加计数器到输出？”和“重定向重复记录”。
5.运行结果
七、替换null值。
1.新建转行并命名。拖入“Excel输入”“和替换NULL值”控件。
2.配制“Excel输入”控件（上面讲过不再赘述），查看表数据。如图存在空值。
3. 双击进入“替换NULL值”控件的配置。勾选“选择字段”。在“字段”处选择英语。替换值为0。
4.4.运行并查看结果。如下图，空值已经被替换成了0
kettle实现数据清洗相关推荐
- kettle大于0的转换成1_第一期实训周：基于Python+MySQL+Kettle+R的某网站数据采集分析...
↓ 基于Python+MySQL+Kettle+R的 某网站数据采集分析 哈喽!各位学员们 咱们第一期课程就要开始了 下面划重点! 一 高校院系 齐鲁工业大学数学与统计学院应用统计系 二 实训日期 2 ...
- Kettle工具使用及总结
Kettle工具使用及总结 一.kettle安装及报错: kettle主要用于数据清洗,即常见ETL工具,拥有图形化界面且免费的优点.其下载包直接解压打开就能用,遇到的问题: 1.连接MySQL报错: ...
- mysql etl工具干什么的_基于现在接触的ETL工具（datax和kettle）做个小总结
现阶段需要做数据库同步工作,目前调研了两个工具datax和kettle 目前虽然环境使用的是kettle+jenkins调度平台方案,但是多多少少会有一些不太令人满意的地方,但应该算是满足大部分需求了 ...
- BI可视化分析之Pentaho
简介 我们在上一篇数据仓库选型中已经确定了用使用Pentaho作为BI可视化分析工作. Pentaho的中文文档多,国际化做的比较好. 巧合的是我们之前使用的ETL数据清洗工具kettle也是属于Pe ...
- ETL数据清洗Kettle工具
文章目录 一.简介 二.资源库(新建.管理) 三.转换 1. 新建数据源 2. 简单的输入输出 配置步骤 2.1 配置表输入 2.2 配置表输出 2.3 保存 2.4 启动与执行结果 3. 转换 1. ...
- 《数据清洗》——kettle基本工具的使用
转换的基本概念及操作 一个数据抽取主要包括创建一个作业,并且每个作业可以包括多个转换操作,此数据抽取操作可以通过kettle工具完成,也可以通过编写程序调用的方式实现. 转换是ETL解决方案中重要的组 ...
- 【数据预处理】基于Kettle的字符串数据清洗、Kettle的字段清洗、Kettle的使用参照表集成数据
文章目录 一.前言 1.1 实验内容 二.实验过程 2.1 实验内容一:掌握基于Kettle的字符串数据清洗 2.2 实验内容二:掌握基于Kettle的字段清洗 2.3 实验内容三:掌握基于Kettl ...
- 数据清洗基础—Kettle 数据转换与清洗、数据抽取操作
实验一:数据清洗基础-Kettle 数据转换与清洗.数据抽取操作 1 实验题目:Kettle 数据转换与清洗.数据抽取操作 2实验目和要求 2.1熟悉 Kettle 的开发环境,并掌握 Kettle ...
- kettle清洗mysql数据_ETL工具Kettle使用以及与Java整合实现数据清洗
本文主要讲述kettle的使用和与Java整合,具体下载与安装请自行百度! kettle有两种脚本方式:转换和工作,工作中可以添加转换.以下以转换为例. 1.新建一个转换, 2.在工作中经常用到的是表 ...
最新文章
- 多线程（二）线程控制
- wpcap包含目录如何在2010中进行全局设置
- Android中的长度单位详解
- 在卷积层的运用_Conv 卷积层
- Spring Cloud Eureka 属性配置中文说明文档
- 老黄投下新核弹：英伟达十年力作图灵架构，新GPU支持光线追踪
- VS2012编译文件报错——error LNK2001: 无法解析的外部符号 __imp___CrtDbgReportW
- 【渝粤教育】国家开放大学2019年春季 0755-22T学前儿童艺术教育 参考试题
- PyCharm 2022 软件安装及汉化
- xbox微软服务器崩溃了,微软的Xbox游戏条因0x803F8001错误而崩溃
- win7 开WiFi共享
- 如何用python把Mac录屏转换成GIF
- 分别计算二维数组主对角线元素与辅对角线元素的和。
- 开放银行赋能供应链金融，连接企业生态场景
- 幼儿园案例经验迁移_2020年幼儿园中班教育笔记 生活经验的迁移
- visio中直线交叉处消除跨线的方法
- 神经网络和图神经网络,神经网络的图怎么画
- hua图软件 mac_mac系统有画图工具吗|mac电脑把预览变成画图工具方法
- 工程师如何提升自身的软素质
- [原创]对于运行ASP.NET程序时，提示：无法启动程序“http://localhost:3532/Default.aspx”。的解决办法...