【Kettle】 数据转换的基本操作
- 前言
我们在真实的业务场景中经常会遇到一些数据的操作，今天我就来介绍一下kettle这款ETL工具的基本操作
- csv - excel
在Kettle中新建转换
拖拽一个CSV输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件
配置CSV输入组件
1.选择要进行导入的CSV数据源
2. 点击 「获取字段」，读取CSV中的列
3.点击 「预览」，浏览CSV中的数据
配置Excel输出组件
指定输出Excel文件的位置
点击三角形箭头执行
- json - excel
拖拽一个Json输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件
配置Json输入组件
配置Excel输出组件
点击三角形箭头执行
- mysql - excel
拖拽一个表输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件
配置表输入组件
配置Excel输出组件
点击三角形箭头执行
- 生成记录 - excel
拖拽一个生成记录输入组件、一个Excel输出组件、并按住Shift拖动鼠标连接两个组件
配置生成记录输入组件
配置Excel输出组件
点击三角形箭头执行
- mysql – 文本
拖拽一个表输入组件、一个文本文件输出组件、并按住Shift拖动鼠标连接两个组件
配置表输入组件
配置文本文件输出组件
点击三角形箭头执行
- json – mysql
需要把mysql-connector-java-5.1.21.jar放入Kettle下的lib目录中
拖拽一个Json输入组件、一个表输出组件、并按住Shift拖动鼠标连接两个组件
配置Json输入组件
配置表输出组件
目标表必须存在
点击三角形箭头执行
- json – 插入更新
插入更新就是把数据库已经存在的记录与数据流里面的记录进行比对 如果不同就进行更新 如果记录不存在，则会插入数据
拖拽一个Json输入组件、一个插入更新输出组件、并按住Shift拖动鼠标连接两个组件
配置Json输入组件
配置插入更新输出组件
点击三角形箭头执行
- 自定义常量数据 – 删除（删除mysql数据）
拖拽一个自定义常量数据输入组件、一个删除输出组件、并按住Shift拖动鼠标连接两个组件
配置自定义常量数据输入组件
配置删除输出组件
点击三角形箭头执行
【Kettle】 数据转换的基本操作相关推荐
- 数据清洗基础—Kettle 数据转换与清洗、数据抽取操作
实验一:数据清洗基础-Kettle 数据转换与清洗.数据抽取操作 1 实验题目:Kettle 数据转换与清洗.数据抽取操作 2实验目和要求 2.1熟悉 Kettle 的开发环境,并掌握 Kettle ...
- kettle 数据转换
今天刚刚学习了kettle的一点点操作,就是将ORACLE数据库的表数据导入到MYSQL数据库. 首先,要将同步两个环境的表.我用的是全部字段.没有涮选处理字段和加工的.
- linux命令界面下载kettle,kettle在linux环境中打开图形界面-Go语言中文社区
kettle在linux环境中打开图形界面 kettle数据转换的时候需要图形界面 当运行./spoon.sh时,如果没有图形界面,会出现下面的结果 ./spoon.sh [root@localhos ...
- ELT工具kettle的基本使用
Kettle简介 kettle是一款开源的ETL工具,存java编写,可以在wind,linux,unix上运行,绿色无需安装,数据抽取高效稳定.kettle允许开发人员管理来自不同数据库的数据, ...
- 我爱机器学习网机器学习类别文章汇总
机器学习领域的几种主要学习方式 From Stumps to Trees to Forests KDD-2014 – The Biggest, Best, and Booming Data Scien ...
- 我爱机器学习--机器学习方向资料汇总
转载:http://blog.csdn.net/shuimanting520/article/details/45748505 机器学习爱好者资料 机器学习领域的几种主要学习方式 From Stump ...
- 这就是数据分析之数据集成
什么是数据集成 我们采集的数据经常会有冗余重复的情况.举个简单的例子,假设你是一个网络综艺节目的制片人,一共有 12 期节目,你一共打算邀请 30 位明星作为节目的嘉宾.你知道这些明星影响力都很大,具 ...
- kettle使用数据库来生成序列_kettle专题5：数据转换
我们说kettle是个ETL工具,如果把前面讲的输入控件看成是E,把输出控件看成是L,那么数据转换控件就是T的能力. 数据转换控件就是将抽提的数据按照目标要求进行的合并.分拆.映射.计算.行列转换以及 ...
- Kettle构建Hadoop ETL实践（六）：数据转换与装载
目录 一.数据清洗 1. 处理"脏数据" 2. 数据清洗原则 3. 数据清洗实例 (1)身份证号码格式检查 (2)去除重复数据 (3)建立标准数据对照表 二.Hive简介 1 ...
最新文章
- 基于激光雷达点云的3D检测方法汇总(LiDAR only)
- 【算法】算法秋招个人总结
- 洛谷——P1019 单词接龙
- 爬取IMDBTOP250
- dnf强化卷代码_这行代码告诉你！为什么你地下城与勇士(DNF)的装备强化老是失败？...
- 从BIO、NIO到Netty
- 力扣762.二进制表示中质数个计算置位
- 设计模式学习笔记-装饰模式
- 视酷酷信即时通讯im私密端对端加密聊天，多语言IM即时通讯源码 支持7端互通通讯带教程源码
- 基于51/52单片机毕业设计课题选题表/毕设题目/设计资料
- 编写c#程序，修改文件后缀名
- TV_Control Android机顶盒手机控制全套程序开源
- U盘修复后文件丢失怎么办？U盘数据丢失怎么恢复
- UBUNTU开启CRONTAB日志记录及解决NO MTA INSTALLED, DISCARDING OUTPUT问题
- BT通信中数据下载的分析和实现
- DirectX11--实现一个3D魔方(1)
- JAVA17安装体验JFX17抢先体验
- Python 准确获取今天是星期几的代码（isoweekday和weekday）
- Ubuntu 安装 Mysql 8
- Foursquare数据集介绍