kettle利用时间戳（timestamp）做增量抽取

创建两个表：

用户为Scott

create table zhiyuanb(填表日期 Date primary Key,

姓名  Varchar2(10) Not Null,
          年龄  Number(3) ,
          居住地 Varchar2(100),

)

用户为hr

create table ruzhib_1 ( 填表日期 Date primary Key,

姓名 Varchar2(10)Not Null,
年龄 Number(3) ,
居住地 Varchar2(100),
)

把Scott用户下的ruzhib 的增量数据抽取到hr用户下面的ruzhib_1

首先先创建一个时间戳表：

create table times(

cqsj date primary Key, --最近一次抽取表的时间

xtsj date ); --上次抽取作业的时间

ruzhib数据为

开始了，进入主题：

第一步先获取时间戳表里面的上次抽取的时间这里用的max(),再将上一步获取到的时间来取出上次抽取以后的数据，再将其插入到ruzhib_1里面

详细步骤：

查询的字段只需要弄一个主键就够了

再把抽取的时间和抽取时的系统时间记录到时间戳表内

详细步骤：

Max（填表日期）就可以获到本次增量抽取过来的最近时间，sysdate，来获取本次的操作时间

再将其插入到times表里

通过作业把他们组合到一块

详细步骤：start用于开始，

在第二个控件转化里面

把刚才做的那个抽取的转换填进去

第三个是把时间添加到times表里的转换

最后完成

步骤就这些

咱们测试一下

出现了一个错误，为什么呢，因为这是第一次创建表使用，times表里面还没有数据，所以会出错，咱们先向里面手动添加一条数据

InsertInto times Values(to_date('2018/1/1 12:23:00','yyyy/mm/ddhh24:mi:ss'),

to_date('2018/4/16 12:15:23','yyyy/mm/ddhh24:mi:ss'))

然后咱们再试一下

成功了，再测试一下，往zhiyuanb里插上两条记录再试试

InsertInto zhiyuanb Values(to_date('2018/2/3 12:56:00','yyyy/mm/ddhh24:mi:ss'),'玛丽',20,'北京');

InsertInto zhiyuanb Values(to_date('2018/3/4 09:31:02','yyyy/mm/ddhh24:mi:ss'),'张吉',23,'河南');

又成功了，所需的数据都被插入了进来

时间也被插入更新了进来

O k

自己独立编写，喜欢的能帮助你的给个小赞赞吧！！！

kettle利用时间戳（timestamp）做增量抽取相关推荐

oracle 增量_【干货分享】DMETL中的增量抽取初识
DMETL实现了增量数据的同步.在源表上进行的增删改操作,可以通过增量数据抽取,同步到目的表中.在第一次将源表数据全量抽取到目的表中后,可以通过重复地执行增量数据抽取,将源表上的增删改操作产生的变化数 ...
【NLP】如何利用BERT来做基于阅读理解的信息抽取
信息抽取 (Information Extraction: IE)是把文本里包含的信息进行结构化处理,变成计算机能够处理的结构,实体抽取.关系抽取.事件抽取等都属于信息抽取的范畴.在NLP领域,信息抽 ...
数据增量抽取项目重演
文章目录前言参考链接时间线项目介绍项目场景项目需求项目回顾问题其它数据增量抽取与数据库同步的区别项目架构图接口方任务步骤使用MyBatisPlus对数据进行查询对数据进 ...
java数据抽取到数据仓库_关于数据增量抽取的模拟实现——脚本实现
具体排过版的请参看http://Percywang.itpub.net 本文主要是针对关于数据增量抽取的模拟实现--原理进行实现的实现的环境: 业务数据库:Oracle9i 数据仓库数据库:SQLS ...
ETL的增量抽取机制
要实现增量抽取,关键是如何准确快速的捕获变化的数据.优秀的增量抽取机制要求ETL能够将业务系统中的变化数据按一定的频率准确地捕获到,同时不能对业务系统造成太大的压力,影响现有业务.相对全量抽取而言,增 ...
Orcal ETL 增量抽取--ORA_ROWSCN伪列
Orcal ETL 增量抽取–ORA_ROWSCN伪列 1.背景项目中需要进行orcal数据增量抽取,然而源表无主键,无时间戳,无唯一键,别人的业务系统又无法动.最开始想通过解析日志以及v$sql动 ...
细说MySQL的时间戳(Timestamp)类型
转载生产环境中部署着各种版本的MySQL,包括MySQL 5.5/5.6/5.7三个大版本和N个小版本,由于MySQL在向上兼容性较差,导致相同SQL在不同版本上表现各异,下面从几个方面来详细介绍时 ...
MySQL的时间戳(Timestamp)类型学习
生产环境中部署着各种版本的MySQL,包括MySQL 5.5/5.6/5.7三个大版本和N个小版本.由于MySQL在向上兼容性较差,导致相同SQL在不同版本上表现各异,尤其是对于时间戳数据类型.下面从 ...
使用MRC（机器阅读理解）方式做事件抽取任务，基于2020百度事件抽取任务
关注微信公众号:NLP分享汇.[喜欢的扫波关注,每天都在更新自己之前的积累] 文章链接:https://mp.weixin.qq.com/s/aKB6j42bC1MnWCFIEyjwQQ [前言] ...

kettle利用时间戳（timestamp）做增量抽取

kettle利用时间戳（timestamp）做增量抽取相关推荐

最新文章

热门文章