大数据Kettle实时同步数据的六种方案

数据同步：当数据源发生改变时，其他相关数据也跟着发展变化。根据需求不同可采取以下方案。
1.触发器

在数据库建立增删改的触发器。触发器将变更放到一张临时表里。oracle同步cdc

优点：实时同步
缺点：影响到业务系统，因为需要在业务系统建立触发器

2.日志

通过分析源数据库日志，来获得源数据库中的变化的数据。oracle异步cdc

优点：不影响业务系统
缺点：有一定得延时，对于没有提供日志分析接口的数据源，开发的难度比较大

3.时间戳

在要同步的源表里有时间戳字段，每当数据发生变化，时间戳会记录发生变化的时间

优点：基本不影响业务系统
缺点：要求源表必须有时间戳这一列

4.数据比较

通过比较两边数据源数据，来完成数据同步。一般用于实时性要求不高的场景。

优点：基本不影响业务系统
缺点：效率低

5. 全表拷贝

定时清空目的数据源，将源数据源的数据全盘拷贝到目的数据源。一般用于数据量不大，实时性要求不高的场景。

优点：基本不影响业务系统，开发、部署都很简单
缺点：效率低

6.使用Kafka+kettle
通过kafka connect连接，将所有数据推给DB或Hadoop，需要ETL处理就在kafka向target source发送数据中间这里加上Kettle

优点：基本不影响业务系统，实时同步
缺点：对源有一定性能要求，对源这边有一定开发配置要求

总结：

对于没有触发器和日志的一些小型数据源，如txt 文本，excel 文件，Aceess，则只能使用后三种方式。
对于大型数据源，一般优先选择日志方式，如 kafka同步, 对于不能通过日志来实现的情况，可以考虑第1，3，4，6种方式。

大数据Kettle实时同步数据的六种方案相关推荐

rsync+sersync实现数据文件实时同步
rsync+sersync实现数据文件实时同步使用rsync+sersync,实现nfs与backup服务器间实时数据同步一.数据同步工具介绍 rsync是一款开源的.快速的.多功能的.可实现全量 ...
Oracle 数据怎么实时同步到 MySQL | 亲测干货分享建议收藏
摘要: 这段时间负责一个老项目开发的数据库管理工作,这个项目中开发库与测试数据库分离,其中有些系统表数据与基础资料数据经常需要进行同步,相信很多 DBA 同学经常会遇到要从一个数据库实时同步到另一 ...
Oracle 数据怎么实时同步到 Kafka | 亲测干货分享建议收藏
摘要: 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.我自己亲测了一种方式,可以非常方便地完成 Oracl ...
Oracle 数据怎么实时同步到 SQL Server | 亲测干货分享建议收藏
摘要: 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.我自己亲测了一种方式,可以非常方便地完成 Oracle ...
Oracle 数据怎么实时同步到 PgSQL | 亲测干货分享建议收藏
摘要: 这段时间负责一个老项目开发的数据库管理工作,这个项目中开发库与测试数据库分离,其中有些系统表数据与基础资料数据经常需要进行同步,相信很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数 ...
Oracle 数据怎么实时同步到 MongoDB | 亲测干货分享建议收藏
摘要: 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.我自己亲测了一种方式,可以非常方便地完成 Oracle ...
Oracle 数据怎么实时同步到 Elasticsearch | 亲测干货建议收藏
摘要: 很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.我自己亲测了一种方式,很快实现了Oracle 数据实时 ...
跨系统实时同步数据解决方案
数据量太大,单存储节点存不下,就只能把数据分片存储. 数据分片后,对数据的查询就没那么自由.如订单表按用户ID作为Sharding Key,就只能按用户维度查询.我是商家,我想查我店铺的订单,做不到. ...
Oracle 数据怎么实时同步到 DM DB 达梦数据库 | 亲测干货建议收藏
摘要很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题,同构数据还相对容易,遇上异构数据.表多.数据量大等情况就难以同步.我自己亲测了一种方式,可以很方便地完成 Oracle 数 ...

大数据Kettle实时同步数据的六种方案

大数据Kettle实时同步数据的六种方案相关推荐

最新文章

热门文章