数据同步：(开源)基于Flink的数据同步工具Chunjun

文章目录

简介
特性
支持数据库
其他

简介

Chunjun是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，比如MySQL，HDFS等，也可以采集实时变化的数据，比如MySQL binlog，Kafka等。同时，Chunjun也是支持原生FlinkSql所有语法和特性的计算框架，并且提供了大量案例。

特性

大部分插件支持并发读写数据，可以大幅度提高读写速度；
部分插件支持失败恢复的功能，可以从失败的位置恢复任务，节约运行时间；失败恢复
关系数据库的Source插件支持间隔轮询功能，可以持续不断的采集变化的数据；间隔轮询
部分数据库支持开启Kerberos安全认证；Kerberos
可以限制source的读取速度，降低对业务数据库的影响；
可以记录sink插件写数据时产生的脏数据；
可以限制脏数据的最大数量；
支持多种运行模式；
同步任务支持执行flinksql语法的transformer操作；
sql任务支持和flinkSql自带connectors共用；

支持数据库

数据同步：(开源)基于Flink的数据同步工具Chunjun相关推荐

大数据是如何基于 Flink 进行实时计算的？
Flink 因天然流式计算特性及强大处理性能,成为炙手可热的大数据处理框架,在 BAT.头条.顺丰等国内头部公司都有其相关应用. 眼下,Flink 可以说是 DT 时代程序员的加分项,更是大数据开发求 ...
R语言data.table导入数据实战:data.table生成新的数据列（基于已有数据列）、生成多个数据列
R语言data.table导入数据实战:data.table生成新的数据列(基于已有数据列).生成多个数据列目录 R语言data.table导入数据实战:data.
R语言对dataframe行数据进行筛选（row selection）、筛选数据行、基于条件筛选数据行
R语言对dataframe行数据进行筛选(row selection).筛选数据行.基于条件筛选数据行目录
基于数据库数据增量同步_基于 Flink SQL CDC 的实时数据同步方案
简介:Flink 1.11 引入了 Flink SQL CDC,CDC 能给我们数据和业务间能带来什么变化?本文由 Apache Flink PMC,阿里巴巴技术专家伍翀 (云邪)分享,内容将从传统的 ...
千万数据去重_基于 Flink 的百亿数据去重实践
在工作中经常会遇到去重的场景,例如基于 App 的用户行为日志分析系统,用户的行为日志从手机客户端上报到 Nginx 服务端,通过 Logstash.Flume 或其他工具将日志从 Nginx 写入到 ...
大数据存储项目-基于Flink的高速公路ETC入深圳数据实时分析平台
大数据项目总体流程分为以下4个方面: 数据采集,数据存储与管理,数据处理与分析,数据解释与可视化. 文章目录数据源项目要求项目流程 1.数据爬取与清洗 2.jmeter模拟高并发数据流 3.ka ...
python 3d大数据可视化_基于Python的数据可视化库pyecharts介绍
什么是pyecharts? pyecharts 是一个用于生成 Echarts 图表的类库. echarts 是百度开源的一个数据可视化 JS 库,主要用于数据可视化.pyecharts 是一个用于生 ...
《大数据》编辑推荐 | 基于遥感大数据的信息提取技术综述
主题词遥感大数据:目标识别:地物分割:变化检测遥感大数据虽然能够多粒度.多时相.多方位和多层次地反映地物信息,但其数据量与日俱增.种类日益增多,且存在大量的冗余信息,使得从遥感数据中提取有效信息具 ...
『数据可视化』基于Python的数据可视化工具
刘宇宙,现在一家创业型公司做技术总负责,做爬虫和数据处理相关工作,曾从事过卡系统研发.金融云计算服务系统研发,物联网方向大数据研发,著书一本,<Python3.5从零开始学> 如何做Pyt ...
微软开源基于云的生理学研究工具
Bio Model Analyzer是一款微软基于云的生理学研究工具,可以用于对化细胞交互和通信进行建模,现已经在GitHub上开源,在MIT许可之下. 研究人员使用Bio Model Analyze ...

数据同步：(开源)基于Flink的数据同步工具Chunjun

文章目录

简介

特性

支持数据库

数据同步：(开源)基于Flink的数据同步工具Chunjun相关推荐

最新文章

热门文章