Flink CDC 系列（1）—— 什么是 Flink CDC

Flink CDC 系列文章：
《Flink CDC 系列（1）—— 什么是 Flink CDC》
《Flink CDC 系列（2）—— Flink CDC 源码编译》
《Flink CDC 系列（3）—— Flink CDC MySQL Connector 与 Flink SQL 的结合使用案例Demo》
《Flink CDC 系列（4）—— Flink CDC MySQL Connector 常用参数表》
《Flink CDC 系列（5）—— Flink CDC MySQL Connector 启动模式》
《Flink CDC 系列（6）—— Flink CDC MySQL Connector 工作机制之 Incremental Snapshot Reading》
《Flink CDC 系列（7）—— 从 MySQL 到 ElasticSearch》

文章目录

什么是 Flink CDC
功能特性
与 Flink 版本的对应关系

什么是 Flink CDC

Flink CDC 是 CDC（change data capture 变更数据捕获）在 Flink 的一种实现，具体体现为一系列的 Flink CDC Connector，如 Mysql CDC connector，PostgreSQL connector 等。Flink CDC Connector 内嵌了 Debezium 来捕获数据变更。
官网地址：https://ververica.github.io/flink-cdc-connectors/master/

（图片引自官网）

支持的数据源：

数据源	版本
MySQL	Database: 5.7, 8.0.x , JDBC Driver: 8.0.16
PostgreSQL	Database: 9.6, 10, 11, 12 JDBC Driver: 42.2.12
MongoDB	Database: 3.6, 4.x, 5.0, MongoDB Driver: 4.3.1
Oracle	Database: 11, 12, 19,Oracle Driver: 19.3.0.0

功能特性

支持数据库级别的快照，读取全量数据，2.0版本可以支持不加锁的方式读取
支持 binlog，捕获增量数据
Exactly-Once
支持 Flink DataStream API，不需要额外部署 Debezium 和 Kafka即可在一个 Flink 作业中完成变更数据的捕获和计算
支持 Flink Table/SQL API，可使用 SQL DDL 来创建 CDC Source 表，并对表中的数据进行查询。

与 Flink 版本的对应关系

Flink CDC Connector 版本	Flink 版本
1.0.0	1.11.*
1.1.0	1.11.*
1.2.0	1.12.*
1.3.0	1.12.*
1.4.0	1.13.*
2.0.*	1.13.*
2.1.*	1.13.*

Flink CDC 系列（1）—— 什么是 Flink CDC相关推荐

Flink CDC 系列（3）—— Flink CDC MySQL Connector 与 Flink SQL 的结合使用案例Demo
Flink CDC 系列文章: <Flink CDC 系列(1)-- 什么是 Flink CDC> <Flink CDC 系列(2)-- Flink CDC 源码编译> < ...
【Flink实战系列】Lorg/apache/flink/kafka/shaded/org/apache/kafka/clients/consumer/ConsumerRecord；)Ljava/
java.lang.AbstractMethodError: Method flink/stream/deserialization/PoJoDeserializationSchema.deseria ...
云星数据---Apache Flink实战系列(精品版)】：Flink流处理API详解与编程实战002-Flink基于流的wordcount示例002
三.基于socket的wordcount 1.发送数据 1.发送数据命令nc -lk 9999 2.发送数据内容good good studyday day up 2.处理数据 2.1执行程序 pac ...
Flink CDC 系列（7）—— 从 MySQL 到 ElasticSearch
Flink CDC 系列文章: <Flink CDC 系列(1)-- 什么是 Flink CDC> <Flink CDC 系列(2)-- Flink CDC 源码编译> < ...
Flink CDC 系列 - Flink CDC 如何简化实时数据入湖入仓
摘要:本文整理自伍翀 (云邪).徐榜江 (雪尽) 在 Flink Forward Asia 2021 的分享,该分享以 5 个章节详细介绍如何使用 Flink CDC 来简化实时数据的入湖入仓, 文章 ...
Flink 如何实时分析 Iceberg 数据湖的 CDC 数据
简介:数据湖的架构中,CDC 数据实时读写的方案和原理本文由李劲松.胡争分享,社区志愿者杨伟海.李培殿整理.主要介绍在数据湖的架构中,CDC 数据实时读写的方案和原理.文章主要分为 4 个部分内容: ...
Flink系列之：基于Flink CDC2.0实现海量数据的实时同步和转换
Flink系列之:基于Flink CDC2.0实现海量数据的实时同步和转换一.CDC技术二.Flink CDC技术三.传统数据集成方案的痛点 1.传统数据入仓架构1.0 2.传统数据入仓架构2. ...
Apache Flink 漫谈系列(12) - Time Interval(Time-windowed) JOIN...
说什么 JOIN 算子是数据处理的核心算子,前面我们在<Apache Flink 漫谈系列(09) - JOIN 算子>介绍了UnBounded的双流JOIN,在<Apache Fl ...
Apache Flink 漫谈系列 - JOIN 算子
2019独角兽企业重金招聘Python工程师标准>>> 聊什么在<Apache Flink 漫谈系列 - SQL概览>中我们介绍了JOIN算子的语义和基本的使用方式,介 ...