Debezium系列之：实现不同表中的数据始终发往对应的kafka topic分区，支持根据表中任意字段分发数据到Kafka topic多个分区
Debezium系列之：实现不同表中的数据始终发往对应的kafka topic分区，实现支持根据表中任意字段分发数据到Kafka topic多个分区
- 一、需求背景
- 二、ComputePartition.java
- 三、ComputePartitionConfigDefinition.java
- 四、ComputePartitionException.java
- 五、ComputePartitionTest.java
- 六、具体实现方法
- 七、不同表中的数据始终发往对应的kafka topic分区
一、需求背景
需要实现的需求如下所示：
- 多张表的数据发往一个kafka topic，这个topic具有多个分区，可以实现不同表中的数据始终发往对应的kafka topic分区，比如product表中的数据始终发往topic分区0，order表中的数据始终发往topic分区1
- 单张表的数据发往一个多分区的kafka topic，可以指定表中的任意字段对数据进行hash，实现指定字段的值始终发往kafka topic的相同分区
二、C
Debezium系列之：实现不同表中的数据始终发往对应的kafka topic分区，支持根据表中任意字段分发数据到Kafka topic多个分区相关推荐
- Debezium系列之：重置Sqlserver数据库的LSN拉取历史数据
Debezium系列之:重置Sqlserver数据库的LSN拉取历史数据 一.需求背景 二.理解LSN 三.sqlserver offset数据样式 四.写入历史LSN 五.观察历史数据 六.拉取最新 ...
- Debezium系列之：使用Debezium接入PostgreSQL数据库数据到Kafka集群的详细技术文档
Debezium系列之:使用Debezium接入PostgreSQL数据库数据到Kafka集群的详细技术文档 一.概述 二.连接器的工作原理 1.安全 2.快照 3.Ad hoc snapshots ...
- Debezium系列之：sqlserver数据库开启CDC
Debezium系列之:sqlserver数据库开启CDC 一.服务器角色 二.sqlserver数据库角色 三.创建登陆账户 四.创建具体数据库用户 五.赋予数据库用户权限 六.开启数据库CDC权限 ...
- Debezium系列之：使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档
Debezium系列之:使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档 一.Debezium概述 二.SQL Server 连接器的工作原理 1.Snapshot ...
- Debezium系列之：Debezium2.X之PostgreSQL数据库的Debezium连接器
Debezium系列之:Debezium2.X之PostgreSQL数据库的Debezium连接器 一.概述 二.连接器的工作原理 1.安全 2.快照 3.临时快照 4.触发临时快照 5.增量快照 6 ...
- Debezium系列之：快速了解Debezium 2.0.0.Final新的特性
Debezium系列之:快速了解Debezium 2.0.0.Final新的特性 一.对核心Debezium 的更改 1.需要 Java 11 2.改进的增量快照 3.交易元数据变化 4.多分区模式现 ...
- 【SQL开发实战技巧】系列（八）：聊聊如何插入数据时比约束更灵活的限制数据插入以及怎么一个insert语句同时插入多张表
系列文章目录 [SQL开发实战技巧]系列(一):关于SQL不得不说的那些事 [SQL开发实战技巧]系列(二):简单单表查询 [SQL开发实战技巧]系列(三):SQL排序的那些事 [SQL开发实战技巧] ...
- Debezium系列之：增加心跳检测heartbeat.interval.ms
Debezium系列之:增加心跳检测heartbeat.interval.ms 一.需求背景 二.心跳检测含义 三.增加心跳检测参数 四.查看心跳检测topic 五.修改心跳检测topic前缀 一.需 ...
- debezium系列之：Kafka Connect
debezium系列之:Kafka Connect 一.Source和Sink 二.Task和Worker 三.Kafka Connect特性 四.独立模式 1.Source连接器的用法 2.Sink ...
最新文章
- android按钮随机数,Android随机数
- 在C#代码中应用Log4Net 中配置文件的解释
- Git提交时提示“Please make sure you have the correct access rights and the repository exists.”的解决方法
- OpenCV分水岭分割函数：watershed()介绍
- cnapckSurround c++builder Region 代码折叠快捷键
- UE4官方文档毛发部分整合笔记
- matlab调和均值滤波_MatLab 自编的 均值滤波、中值滤波、高斯滤波 图像处理函数...
- 嵩天python笔记_嵩天Python学习笔记-01
- 两条波浪线符号_波浪线符号（word小技巧）
- 方文山------周杰伦御用作词
- WordPress .htaccess 安全配置15个
- Java中构造方法的案例及常用类int lenght类的使用方法举例，new实例化对象方法，静态方法实例方法的举例
- 让你的Linux支持WEB修改密码(转)
- 初始化之前使寄存器恢复缺省值的重要性
- stata里php代码,stata字符型数据如何转数值型
- OpenCV基础（3）使用OpenCV调整图像大小
- sdkman 管理开发中使用的sdk
- 韩国政府反对ICO，EOS联合创始人Brock Pierce离职 | 区块链日报
- 指数基金将嵌入百度搜索大数据 银行图谋独家代销权
- ISO OSI IOS 傻傻分不清楚【每日打卡小知识】