一、需求背景

为每个debezium connector增加心跳检测，更频繁地将当前偏移量存储在 kafka 中，从而在debezium connector重启的情况下，能够减少减少连接器重新启动时需要重新发送的更改事件的数量。

二、心跳检测含义

heartbeat.interval.ms：

心跳消息对于监视连接器是否正在从数据库接收更改事件很有用。心跳消息可能有助于减少连接器重新启动时需要重新发送的更改事件的数量。
要发送心跳消息，请将此属性设置为正整数，表示心跳消息之间的毫秒数。
这个参数一般设置在1到10秒之间

三、增加心跳检测参数

debezium connector中增加参数：

“heartbeat.interval.ms”: 10000

四、查看心跳检测topic

心跳检测topic如下所示：

__debezium-heartbeat.debezium-prod-dd_ods_nitp_prod_1h

Debezium系列之：增加心跳检测heartbeat.interval.ms相关推荐

kafka 中参数：session.timeout.ms 和 heartbeat.interval.ms的区别
文章目录 1.heartbeat.interval.ms 2.heartbeat.interval.ms 与 session.timeout.ms 的对比 3.session.timeout.ms 和 ...
Debezium系列之：使用Debezium接入PostgreSQL数据库数据到Kafka集群的详细技术文档
Debezium系列之:使用Debezium接入PostgreSQL数据库数据到Kafka集群的详细技术文档一.概述二.连接器的工作原理 1.安全 2.快照 3.Ad hoc snapshots ...
Debezium系列之：使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档
Debezium系列之:使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档一.Debezium概述二.SQL Server 连接器的工作原理 1.Snapshot ...
Debezium系列之：Debezium2.X之PostgreSQL数据库的Debezium连接器
Debezium系列之:Debezium2.X之PostgreSQL数据库的Debezium连接器一.概述二.连接器的工作原理 1.安全 2.快照 3.临时快照 4.触发临时快照 5.增量快照 6 ...
Debezium系列之：快速了解Debezium 2.0.0.Final新的特性
Debezium系列之:快速了解Debezium 2.0.0.Final新的特性一.对核心Debezium 的更改 1.需要 Java 11 2.改进的增量快照 3.交易元数据变化 4.多分区模式现 ...
Goroutine心跳检测
Goroutine心跳检测心跳检测的核心思想是,单独启动心跳协程,然后通过向协程发送数据,表示心跳. package main import ("fmt""math/r ...
【ceph】OSD心跳检测机制（前端后端网）
目录 ceph心跳机制 OSD间的心跳机制发送接收超时检测 peer OSD选择 OSD和MON间的心跳机制总结: @bandaoyu,本文随时更新,连接:https://blog.csdn. ...
hadoop : hdfs的心跳时间设置及心跳检测算法
datenode以固定周期向namenode发送心跳,namenode如果在一段时间内没有收到心跳,就会标记datenode为宕机. 此段时间的计算公式是: timeout = 2 * heartb ...
haproxy心跳检测_haproxy 非常完整的配置
常用配置选项: OPTION 选项: option httpclose :HAProxy会针对客户端的第一条请求的返回添加cookie并返回给客户端,客户端发送后续请求时会发送此cookie到HAP ...

Debezium系列之：增加心跳检测heartbeat.interval.ms

Debezium系列之：增加心跳检测heartbeat.interval.ms

一、需求背景

二、心跳检测含义

三、增加心跳检测参数

四、查看心跳检测topic

Debezium系列之：增加心跳检测heartbeat.interval.ms相关推荐

最新文章

热门文章