Kafka的rebalance

rebalance是一种协议，它规定了消费组consumer group下所有的consumer如何使用topic相关的分区。

1.触发rebalance条件：

（1）组内成员发生变更；

（2）订阅topic发生变更；

（3）topic关联的分区数发生变更。

2.rebalance决策者

coordinator，按照一定算法产生的broker。

3.五种协议

（1）Heartbeat请求：consumer需要定期给coordinator发送心跳来表明自己还活着；

（2）LeaveGroup请求：主动告诉coordinator我要离开consumer group；

（3）SyncGroup请求：group leader把分配方案告诉组内所有成员；

（4）JoinGroup请求：成员请求加入组；

（5）DescribeGroup请求：显示组的所有信息，包括成员信息，协议名称，分配方案，订阅信息等。通常该请求是给管理员使用。

4.rebalance执行

（1）Join:即各个consumer向coordinator发送JoinGroup请求，由coordinator指定一个消费组leader，leader需要制定topic关联的分区分配方案；

（2）Sync：coordinator会将分配方案封装为SyncGroup响应发给每个consumer。

5.offset提交

consumer会将offset写请求发送给coordinator，响应成功后，表明offset提交成功。当发生rebalance时，coordinator会发给consumer心跳响应表明已经发生rebalance，consumer需重新提交offset写入请求。

Kafka的rebalance相关推荐

【Kafka】Kafka的Rebalance机制可能造成的影响及解决方案
一.kafka的rebalance机制在Kafka中,当有新消费者加入或者订阅的Topic数发生变化时,会触发Rebalance(再均衡:在同一个消费者组当中,分区的所有权从一个消费者转移到另外一个 ...
Kafka触发Rebalance的场景分析
文章目录前言触发Rebalance的原因 1. 消费者成员发生变化 2. 分区数发生变化 3. 订阅Topic发生变化 Rebalance全流程介绍场景一:新成员入组场景二:成员主动离组场景 ...
kafka的Rebalance问题分析(续)
1. 什么是kafka的Rebalance kafka集群模式下,一个topic有多个partition,对于消费端,可以有多个consumer同时消费这些partition.为了保证大体上parti ...
Kafka Consumer Rebalance详解
全网最全大数据面试提升手册! 文章目录 Kafka版本 rebalance rebalance策略 rebalance generation rebalance协议 rebalance流程 rebal ...
kafka一直rebalance故障，重复消费
今天我司线上kafka消息代理出现错误日志,异常rebalance,而且平均间隔2到3分钟就会rebalance一次,分析日志发现比较严重.错误日志如下 08-09 11:01:11 131 pool ...
Kafka的rebalance机制
这是针对Kafka的消费者的机制,以下场景将发生rebalance: 消费者组新增消费实例或者有消费实例退出group: group消费超时: group订阅的topic个数发生变化: group订阅 ...
【kafka】记一次线上kafka一直rebalance故障消费慢数据积压
文章目录 1.背景 2. 分析问题 3.分析原因 4.拉取偏移量与提交偏移量 5.解决方案 5.1.增加max.poll.interval.ms处理时长 5.2设置分区拉取阈值 5.3.poll到的消 ...
kafka消费者Rebalance机制
目录 1.Rebalance机制 2.消费者Rebalance分区分配策略 3.Rebalance过程 1.Rebalance机制 rebalance就是说如果消费组里的消费者数量有变化或消费的分区数 ...
Kafka突发rebalance
Kafka 是我们最常用的消息队列,它那几万.甚至几十万的处理速度让我们为之欣喜若狂.但是随着使用场景的增加,我们遇到的问题也越来越多,其中一个经常遇到的问题就是:rebalance(重平衡)问题. ...
kafka之rebalance
一.什么是 Rebalance 分区的所有权从一个消费者转移到另一个消费者,这样的行为被称为重平衡(Rebalance). Rebalance 实现了消费者群组的高可用性和伸缩性. 消费者通过向被指派 ...

Kafka的rebalance

Kafka的rebalance相关推荐

最新文章

热门文章