Kafka rebalance 的几种原因与解决方案

网上有很多文章讲述 Kafka rebalance 的原理，本文是列举常见的几种 rebalance 场景：

如果一个 consumer 刚启动，则会向 broker 发送 JoinGroup 请求，加入 group ，被分配一个 member id ，触发一次 rebalance 。
如果一个 consumer 终止，不再运行。则等到 Heartbeat 超时，broker 会认为该 consumer 下线，触发一次 rebalance 。
上述 consumer 启动、终止的情况通常不频繁，可以容忍它触发 rebalance 。但有的情况下，consumer 会频繁启动、终止，比如被 k8s HPA 改变 consumer 数量。
- 解决方案：额外开发一个应用，称为 dispatcher ，让它作为唯一的 consumer 连接到 broker ，获取消息。而原本的应用连接到 dispatcher ，间接获取消息。
- 使用 dispatcher 还能解决另一个问题：group 中的 consumer 数量，大于当前 topic 的 partition 数量，导致部分 consumer 空闲、不能消费。
如果一个 consumer 终止，然后又重启。则不记得自己之前的 member id ，依然会发送 JoinGroup 请求，加入 group ，被分配一个新的 member id ，触发一次 rebalance 。
- 而旧的 member id 不再使用，等到 Heartbeat 超时，又会触发一次 rebalance 。因此 consumer 重启时会触发两次 rebalance 。
- 解决方案：Kafka v2.3 开始，consumer 增加了配置参数 group.instance.id ，用于避免 consumer 重启时触发 rebalance 。
  - 给该参数赋值为非空字符串时，consumer 会从默认的 Dynamic Member 类型变成 Static Member 类型，并采用该参数的值作为 client.id。
    当 consumer 重启之后发送 JoinGroup 请求时，Coordinator 会识别出它是 Static Member ，属于 rejoin ，因此分配一个新 member id ，并删除旧的 member id 。
    这样不会触发 rebalance ，除非 consumer 重启太慢，导致 Heartbeat 超时。
  - 日志示例：
```
INFO   [GroupCoordinator 1]: Static member Some(static_member_1) of group test_group_1 with unknown member id rejoins, assigning new member id static_member_1-cdf1c4ea-2f1c-4f4d-bc46-bf443e5f7322, while old member id static_member_1-8b5d89b3-0757-4441-aeaa-50e7f9f55cee will be removed.
INFO    [GroupCoordinator 1]: Static member which joins during Stable stage and doesn't affect selectProtocol will not trigger rebalance.
```
  - 如果一个 group 中只运行了一个 consumer ，则用户手动配置一个固定的 group.instance.id 即可。
  - 如果一个 group 中运行了多个 consumer ，则用户需要在客户端增加一些代码，自动给每个 consumer 配置一个互不相同的、持久不变的 group.instance.id 。
如果一个 consumer 消费太慢，连续调用 poll() 的间隔超过 max.poll.interval.ms ，则会导致 Heartbeat 超时，触发 rebalance 。
- 解决方案：增加 max.poll.interval.ms ，或者优化 consumer 客户端代码，比如减少每次拉取的数据量从而减少消费耗时、从同步消费改为异步消费。

Kafka rebalance 的几种原因与解决方案相关推荐

java.lang.NullPointerException出现的几种原因及解决方案
java.lang.NullPointerException是java编程中最常见的异常之一.任何使用java的人都有在java程序以及java web应用程序中看到java.lang.NullPoi ...
电脑开机就黑屏的几种原因以及解决方案
电脑一开机就黑屏的原因有哪些,分别怎么解决一般来说,电脑一开机就黑屏也分两种第一种是屏幕完全黑的,造成这种现象的原因有以下几种 1.内存接触不良这种情况我们一般是先将内存条取下来清理内存条跟主板 ...
表格无法无法计算机,无法打开Excel表的几种原因的解决方案
有人总是报告无法打开excel表单,但是其他Excel表单却可以打开,非常沮丧,那么如果无法打开excel表单怎么办,今天,seo实验室的编辑教您无法使用excel表单由于多种原因无法打开解决方案. ...
vs报错“错误 LNK2019 无法解析的外部符号”的几种原因及解决方案
运行vs程序的时候,报错严重性代码说明项目文件行禁止显示状态错误 LNK2019 无法解析的外部符号 "__declspec(dllimport) public: void ...
电脑显示屏不亮但是主机已开机？5种原因以及解决方案
电脑与我们的日常生活和工作密切相关,缺了它我们工作就很难正常展开.电脑使用久了,难免出现一些小问题,比如:电脑显示屏不亮但是主机已开机,这是什么原因造成的?我们应该怎么处理? 可能很多人无从下手,但是 ...
eclipse安装后，出现“can not create the java virtual machine”错误的另一种原因和解决方案
最近遇到了"can not create the java virtual machine"的错误,经过网上查阅,大多数答案为原因1: 原因1:系统当前内存不足,无法启动: 也有人 ...
神经网络训练不稳定问题（loss和accuracy波动大）的一种原因及解决方案
用LSTM做时间序列预测时发现训练刚开始时loss(MSE)下降很快,accuracy(调整R方)上升也很快,但到后面loss总体上下降变慢,并且时有波动,accuracy甚至会经常出现负值,然后又回 ...
Kafka中产生数据积压的原因以及解决方案
Kafka中产生数据积压的原因以及解决方案 1.kafka中数据积压的原因 kafka作为消息队列,其中数据积压也是经常遇到的问题之一.我们都知道,数据积压的直接原因,一定是系统中的某个部分出现了性能 ...
javaheapspace解决方案_高手总结的9种 OOM 常见原因及解决方案
当 JVM 内存严重不足时,就会抛出 java.lang.OutOfMemoryError 错误.本文总结了常见的 OOM 原因及其解决方法,如下图所示.如有遗漏或错误,欢迎补充指正. 1.Java ...

Kafka rebalance 的几种原因与解决方案

Kafka rebalance 的几种原因与解决方案相关推荐

最新文章

热门文章