Kafka中的消费者组（Consumer Group）

1. 消费者组（Consumer Group）

消费者组是Kafka实现单播和广播两种消息模型的手段。同一个topic，每个消费者组都可以拿到相同的全部数据。

1.1 消费者多于分区数

创建一个用于测试的单分区topic test

设置consumer.properties文件

将consumer.properties文件中的group id命名为group1，方便后续测试。

在group1中启动两个消费者

此时，消费者的数量大于分区的数量。

测试消费者消费数据的情况

使用生产者生产数据，可以得到两个消费者消费数据的情况，如下：

这说明：同一个分区内的消息只能被同一个组中的一个消费者消费，当消费者数量多于分区数量时，多于的消费者空闲（不能消费数据）。

1.2 消费者少于和等于分区数

创建一个三分区的topic test2

首先在group1中启动两个消费者

此时，消费者的数量小于分区的数量

测试消费者消费数据的情况

这说明：当分区数多于消费者数的时候，有的消费者对应多个分区。

在group1中启动三个消费者并测试

这说明：当分区数等于消费者数的时候，每个消费者对应一个分区。

1.3 多个消费者组

命名一个新的消费者组

启动消费者消费数据

这说明：启动多个组，相同的数据会被不同组的消费者消费多次。

Kafka中的消费者组（Consumer Group）相关推荐

消费者组consumer group详解-Kafka从入门到精通（九）
上篇文章说了,kafka可以通过实现partitioner自定义分区,producer拦截器,拦截器是在producer发送消息之后,回调之前调用,里面主要重写两个方法,一个是onSend,可以重新定 ...
消费者组 Consumer Group 和重平衡 Rebalance
kafka设计了consumer group: 具有可扩展性和容错性的consumer机制,consumer group有3个特性: 1. Consumer Group 下可以有一个或多个 Consu ...
【Kafka】消费者组 Consumer Group（三）
文章目录一.概念二.创建Topic 三.开启3个Consumer的消费者组Group (分区数量1 < 消费者数量3) 3.1 结论一:一个分区Partition只能被一个消费者抢占.(组内 ...
Kafka中的消费者组(group)
1.kafka的发布-订阅模式和队列模式可通过消费者组实现,如果所有消费者都在一个消费者组里则是队列模式,如果所有消费者分布在不同组中则是发布-订阅模式. 2.队列模式下,允许消费者组中多个 ...
kafka 主动消费_Kafka消费组(consumer group)
在开始之前,我想花一点时间先来明确一些概念和术语,这会极大地方便我们下面的讨论.另外请原谅这文章有点长,毕竟要讨论的东西很多,虽然已然删除了很多太过细节的东西. 一. 误区澄清与概念明确 1 Kafk ...
Kafka设计解析（十三）Kafka消费组(consumer group)
转载自 huxihx,原文链接 Kafka消费组(consumer group) 一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少.最近Kafka ...
Kafka消费组(consumer group)(转）
转载自:http://www.cnblogs.com/huxi2b/p/6223228.html 一直以来都想写一点关于kafka consumer的东西,特别是关于新版consumer的中文资料很少 ...
kafka 分组消费topic_Kafka消费组(consumer group)(转）
在开始之前,我想花一点时间先来明确一些概念和术语,这会极大地方便我们下面的讨论.另外请原谅这文章有点长,毕竟要讨论的东西很多,虽然已然删除了很多太过细节的东西. 一. 误区澄清与概念明确 1 Kafk ...
Kafka消费组(consumer group)
原文出处:https://www.cnblogs.com/huxi2b/p/6223228.html 转载请注明出处. ---------------------------------------- ...

Kafka中的消费者组（Consumer Group）

Kafka中的消费者组（Consumer Group）相关推荐

最新文章

热门文章