Kafka 消息队列如何保证顺序性？

主要思路：相同key值的消息写入同一个partition（partition内的消息是有序的），一个partition的消息只会被一个消费者消费。

如果一个消费者是多个线程消费，则需要把pull来的消息按照key值写入不同的内存队列中，相同key值的消息写入同一个内存队列（内存队列内的消息是有序的），然后一个线程消费一个内存队列。

1、rabbitMq
问题分析：

如图，data1 和 data2 是有顺序的，必须 data1 先执行，data2 后执行；这两个数据被不同的消费者消费到了，可能 data2 先执行，data1 后执行，这样原来的顺序就错乱了。

解决方案：

如图，在 MQ 里面创建多个 queue，同一规则的数据（对唯一标识进行 hash），有顺序的放入 MQ 的 queue 里面，消费者只取一个 queue 里面获取数据消费，这样执行的顺序是有序的。或者还是只有一个 queue 但是对应一个消费者，然后这个消费者内部用内存队列做排队，然后分发给底层不同的 worker 来处理。

2、kafka
问题分析：

如图，在 kafka 中，你对数据指定某个 key，那么这些数据会到同一个 partition 里面，在 partition 里面这些数据是有顺序的。从这里看没啥问题，插入到数据库的数据都是有序的。

但是，我们在消费端可能会使用多线程来处理，因为单线程的处理速度慢，为了加快处理时间和吞吐量，会使用 thread 来处理。在消费端加入线程之后，就会出现顺序不一致的情况。

如图，就是使用了多线程之后，数据顺序不一致情况。

在使用了多线程之后，如何来解决数据顺序问题？

如图，在消费端使用内存队列，队列里的数据使用 hash 进行分发，每个线程对应一个队列，这样可以保证数据的顺序。

3、rocketMq

如图，生产者中把 orderId 进行取模，把相同模的数据放到 messagequeue 里面，消费者消费同一个 messagequeue，只要消费者这边有序消费，那么可以保证数据被顺序消费。

4、activeMq

如图，activeMq 里面有 messageGroups 属性，可以指定 JMSXGroupID，消费者会消费指定的 JMSXGroupID。即保证了顺序性，又解决负载均衡的问题。

转自：https://www.pianshen.com/article/4100479924/

Kafka 消息队列如何保证顺序性？相关推荐

消息队列如何保证顺序性？
主要思路有两种:1.单线程消费来保证消息的顺序性:2.对消息进行编号,消费者处理时根据编号判断顺序. 1.rabbitMq 问题分析: 如图,data1 和 data2 是有顺序的,必须 data1 ...
如何保证mq的有序性_消息队列如何保证顺序性？
主要思路有两种:1.单线程消费来保证消息的顺序性:2.对消息进行编号,消费者处理时根据编号判断顺序. 1.rabbitMq 问题分析: 如图,data1 和 data2 是有顺序的,必须 data1 ...
19 kafka消息队列
文章目录 19 kafka消息队列一.kafka介绍 1.消息队列基本介绍 2.常用的消息队列介绍 3.消息队列的应用场景 4.消息队列的两种模式 5.kafka的基本介绍 6.kafka的架构介绍 ...
Kafka消息队列简介
Kafka消息队列简介 1 基本概念 Broker Kafka集群包含一个或多个服务器,这种服务器被称为broker Topic 每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic. ...
kafka 消息队列
kafka 消息队列 kafka 架构原理大数据时代来临,如果你还不知道Kafka那就真的out了!据统计,有三分之一的世界财富500强企业正在使用Kafka,包括所有TOP10旅游公司,7家TOP ...
Kafka—消息队列
Kafka-消息队列(理论部分) 一.Kafka概述 1.1.简介 kafka是一个分布式的基于发布/订阅模式的消息队列主要应用场景:大数据实时处理领域 1.2.什么是消息队列? 消息队列 = 消息 ...
kafka消息队列使用场景
一.消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构.目前使用较多的消息队列有ActiveMQ,Rabbit ...
Kafka消息队列组件简介
Kafka消息队列组件简介消息队列的工作模式消息队列的优点 Kafka架构生产者写入流程消费者组消息队列的工作模式点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除) 点对点模型通 ...
kafka消息队列的方式
kafka消息队列的方式目录概述小结: 参考资料和推荐阅读 LD is tigger forever,CG are not brothers forever, throw the pot and ...

Kafka 消息队列如何保证顺序性？

Kafka 消息队列如何保证顺序性？相关推荐

最新文章

热门文章