消息消费积压问题排查实战

问题描述

在 RocketMQ 消息消费方面一个最常见的问题是消息积压，其现象如下图所示：

所谓的消息积压：就是 Broker 端当前队列有效数据最大的偏移量（brokerOffset）与消息消费端的当前处理进度（consumerOffset）之间的差值，即表示当前需要消费但没有消费的消息。

问题分析与解决方案

项目组遇到消息积压问题通常第一时间都会怀疑是 RocketMQ Broker 的问题，会第一时间联系到消息中间件的负责，消息中间件负责人当然会首先排查 Broker 端的异常，但根据笔者的境遇，此种情况通常是消费端的问题，反而是消息发送遇到的问题更有可能是 Broker 端的问题，当然笔者也有方法进行举证，服务端的诊断方法稍后会给出，这里基本可以采用类比法，因为一个 Topic 通常会被多个消费端订阅，我们只要看看其他消费组是否也积压，例如如下图所示：

消息消费积压问题排查实战相关推荐

kafka实战篇（二）：消息消费实战
写在前面:我是「且听风吟」,目前是某上市游戏公司的大数据开发工程师,热爱大数据开源技术,喜欢分享自己的所学所悟,现阶段正在从头梳理大数据体系的知识,以后将会把时间重点放在Spark和Flink上面. ...
记录Rocketmq定时消息不消费问题的排查过程
记录Rocketmq定时消息不消费问题的排查过程写在前面问题根源初步确认问题根源再次确认. 了解rocketmq定时消息原理以及处理过程. 源码调试结论求证后记写在前面此本记录了一个项目 ...
消息队列的消息大量积压怎么办
目录消息积压简介生产端消费端已经消息积压,如何处理总结注意:本文参考消息队列的消息大量积压怎么办?_JavaEdge.的博客-CSDN博客_消息队列积压了大量消息怎么处理消息积压简介 ...
消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？大量消息持续积压几个小时，怎么办？...
消息积压处理办法1:临时紧急扩容先修复consumer的问题,确保其恢复消费速度,然后将现有consumer都停掉.新建一个topic,partition是原来的10倍,临时建立好原先10倍的que ...
rocketmq存储消息mysql_RocketMQ消息消费以及进度管理解析
最近 ONS 消息堆积的很严重,并且经常发现部分几乎没有消息消费的消费者也提示堆积,所以有必要深入了解一下 RocketMQ 的设计思路,来看看堆积量如何计算,以及如何正确的使用 Topic 以及 C ...
消息持续积压几小时怎么办
大量消息在mq里积压了几个小时了还没解决几千万条数据在MQ里积压了七八个小时,最简单的方法可以让他恢复消费速度,然后等待几个小时消费完毕. 一个消费者一秒是1000条,一秒3个消费者是3000条 ...
mq中消息消费的几种方式
mq系列文章本章内容从消费者的角度出发,分析一下消息消费的两种方式: push方式 pull方式 push方式消息消费的过程: mq接收到消息 mq主动将消息推送给消费者(消费者需提供一个消费接 ...
RocketMQ消息消费方式推拉模式
RocketMQ消息消费本质上是基于的拉(pull)模式,consumer主动向消息服务器broker拉取消息. consumer被分为2类:MQPullConsumer和MQPushConsumer ...
谈谈mq消息消费的几种方式
mq系列文章对mq了解不是很多的,可以看一下下面两篇文章: 聊聊mq的使用场景聊聊业务系统中投递消息到mq的几种方式聊聊消息消费的几种方式如何确保消息至少消费一次如何保证消息消费的幂等性本 ...

消息消费积压问题排查实战

问题描述

问题分析与解决方案

消息消费积压问题排查实战相关推荐

最新文章

热门文章