使用Prometheus监控RocketMQ

文章目录

配置步骤
1 安装RocketMQ Exporter
2 配置Prometheus
3 配置告警规则
4 配置grafana
- 4.1 导入模板
5 参考链接
6 关于作者

本文基于官方提供的RocketMQ Exporter来监控RocketMQ集群。可以实现以下功能：

Broker TPS/QPS的监控
消息积压监控
消费组消费演示监控

最终的Grafana面板效果图如下：

配置步骤

1 安装RocketMQ Exporter

RocketMQ官方已经提供了exporter，官方链接 https://github.com/apache/rocketmq-exporter

但官方未直接提供镜像，需要我们下载源码然后mvn package -Dmaven.test.skip=true docker:build 生成镜像，笔者已经制作好并上传至docker hub，嫌构建麻烦的同学可直接使用。

docker pull sawyerlan/rocketmq-exporter:latest # https://hub.docker.com/repository/docker/sawyerlan/rocketmq-exporter

docker run --name rocketmq-exporter --restart=always  -p 5557:5557 -d  sawyerlan/rocketmq-exporter  --rocketmq.config.namesrvAddr="172.30.0.150:9876;172.30.0.151:9876"

将上面的地址修改为你RocketMQ nameserver 的地址，笔者的nameserver有2个。

接下来可以验证下是否已经有数据了。访问 http://{{你的ip}}:5557/metrics，如下图表示正常运行

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F0JThDaZ-1624430500843)(rocketmq.assets/image-20210623131300478.png)]

2 配置Prometheus

添加一个RocketMQ监控的job，我这里采用文件发现的方式（为了保证主配置文件prometheus.yml的简洁已经便于管理，笔者都将job按文件进行分类了）。

# prometheus.yml- job_name: rocketmqfile_sd_configs:- files: - '/etc/prometheus/etc.d/job_rocketmq.yaml'
# job_rocketmq.yaml
---
- targets: ['172.33.0.33:5557']labels:project: baiduinstance: 172.33.1.150:9876 # 这里加了一个标签方便检索app: rocketmqenv: pro

reload 你的Prometheus使配置生效

curl -X POST http:/localhost:9090/-/reload

后续如果还有新的mq需要加入，只需要在job_rocketmq.yaml 添加即可，Prometheus会自动发现，不需要重启。

3 配置告警规则

笔者将RocketMQ的告警规则独立成了一个文件，如下

# rules_rocketmq.yml
groups:
- name: rocketmqrules:- alert: RocketMQ Exporter is Down expr: up{job="rocketmq"} == 0for: 20slabels: severity: '灾难'annotations:summary: RocketMQ {{ $labels.instance }} is down- alert: RocketMQ 存在消息积压expr: (sum(irate(rocketmq_producer_offset[1m])) by (topic)  - on(topic) group_right sum(irate(rocketmq_consumer_offset[1m])) by (group,topic)) > 5for: 5mlabels: severity: '警告'annotations:summary: RocketMQ (group={{ $labels.group }} topic={{ $labels.topic }})积压数 = {{ .Value }}- alert: GroupGetLatencyByStoretime 消费组的消费延时时间过高expr: rocketmq_group_get_latency_by_storetime/1000  > 5 and rate(rocketmq_group_get_latency_by_storetime[5m]) >0for: 3mlabels:severity: 警告annotations:description: 'consumer {{$labels.group}} on {{$labels.broker}}, {{$labels.topic}} consume time lag behind message store timeand (behind value is {{$value}}).'summary: 消费组的消费延时时间过高- alert: RocketMQClusterProduceHigh 集群TPS > 20expr: sum(rocketmq_producer_tps) by (cluster) >= 20for: 3mlabels:severity: 警告annotations:description: '{{$labels.cluster}} Sending tps too high. now TPS = {{ .Value }}'summary: cluster send tps too high

添加为后需要在你的prometheus.yml 加入此规则文件。

# 笔者的prometheus.yml会通配规则文件，只需要将规则文件放在该目录即可
rule_files:- 'rules/*.yml'- 'rules/*.yaml'

reload 使配置生效

curl -X POST http::/localhost:9090/-/reload

4 配置grafana

grafana的配置较为繁琐，文中的面板已经开源，可以在grafana官网下载该面板。https://grafana.com/grafana/dashboards/14612

4.1 导入模板

5 参考链接

笔者在实际部署过程中也是参考以下文章，感谢！如果想深入学习的同学可以前往。

基于RocketMQ Prometheus Exporter 打造定制化DevOps平台-InfoQ

6 关于作者

如有收货，可以通过关注公众号