kafka Monitor

监测Kafka集群状态
Topic、Consumer Group列表
图形化展示 topic 和 consumer 之间的关系
图形化展示 consumer 的 Offset、Lag 等信息

Kafka Offset Monitor

https://github.com/quantifind/KafkaOffsetMonitor
KafkaOffsetMonitor:程序一个jar包的形式运行,部署较为方便。只有监控功能,使用起来也较为安全。

执行格式:

java -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage kafka \
--zk zk-server1,zk-server2 \
--port 8090 \
--refresh 10.seconds \
--retain 2.days

offsetStorage 目前只支持 kaka,zk 按照host1:port1,host2:port2… 的格式去写即可;

port为开启web界面的端口号refresh为刷新时间retain为数据保留时间(单位seconds, minutes, hours, days)

示例:

# cat start.sh
# !/bin/sh
echo "KafkaOffsetMonitor starting"
nohup java -cp KafkaOffsetMonitor-assembly-0.3.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --offsetStorage kafka --zk zoo1:2181,zoo2:2181,zoo3:2181 --port 8090 --refresh 10.seconds --retain 1.days > /dev/null 2>&1 &

正式线测试访问:

http://17.16.1.45:8090/#/clusterviz

转载于:https://www.cnblogs.com/sharesdk/p/7866039.html

Kafka-Monitor相关推荐

  1. LinkedIn 详细介绍了他们开源的 Kafka Monitor

    在2016年4月份举行的Kafka峰会上,LinkedIn在Apache 2.0许可协议下开源了Kafka Monitor,并于近日详细介绍了该监控工具的架构以及他们最初的构建动机.在年初的时候,Li ...

  2. 2021年大数据Kafka(六):❤️安装Kafka-Eagle❤️

    全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 安装Kafka-Eagle 一.Kafka-eagle基本介 ...

  3. DataPipeline |《Apache Kafka实战》作者胡夕:Apache Kafka监控与调优

    胡夕,<Apache Kafka实战>作者,北航计算机硕士毕业,现任某互金公司计算平台总监,曾就职于IBM.搜狗.微博等公司.国内活跃的Kafka代码贡献者. 前言 虽然目前Apache ...

  4. Kafka万亿级消息实战

    作者:vivo互联网服务器团队-Yang Yijun 一.Kafka应用 本文主要总结当Kafka集群流量达到 万亿级记录/天或者十万亿级记录/天  甚至更高后,我们需要具备哪些能力才能保障集群高可用 ...

  5. 消息中间件选型分析 —— 从 Kafka 与 RabbitMQ 的对比来看全局

    一.前言 二.各类消息队列简述 三.选型要点概述 四.消息中间件选型误区探讨 一.前言 消息队列中间件(简称消息中间件)是指利用高效可靠的消息传递机制进行与平台无关的数据交流,并基于数据通信来进行分布 ...

  6. mysql数据实时同步:Canal安装部署、kafka安装、zk安装、mysql安装、Canal Server+Canal Client HA,Canal+mysql+Kafka,相关验证(学习笔记)

    目录 Canal安装部署 1.1. 服务器准备 1.2. 设置主机名并配置hosts 1.3. 免密设置 1.4. 设置ntp时间 1.5. 关闭防火墙 1.6. 关闭selinux 1.7. 安装J ...

  7. 消息中间件选型分析——从Kafka与RabbitMQ的对比来看全局

    本文收录于InfoQ,未经允许不得转载. 欢迎跳转到本文原文:https://honeypps.com/mq/kafka-vs-rabbitmq/ 一.前言 消息队列中间件(简称消息中间件)是指利用高 ...

  8. Kafka监控架构设计

    欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...

  9. Kafka端到端审计

    欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...

  10. kafka消息消费有延迟_消息中间件选型分析---从Kafka与RabbitMQ的对比来看全局

    有很多网友留言:公司要做消息中间件选型,该如何选?你觉得哪个比较好?消息选型的确是一个大论题,实则说来话长的事情又如何长话短说.对此笔者专门撰稿一篇内功心法:如何看待消息中间件的选型,不过这篇只表其意 ...

最新文章

  1. python ord()与chr()用法以及区别
  2. python如何进行数据抓取_如何进行手机APP的数据爬取?
  3. 回溯法实现n份作业分配给n个人完成的问题
  4. 01两数之和(哈希表)
  5. 从ICLR 2020、AAAI 2020看对话系统近期研究进展
  6. Spring Boot(二)应用实例
  7. memcached全面剖析 –3.memcached的删除机制和发展方向
  8. 《iVX 高仿美团APP制作移动端完整项目》02 搜索、搜索提示及类别需求分析思路及制作流程
  9. java 字符串拆分成单个字符放到 list 集合
  10. java生日正则表达式_Java语言十五讲
  11. html如何修改字体黑体,css如何设置黑体样式?
  12. HTML+CSS实战:做一个京东登录页面
  13. c语言酒店信息管理实训作业,c语言实训报告宿舍管理系统.docx
  14. Ribbon界面开发总结
  15. html消除冒泡,取消冒泡.html
  16. Form表单验证神器: BootstrapValidator常见的坑,input框的value值改变二次验证不了?
  17. 【JAVA】文件储存——File
  18. USB数据线厂家加工生产流程
  19. 用Python做命令行地址簿
  20. 成为金融级数据库,腾讯TDSQL 的底气是什么?

热门文章

  1. Egret note
  2. css语法和JS语法的对比
  3. RDLC报表系列(二) 行分组
  4. 不做旁观者,给博主最有力的支持——博客之星评选,期待您的支持,谢谢路过的朋友投上您宝贵的一票...
  5. Keywords: Flash( Scaleform ) UI
  6. 将COM+ Events进行到底[转]
  7. 12 | 套路篇:CPU 性能优化的几个思路
  8. Linux 系统中的权限管理
  9. 2021云栖大会,打卡IoT最全攻略
  10. 阿里云边缘云,驱动行业新价值