kafka管理神器-kafkamanager
好久没发过kafka的文章了,今天整理一下kafka-manager神器。
java环境要求
jdk8
kafkamanager源码下载
https://github.com/yahoo/kafka-manager/releases
编译
先修改sbt源,否则会报错,而且非常慢
在~/.sbt目录下增加一个文件repositories,内容如下:
, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext] ib: http://maven.ibiblio.org/maven2/ ib-ivy: http://maven.ibiblio.org/maven2/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext] mt-mdh:.sbt meitu$ pwd /Users/meitu/.sbt
修改源之后编译速度很快而且无故障。
编译是在/opt/hadoop/kafka-manager-1.3.3.18/目录下执行:
要求jdk8假如不是jdk8,可以直接指定路径:
8/bin:$PATH \JAVA_HOME=/usr/local/oracle-java-8 \ /path/to/sbt -java-home /usr/local/oracle-java-8 clean dist
最后出现
package is ready in /opt/hadoop/kafka-manager-1.3.3.18/target/universal/kafka-manager-1.3.3.18.zip [info] [success] Total time: 60 s, completed 2018-9-10 13:58:04
代表编译成功,zip生成目录是在
1.3.3.18/target/universal/kafka-manager-1.3.3.18.zip
在配置conf/application.conf 中加入zookeeper的地址,不一定是kafka的集群zk地址
"localhost:2181"
启动,不加-Dhttp.port参数默认是9000
加入java不是jdk8的话也可以单独指定jdk为jdk8
8
kafkamanager的经典作用
1. 管理多集群
2. 便捷的监控集群状态(topics,consumers,offsets,brokers,副本分布,分区分布)
3. 运行优先副本选举
4. 可以选择指定的broker去产生副本分布策略。
5. 运行分区分布策略,根据4产生的分布策略
6. 根据自定义配置创建topic
7. 删除topic,但是前提是配置kafka的delete.topic.enable=true
8. 可以选择多个topic,然后指定特定的brokers,生成分区分布策略
9. 批量运行8生成的策略
10. 增加已存在topic的分区
11. 更新已存在topic的配置
12. 加入kafka开启jmx的话,可以监控broker和topic级别的监控指标。
kafka manager图解说明
首先创建集群
接着在topic管理界面
然后就是消费者界面
主要关注的是图上所属指标,建议大家使用测试,当然非常建议按照本文操作一遍,但是不想编译或者编译不成功也可以,关联词大全在公众号恢复 1024 获取浪院长编译好的。
kafka 开启jmx的方式很简单在kafka-server-start.sh中修改如下
export JMX_PORT="9999"fi
?
当然,在这里强调一下,对于kafka集群,虽然不耗内存,也建议将kafka的堆内存设置稍微大些。当然,对于很多公司,数据量不足以触发kafka节点内存不够导致的故障。
推荐阅读:
消息队列服务Kafka揭秘:痛点、优势以及适用场景
关于Spark Streaming感知kafka动态分区的问题
Kafka源码系列之源码分析zookeeper在kafka的作用
文章来源:https://blog.csdn.net/rlnLo2pNEfx9c/article/details/82599220
转载于:https://www.cnblogs.com/wangfengxia/p/9627148.html
kafka管理神器-kafkamanager相关推荐
- Windows下编译安装kafka管理工具 kafka-manager (详细)
工具简介: kafka-manager的Github项目地址(项目功能等介绍):https://github.com/yahoo/kafka-manager A tool for managing A ...
- kafka管理器kafka-manager部署安装
参考site:https://github.com/yahoo/kafka-manager 一.功能 管理多个kafka集群 便捷的检查kafka集群状态(topics,brokers,备份分布情况, ...
- 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口)...
不多说,直接上干货! 至于为什么,要写这篇博客以及安装Kafka-manager? 问题详情 无奈于,在kafka里没有一个较好自带的web ui.启动后无法观看,并且不友好.所以,需安装一个第三方的 ...
- kafka图形化管理工具kafka-manager
本文来说下kafka图形化管理工具kafka-manager 文章目录 概述 概述
- Kafka可视化管理工具kafka-manager部署安装和使用-已更名为CMAK
一.kafka-manager 简介 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager. 这个管理工具可以 ...
- qt 获取本机的wifi密码_还在记密码?这款开源免费的账号密码管理神器赶紧收了...
工作中涉及到得账号密码,你是怎么记录得?如果是文档word或者excel记录,那么回非常麻烦,每次还得打开.如果是浏览器自己记录,如果更新密码,又记不得.尴尬! 今天大卫给大家推荐一款开源免费得账号密 ...
- TimeJot – Last Time 改名,新增中文界面、数字属性,还是那个时间线管理神器[Android]
介绍: TimeJot 原名 Last Time,小众软件在半个月前介绍过它的前身:Last Time – 不止是记录上一次,这简直就是时间线管理神器[Android],没想到几日不见,连名字都改了, ...
- 【效率】好用到爆!GitHub 星标 32.5k+的命令行软件管理神器,功能真心强大!...
前言(废话) 本来打算在公司偷偷摸摸给星球的用户写一篇编程喵整合 MongoDB 的文章,结果在通过 brew 安装 MongoDB 的时候竟然报错了.原因很简单,公司这台 Mac 上的 homebr ...
- 素材管理神器 Eagle 下载安装使用教程
素材管理神器 Eagle 下载安装使用教程 Eagle 可以轻松收集及整理设计项目的"案例.灵感.截图.图片.视频.音频.情绪板"等各种素材,激发更多创意灵感,让工作变得更有效率! ...
最新文章
- Hibernate和iBATIS 优缺点比较
- 使用idea 时出现classnotfound
- 烂泥:学习ssh之ssh无密码登陆
- THU – team project final review score
- 【网址收藏】本地VSCode编辑远程服务器文件:Remote SSH
- docker history 27f1068ca9da --no-trunc查看镜像dockerfile内容
- python笔试知识点_python知识点及面试面试大集合
- destoon代码从头到尾捋一遍
- node.js全局对象和全局变量
- 记录一次iOS11大标题不滚动的问题
- html图片加滚动文字,滚动文字、图片等html代码
- 本地离线语音识别芯片厂家盘点,哪一家实力更强
- OpenCV---直线检测
- 毕业设计 微信小程序 外卖点餐平台
- 跟着团子学SAP PS-前台篇-创建网络活动及活动关系连接 CJ20N
- Ubuntu关机重启卡死在关机动画界面
- 程序人生 - 车辆年检与费用你知道多少?
- 迪文工控触摸屏使用modbus功能
- github推送Please make sure you have the correct access rights and the repository exists.
- CSS 实现父组件半透明,子组件不透明
热门文章
- SQL Server查询死锁并KILL
- find -mtime时间算法
- ASP.NET中实现Flash与.NET的紧密集成(转,没看,有空研究一下)
- Type TIMESTAMP(6) of table field ‘ts‘ does not match with the physical type TIMESTAMP(3) of the ‘ts‘
- Google Drive的linux客户端使用(还没弄完)
- kaggle notebook在git push时附带用户民和密码(一行搞定,全部写在一行中)
- multiple versions of scala libraries detected解决方案
- 回旋矩形C语言,C语言程序设计100例之(27):回旋方阵
- mysql查询case when_【原创】关于MySQL高级查询–case when
- 去掉IntelliJ IDEA 中 mybatis 对应的 xml 文件警告