kafka创建topic命令_0748-5.14.4-Kafka的扩容和缩容
文档编写目的
在Kafka集群资源使用已超出系统配置的资源时,或者有大量资源闲置造成资源浪费的时候,需要分别通过扩容Kafka和缩容Kafka来进行调整。本篇文章Fayson主要介绍如何进行Kafka的扩容和缩容,以及变更后的Kafka集群如何进行负载均衡的操作。
- 测试环境:
1.Redhat7.2
2.采用root用户操作
3.CM为5.16.2,CDH为5.14.4
4.Kafka版本为0.10.2
5.集群启用了Kerberos,Kafka未启用Kerberos和Sentry
Kafka集群的扩容
2.1 当前Kafka集群状态
集群中有3个kafka broker
![](/assets/blank.gif)
有2个topic,分别为test和test1,情况如下
![](/assets/blank.gif)
![](/assets/blank.gif)
2.2 扩容前准备
新扩容的机器要先加入集群中,通过CM管理,按照下面的步骤进行操作
1.修改新添加的机器的hostname
[root@hadoop6 ~]# hostnamectl set-hostname cdh04.hadoop.com
![](/assets/blank.gif)
2.修改/etc/hosts文件并同步到所有节点,这里用脚本来实现。
192.168.0.204 cdh01.hadoop.com cdh01192.168.0.205 cdh02.hadoop.com cdh02192.168.0.206 cdh03.hadoop.com cdh03192.168.0.195 cdh04.hadoop.com cdh04
![](/assets/blank.gif)
![](/assets/blank.gif)
3.新添加的节点关闭防火墙,设置开机自动关闭
[root@cdh04 ~]# systemctl stop firewalld[root@cdh04 ~]# systemctl disable firewalld
![](/assets/blank.gif)
4.新添加的节点禁用SELinux,并修改修改/etc/selinux/config
[root@cdh04 ~]# setenforce 0setenforce: SELinux is disabled[root@cdh04 ~]# vim /etc/selinux/config
![](/assets/blank.gif)
5.新添加的节点关闭透明大页面,并且在/etc/rc.d/rc.local 里面加入脚本,设置自动开机关闭。
[root@cdh04 ~]# echo never > /sys/kernel/mm/transparent_hugepage/defrag[root@cdh04 ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled[root@cdh04 ~]# vim /etc/rc.d/rc.localif test -f /sys/kernel/mm/transparent_hugepage/defragthen echo never > /sys/kernel/mm/transparent_hugepage/defragfiif test -f /sys/kernel/mm/transparent_hugepage/enabledthen echo never > /sys/kernel/mm/transparent_hugepage/enabledfi
![](/assets/blank.gif)
[root@cdh04 ~]# chmod +x /etc/rc.d/rc.local
6.新添加的节点设置SWAP,并且设置开机自动更改
[root@cdh04 ~]# sysctl vm.swappiness=1vm.swappiness = 1[root@cdh04 ~]# echo vm.swappiness = 1 >> /etc/sysctl.conf
![](/assets/blank.gif)
7.新添加的节点配置时钟同步,先在所有服务器卸载chrony,再安装ntp,再修改配置把时钟同步跟其他kafka broker节点保持一致
[root@cdh04 ~]# yum -y remove chrony[root@cdh04 ~]# yum -y install ntp
![](/assets/blank.gif)
vim /etc/ntp.conf
![](/assets/blank.gif)
启动ntp服务,并设置开机启动
[root@cdh04 java]# systemctl start ntpd[root@cdh04 java]# systemctl enable ntpd
8.新添加的节点安装kerberos客户端,并进行配置
[root@cdh04 ~]# yum -y install krb5-libs krb5-workstation
![](/assets/blank.gif)
从其他节点拷贝/etc/krb5.conf文件到新节点
![](/assets/blank.gif)
9.从其他节点拷贝集群使用的JDK到新节点/usr/java目录下
[root@cdh01 java]# scp -r jdk1.8.0_131/ cdh04:/usr/java/jdk1.8.0_131/
![](/assets/blank.gif)
10.在CM编辑主机模板kafka,只添加kafka broker角色
![](/assets/blank.gif)
2.3 扩容Kafka
1.添加新的节点到集群,从CM主页点击Add Hosts,如下图所示
![](/assets/blank.gif)
2.点击继续
![](/assets/blank.gif)
3.搜索主机,输入主机名,点击搜索并继续
![](/assets/blank.gif)
![](/assets/blank.gif)
4.输入自定义存储库地址,并继续
![](/assets/blank.gif)
5.点击安装JDK并继续
![](/assets/blank.gif)
6.输入主机密码并继续
![](/assets/blank.gif)
7.正在进行安装,安装成功后点击继续
![](/assets/blank.gif)
![](/assets/blank.gif)
![](/assets/blank.gif)
激活完成,点击继续
![](/assets/blank.gif)
8.点击继续,进入主机检查,添加主机完成
![](/assets/blank.gif)
9.应用主机模板kafka,扩容完成
![](/assets/blank.gif)
![](/assets/blank.gif)
扩容完成
![](/assets/blank.gif)
扩容后平衡
在扩容完成后,可以通过自带的命令来生成topic的平衡策略和执行平衡的操作。
3.1 生成平衡策略
1.查询当前创建的topic
[root@cdh01 ~]# kafka-topics --list --zookeeper cdh01.hadoop.com:2181
![](/assets/blank.gif)
2.按照查询到的topic来创建文件topics-to-move.json 格式如下
{"topics": [{"topic": "test"},{"topic": "test1"} ],"version":1}
![](/assets/blank.gif)
3.在CM查询kafka broker的ID
![](/assets/blank.gif)
4.用命令生成迁移方案,下面画红框的就是生成的平衡方案
kafka-reassign-partitions --zookeeper cdh01.hadoop.com:2181 --topics-to-move-json-file topics-to-move.json --broker-list "121,124,125,126" --generate
![](/assets/blank.gif)
5.把Proposed partition reassignment configuration下的内容复制保存为json文件newkafka.json,平衡方案生成完成。
![](/assets/blank.gif)
3.2 执行平衡策略
1.执行下面的命令来进行平衡
[root@cdh01 ~]# kafka-reassign-partitions --zookeeper cdh01.hadoop.com:2181 --reassignment-json-file newkafka.json --execute
![](/assets/blank.gif)
2.用下面命令来进行查看执行的进度
kafka-reassign-partitions --zookeeper cdh01.hadoop.com:2181 --reassignment-json-file newkafka.json --verify
![](/assets/blank.gif)
从结果可以看到已经执行完成。,并且在新添加的节点上也可以看到有topic的副本存过来了。
![](/assets/blank.gif)
缩容前的准备
1.编辑之前创建的topics-to-move.json文件,添加上系统自动生成的__consumer_offsets
[root@cdh01 ~]# vim topics-to-move.json {"topics": [{"topic": "test"},{"topic": "__consumer_offsets"},{"topic": "test1"} ],"version":1}
![](/assets/blank.gif)
2.再次使用命令生成迁移计划,这里只选取121,124,126这三个broker,然后把生成计划中的126替换成125进行保存,这样就把126上的数据全部迁移到了125上。
kafka-reassign-partitions --zookeeper cdh01.hadoop.com:2181 --topics-to-move-json-file topics-to-move.json --broker-list "121,124,126" --generate
![](/assets/blank.gif)
![](/assets/blank.gif)
3.执行迁移命令,进行迁移
kafka-reassign-partitions --zookeeper cdh01.hadoop.com:2181 --reassignment-json-file newkafka.json --execute
![](/assets/blank.gif)
4.进行查询,迁移完成
kafka-reassign-partitions --zookeeper cdh01.hadoop.com:2181 --reassignment-json-file newkafka.json --verify
![](/assets/blank.gif)
5.在要删除的broker上也可以看到,topic数据已经迁移走
![](/assets/blank.gif)
Kafka集群的缩容
在完成上诉缩容前的准备后,现在可以进行kafka集群的缩容。
1.从CM进入Kafka的实例界面
![](/assets/blank.gif)
2.勾选要删除的broker,先停止该broker
![](/assets/blank.gif)
3.停止完成后,进行删除
![](/assets/blank.gif)
删除完成。
![](/assets/blank.gif)
总结
1.Kafka集群的扩容和缩容可以通过CM来进行添加broker和删除broker来进行。
2.在Kafka集群扩容后,已有topic的partition不会自动均衡到新的磁盘上。可以通过kafka-reassign-partitions命令来进行数据平衡,先用命令生成平衡方案,再执行。也可以手动编辑迁移方案来进行执行。
3.新建topic的partition, 会以磁盘为单位,按照partition数量最少的来落盘。
4.在Kafka缩容前,需要把要删除的broker上的topic数据迁出,也可以通过kafka-reassign-partitions来进行迁移,手动编辑迁移方案,再通过命令执行即可。
5.kafka-reassign-partitions这个命令,只有指定了broker id上的topic才会参与partition的reassign。根据我们的需求,可以手动来编写和修改迁移计划。
kafka创建topic命令_0748-5.14.4-Kafka的扩容和缩容相关推荐
- kafka创建topic命令
- 【kafka】kafka创建topic如何确定分区,如何计算kafka机器台数
1.创建test topic 单分区 bin/kafka-topics.sh --create --replication-factor 2 --partitions 1 --topic test - ...
- kafka创建topic报错
kafka创建topic报错 kafka-topics.sh \ --zookeeper mypc01:2181,mypc02:2181,mypc03:2181/kafka-2020 \ --crea ...
- Kafka创建Topic出现replication factor: 2 larger than available brokers: 0 减少replication factor还是出现错误的解决办法
Kafka创建Topic出现replication factor: 2 larger than available brokers: 0 减少replication factor还是出现错误的解决办法 ...
- Kafka节点扩容、缩容后reassign partition
文章目录 简介 kafka-reassign-partitions使用 简介 kafka节点扩容.缩容后,需要reassign partition replica, kafka-reassign-pa ...
- redis集群扩容和缩容_Redis一站式管理平台,支持集群的创建、管理、监控和报警...
redis是一个开源的key value存储系统,受到了广大互联网公司的青睐.redis3.0版本之前只支持单例模式,在3.0版本及以后才支持集群,我这里用的是redis3.0.0版本: redis集 ...
- kafka创建topic出现Replication factor: 1 larger than available brokers: 0.
项目场景: 安装好kafka之后, 准备建立一个topic出现Replication factor: 1 larger than available brokers: 0. 问题描述: 在安装好kaf ...
- kafka创建Topic出现的问题
replication factor: 3 larger than available brokers: 1 [2018-12-15 07:25:43,621] ERROR org.apache.ka ...
- kafka创建Topic的一道面试题
当你使用kafka-topics.sh创建(删除)了一个topic之后,Kafka背后会执行什么逻辑? 1)会在zookeeper中的/brokers/topics节点下创建一个新的topic节点,如 ...
最新文章
- php中的单引号与双引号详解
- 一起学nRF51xx 9 - pwm
- 被人画是怎样一种体验?
- 中国火锅对话农民丰收节交易会·万祥军:谋定餐调产业链
- 搭建你的嵌入式Vxworks开发环境
- Linux单用户下提示权限不够,Linux_/dev/null 权限不足,/dev/null文件设备的权限不对, - phpStudy...
- apache mediawiki 安装_MediaWiki初探:安装及使用入门
- 【leetcode_easy】538. Convert BST to Greater Tree
- 设置smtp服务器信息,SMTP服务器设置(IIS6.0)
- vbs脚本的基本使用
- Android辅助服务禁用组件,每次调试运行时都禁用辅助功能服务
- wxid转微信号软件执行代码。
- x%3e=y%3e=z的c语言表达式,我的C语学习笔记-C语言教程(三).doc
- 阿里云Centos系统下部署静态前端页面
- 动漫培训学费一般多少钱
- 股市的交易日(动态规划算法)
- 集合间的映射和集合的势
- 暴力破解周边Wi-Fi密码
- Kali Linux 下载、引导、安装
- 洛谷 P1481 魔族密码
热门文章
- node process.env.NODE_ENV 使用 cross-env 配置 设置
- Centos7 Greenplum6.1开源版本集群部署
- Ant Design Pro 修改title
- 联想电脑g470 vs2010很卡 问题解决
- 广州大学专业选修课介绍-----------Linux操作系统分析及实践
- java 实现超时_如何实现带有超时的Runnable? - java
- 【软件开发底层知识修炼】六 Binutils辅助工具之- addr2line与strip工具
- 【OS学习笔记】九 实模式:从汇编的角度理解栈结构
- 快速排序的原理以及Java代码
- Zookeeper----基本原理