kafka创耳机_生产环境一键创建kafka集群

前段时间公司的一个kafka集群出现了故障，由于之前准备不足，当时处理的比较慌乱。如：由于kafka的集群里topic数量较多，并且每个topic的分区数量和副本数量都不是一样的，如果按部就班的一个一个的去创建队列，估计集群恢复时黄瓜菜都凉了。

对于kafka集群出现故障，最快的处理办法，就是重建集群，然后在新的集群上将队列相关信息全部按原集群重建一遍。本人利用端午假期，写了一个python脚本(这是第二次撸python，能用就好，各位要求不要太高哈)，可以实现一键功能。

1.首先将此脚本(topic.py)，放到kafka的bin目录下；

2.执行python topic.py命令

3.输入原集群的zookeeper地址，回车

4.输入新集群的zookeeper地址，回车

5.控制台输出topic创建相关的信息，检查新集群，可以发现旧集群中所有的topic全部按原样重新在新集群中创建了一遍

topic.py脚本如下：

import os

from sys import stdin

import re

print 'input source kafka zookeeper address. eg:127.0.0.1:2181'

value = stdin.readline().replace("\n", "")

print 'input target kafka zookeeper address. eg:127.0.0.1:2181'

target = stdin.readline().replace("\n","")

value2 = './kafka-topics.sh --describe --zookeeper ' +value

value2 = value2+' | grep ^Topic'

output = os.popen(value2)

text = output.readline()

while (text ):

strs = text.split()

outtemp = os.popen('./kafka-topics.sh --create --topic '+strs[0].replace("Topic:","") +' --partitions '+strs[1].replace("PartitionCount:","") + ' --replication-factor ' +strs[2].replace("ReplicationFactor:","")+ ' --if-not-exists --zookeeper ' + target)

print outtemp.readline()

text = output.readline()

outtemp.close()

output.close()

kafka创耳机_生产环境一键创建kafka集群相关推荐

【ElasticSearch系列连载】3. 如何安装符合生产环境要求的ES集群
[ElasticSearch系列连载]3. 如何安装符合生产环境要求的ES集群通过本文,将会循序渐进地了解到ES的若干部署方案,以及相关的基础操作与配置. 上一节介绍的一键安装方式,可以快速启动一个 ...
搭建 K8S 环境:Centos7安装生产环境可用的K8S集群图文教程指南
搭建 K8S 环境:Centos7安装生产环境可用的K8S集群图文教程指南一. K8S 简介二. K8S 学习的几大拦路虎 2.1 K8S 安装对硬件要求比较高 2.2. K8S 对使用者来说要求 ...
k8s 离线安装_使用 Kind 在离线环境创建 K8S 集群
背景 Kind 是 Kubernetes In Docker 的缩写,顾名思义是使用 Docker 容器作为 Node 并将 Kubernetes 部署至其中的一个工具.现在包括 Kubernetes ...
使用 Nocalhost 与 KubeVela 端云联调，一键完成多集群混合云环境部署
作者:雾雾.玉易才(KubeVela.Nocalhost 团队) 在云原生快速发展的当下,如何让云的技术赋能业务开发?在上线应用时,如何让云的开发者在现代化的多集群.混合云环境中便捷地进行应用的开发和 ...
集群基础之04（部署ceph实验环境、部署ceph集群、创建Ceph块存储、块存储应用、挂载Ceph文件系统、创建对象存储服务器）
目录前言: Ceph简介 Ceph特点 Ceph架构 Ceph核心组件及概念介绍 1.部署ceph实验环境: 2 .部署ceph集群 3.创建Ceph块存储 4.块存储应用 5.挂载Ceph文件系统 ...
Kubernetes教程(一)---使用 kubeadm 创建 k8s 集群(containerd)
来自:指月 https://www.lixueduan.com 原文:https://www.lixueduan.com/posts/kubernetes/01-install/ 本文记录了使用 ku ...
一键启动Zookeeper集群
本文根据[1]来改编成适合于自己的,最终代码如下: $ZOOKEEPER/bin/zkEnv.sh下面加一句 JAVA_HOME="/home/appleyuchi/Java/jdk1.8. ...
利用Packer自定义镜像创建容器集群
阿里云容器服务Kubernetes集群支持CentOS操作系统,在绝大多数情况下可以满足客户的要求.但是有些客户由于业务系统对操作系统依赖比较高,希望定制化一些操作系统参数,则可以用自定义镜像来创建K ...
aws上创建eks集群
在aws上创建eks集群前,需要先创建vpc和subnet以及role,因为在创建集群时会用到. 1.创建VPC 对于创建vpc,进入create vpc界面创建即可,这里用的都是默认值. 2.创建s ...
创建一个集群和探索ProxmoxGUI
创建一个集群和探索ProxmoxGUI ProxmoxVE可以被用于独立地不被部分的一个集群.但为了要真正使用Proxmox在其充分的潜力,一个集群使许多更先进的功能,如为集中管理,高可用性,以及实时 ...

kafka创耳机_生产环境一键创建kafka集群

kafka创耳机_生产环境一键创建kafka集群相关推荐

最新文章

热门文章