ClickHouse ZK集群迁移

搭建CK平台的时候，ZK是自维护环境；现根据需要，统一迁移到云平台进行统一管控；由于两边是不同的集群，无法通过脑裂的方式进行平滑迁移，更新ZK后，CK需要重启生效，无法像参数一样动态加载；（刚迁移的时候踩了坑，没重启，一直报错）

整理一下整个过程，供参考

一、CK停服

由于我部署了CK的守护进程，停服前需要先关闭守护进程，否则CK即使停服了也会被自动拉起；

这个守护进程是自己编写的，并不是Supervisor，因为Supervisor只能守护前台进程，无法监控后台进程；

整个CK集群都需要停服，如果节点比较多，可以通过Ansible统一停服；

clickhouse stop

二、ZK数据迁移

从老的ZK集群选取任一个节点进行迁移，follwer或者leader都可以；将快照数据和日志数据都拷贝到新的ZK集群；

三、更新CK中ZK配置信息

对所有的CK节点，将配置文件metric.xml文件中的ZK地址和端口更新为新的ZK地址；

sed -i  's/\(X.X.X.X\|X.X.X.X\|X.X.X.X\)/zk.jddb.com/' /export/data/clickhouse/metrika.xml_new
sed -i 's/2181/3678/' /export/data/clickhouse/metrika.xml_new

节点比较多的话，可以通过ansible批量更新

四、启动CK服务

对所有CK节点启动服务，并开启守护进程；

clickhouse start

五、验证

更新ZK后，集群是否可用？通过命令验证一下即可；

create database   wang on cluster shwx_cluster;
drop database   wang on cluster shwx_cluster;

如果都执行成功即迁移完毕

ClickHouse ZK集群迁移相关推荐

完美避坑！记一次Elasticsearch集群迁移架构实战
作者介绍李猛(ynuosoft),Elastic-stack产品深度用户,ES认证工程师,2012年接触Elasticsearch,对Elastic-Stack开发.架构.运维等方面有深入体验,实践 ...
Apache ZooKeeper - 使用源码启动ZK集群模式
文章目录 Pre 配置总览端口说明 Node 1 [zoo1.cfg ] [myid] Node 2 [zoo2.cfg ] [myid] Node 3 [zoo3.cfg ] [myid] 启动集 ...
rediscluster全局数据_redis迁移，从redis cluster集群迁移数据到另外一个redis cluster集群...
redis迁移,redis集群迁移$ yum install automake libtool autoconf bzip2 -y $ git clone https://github.com/vip ...
迁移到其他机器_有赞大数据离线集群迁移实战
‍‍ 点击关注"有赞coder" 获取更多技术干货哦- 作者:郭理想 & 任海潮部门:数据中台一.背景有赞是一家商家服务公司,向商家提供强大的基于社交网络的,全渠道经营 ...
判断zk是否挂掉_Zookeeper入门学习第一天，zk集群简单介绍
一.Zookeeper集群搭建及基本使用 1.centOs虚拟机三台 ,集群最好是奇数台容灾性好一些,由于允许不过半节点宕机,例五台可以挂掉两台,四台可以挂掉一台.简单说就是过半可用. 2.Zooke ...
distcp集群迁移问题总结
distcp集群迁移问题总结一:环境准备 1.源集群准备一台用于提交数据拷贝任务的机器,要求可以连接目标大数据集群且安装json命令寻找:datanode的机器且验证一下上面安装了json的命令 ...
网易云课堂学习-zk集群
可靠的zk服务 zk集群介绍 1.1. 可靠的zk服务 1.2. 只要集群的大多数都准备好了,就可以使用这项服务 1.3. 容错集群设置至少需要三个以上服务器强烈建议使用奇数个服务器 1.4. 建议 ...
Zookeeper在Dubbo中的作用及Zk集群的选举原理
强烈推荐一个大神的人工智能的教程:http://www.captainbed.net/zhanghan Zk在Dubbo中的作用 zk在dubbo中是服务注册与发现的注册中心,dubbo的调用过程是c ...
hadoop集群迁移
集群迁移主要是要找到两个集群中active状态的namenode 集群迁移不同于服务器之间的文件发送,在hdfs中,文件是以块的形式,只可以通过namenode访问文件,所以迁移时需要通过hadoo ...

ClickHouse ZK集群迁移

ClickHouse ZK集群迁移相关推荐

最新文章

热门文章