Zookeeper集群搭建

文章目录

Zookeeper集群搭建
- 一、上传Zookeeper
- 二、解压Zookeeper
- 三、进入Zookeeper中创建一个zkData文件夹
- 四、进入conf中，将zoo_simple.cfg进行重命名
- 五、配置zoo.cfg
- 六、进行分发zookeeper
- 七、修改hadoop2和hadoop3的myid
- 八、集群操作
- 九、启动、停止脚本

集群规划：目前我有hadoop1、hadoop2、hadoop3三个节点，都部署Zookeeper

资源：

zookeeper3.5.7

补充知识：

Apache相关软件下载目录
- Apache Software Foundation Distribution Directory

一、上传Zookeeper

将zookeeper上传到虚拟机的/opt/software目录下，专门存放软件包的位置

rz

选择文件zookeeper进上传

补充知识：主要是通过lrzsz

```
sudo yum install lrzsz
```

如果上传时，出现apache-zookeeper-3.5.7-bin.tar.gz was skipped错误，说明权限不够

可以用sudo rz，因为上传的目录的所有权不是你

sudo rz

也可以修改拥有者

sudo chown 用户名:用户名 -R 目录

-R 是递归将该目录下的文件的拥有者全部一同修改

二、解压Zookeeper

将apache-zookeeper-3.5.7-bin.tar.gz解压到/opt/module

tar -zxvf /opt/software/apache-zookeeper-3.5.7-bin.tar.gz -C /opt/module/

并进行重命名为zookeeper-3.5.7

mv  apache-zookeeper-3.5.7-bin zookeeper-3.5.7

三、进入Zookeeper中创建一个zkData文件夹

1、在/opt/module/zookeeper-3.5.7中创建一个zkData,用来保存zookeeper的数据

cd /opt/module/zookeeper-3.5.7
mkdir zkData

2、在zkData目录下创建一个myid文档（作用：服务器的编号）

vim myid

在里面添加数值，作为你的主机的固定id号，一般从1开始依次往后递增，并分别在hadoop2、hadoop3中添加myid为2、3

注意：上下不要有空行，左右不要有空格

四、进入conf中，将zoo_simple.cfg进行重命名

1、重新命名/opt/module/zookeeper-3.5.7/conf的zoo_sample.cfg，改为zoo.cfg

mv zoo_sample.cfg  zoo.cfg

五、配置zoo.cfg

1、打开zoo.cfg

vim zoo.cfg

修改数据存储路径

dataDir=/opt/module/zookeeper-3.5.7/zkData

添加集群节点信息

server.1=hadoop1:2888:3888
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

2、补充知识：

zoo.cfg详细解读

注意：myid中这个文件时放在==dataDir==目录下的，zookeeper启动时会读取该文件，拿到里面的数据与zoo.cfg配置文件进行比较那个是server，因此为什么不能myid中上下左右不要空格了

六、进行分发zookeeper

将配置好的zookeeper分发到其他节点上

可以通过scp、rsync都是可以的

详细请看linux远程拷贝命令

这里分别用scp和rsync进行分发

scp -rv /opt/module/zookeeper-3.5.7 hadoop2:/opt/module/
rsync -av /opt/module/zookeeper-3.5.7 hadoop3:/opt/module/

注意：hadoop2、hadoop3是我自己的主机名，在/etc/hostname进行修改了的，并在/etc/hosts进行映射的

可看下面详细教程

hadoop3.3.0集群搭建（详细教程）

七、修改hadoop2和hadoop3的myid

分别将修改成自己对应的myid，hadoop2和hadoop3的myid是hadoop1的

八、集群操作

1、分别在Hadoop1、hadoop2、hadoop3中执行下面命令启动zookeeper

/opt/module/zookeeper-3.5.7/bin/zkServer.sh start

停止zkServer.sh stop

2、查看状态，需要在每一个节点中查看太麻烦了

/opt/module/zookeeper-3.5.7/bin/zkServer.sh status

九、启动、停止脚本

1、在$HOME/bin中创建脚本zk.sh,如果没有bin目录，需要自己创建一个

vim zk.sh

#!/bin/bash
case $1 in
"start"){for i in hadooop1 hadoop2 hadoop3doecho "-----启动$i------"ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"done}
;;
"stop"){for i in hadoop1 hadoop2 hadoop3doecho "----停止$i----"ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"done}
;;
"status"){for i in hadoop1 hadoop2 hadoop3doecho "-----查看$i状态-----"ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"done}
;;
esac

注意：目前文件是没有执行权限的，默认创建的文件都是没有执行权限，因此我们需要增加文件的执行权限

Zookeeper3.5.7集群搭建相关推荐

Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建
目录目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Sp ...
2021年大数据ZooKeeper（二）：ZooKeeper集群搭建
目录 ZooKeeper集群搭建第一步:下载zookeeeper的压缩包,下载网址如下第二步:解压第三步:修改配置文件第四步:添加myid配置第五步:安装包分发并修改myid的 ...
基于zookeeper的solrCloud集群搭建
转自:https://blog.csdn.net/yougoule/article/details/78445759 基于原文对实践遇到的问题稍作补充 1.安装及搭建相关环境 1.1环境准备 cen ...
Hbase基础（特点、架构、应用场景、集群搭建、HA设计）这一篇就够了
Hbase基础(特点.架构.应用场景.集群搭建.HA设计)这一篇就够了 1. Hbase特点 2. Hbase VS RDBMS 3. Hbase架构及版本选择 4. Hbase应用场景 5. Ntp ...
Spark集群搭建【Spark+Hadoop+Scala+Zookeeper】
1.安装Linux 需要:3台CentOS7虚拟机 IP:192.168.245.130,192.168.245.131,192.168.245.132(类似,尽量保持连续,方便记忆) 注意: 3台虚 ...
大数据分布式集群搭建（1）
在学习了几天的hadoop分布式集群搭建之后想写写文章记录一下一路以来遇到的困难和解决方案. 闲话不多说,进入正题. 一.环境及准备因为只有一台电脑,所以需要用虚拟机来模拟环境. 本地机器用到软件: ...
单台主机 kafka + zookeeper 集群搭建
文章转自: https://www.jianshu.com/p/dc4770fc34b6 在单台主机上搭建kafka + zookeeper 集群. zookeeper 集群搭建 kafka是通过zo ...
kafka入门：简介、使用场景、设计原理、主要配置及集群搭建
为什么80%的码农都做不了架构师?>>> kafka入门:简介.使用场景.设计原理.主要配置及集群搭建(转) 问题导读: 1.zookeeper在kafka的作用是什么? 2. ...
Hadoop-2.8.5的HA集群搭建
一.Hadoop HA 机制的学习 1.1.Hadoop 2.X 的架构图 2.x版本中,HDFS架构解决了单点故障问题,即引入双NameNode架构,同时借助共享存储系统来进行元数据的同步,共享存储 ...

Zookeeper3.5.7集群搭建