大数据学习之——Zookeeper安装

zookeeper （HA高可用、hbase、kafka）

下载
上传至服务器解压

cd /opt/modules
tar -zxvf zookeeper-3.4.5-cdh5.3.6
//进入zookeeper 的conf 目录
cd ./zookeeper-3.4.5-cdh5.3.6/conf/
//修改zoo_sample.cfg 为zoo.cfg
mv ./zoo_sample.cfg ./zoo.cfg
//编辑zoo.cfg文件 ,五个参数已经给了默认值了，并修改dataDir为指定目录
vi ./zoo.cfg# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/tmp/zookeeper
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1//默认不修改可以启动zookeeper 为单机模式

参数说明:

tickTime: zookeeper中使用的基本时间单位, 毫秒值.
dataDir: 数据目录. 可以是任意目录.
dataLogDir: log目录, 同样可以是任意目录. 如果没有设置该参数, 将使用和dataDir相同的设置.
clientPort: 监听client连接的端口号.
initLimit: zookeeper集群中的包含多台server, 其中一台为leader, 集群中其余的server为follower. initLimit参数配置初始化连接时, follower和leader之间的最长心跳时间. 此时该参数设置为5, 说明时间限制为5倍tickTime, 即5*2000=10000ms=10s.
syncLimit: 该参数配置leader和follower之间发送消息, 请求和应答的最大时间长度. 此时该参数设置为2, 说明时间限制为2倍tickTime, 即4000ms.

集群模式

配置文件

1. 配置zoo.cfg

# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/opt/modules/zookeeper-3.4.5-cdh5.3.6/zkData
dataLogDir=/opt/modules/zookeeper-3.4.5-cdh5.3.6/logs
# the port at which the clients will connect
clientPort=2181
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.0=hadoop1:2888:3888
server.1=hadoop2:2888:3888
server.2=hadoop3:2888:3888

新增参数

server.X=A:B:C 其中X是一个数字, 表示这是第几号server. A是该server所在的IP地址. B配置该server和集群中的leader交换消息所使用的端口. C配置选举leader时所使用的端口. 如果配置的是伪集群模式, 各个server的B, C参数必须不同.

2. 配置myid文件在dataDir目录下

在之前设置的dataDir中新建myid文件, 写入一个数字, 该数字表示这是第几号server.
该数字必须和zoo.cfg文件中的server.X中的X一一对应.opt/modules/zookeeper-3.4.5-cdh5.3.6/zkData/myid文件中写入0
opt/modules/zookeeper-3.4.5-cdh5.3.6/zkData/myid文件中写入1
opt/modules/zookeeper-3.4.5-cdh5.3.6/zkData/myid文件中写入2

启动zookeeper进程

 //启动zookeeper./zookeeper-3.4.5-cdh5.3.6/bin/zkServer.sh start问题：JMX enabled by defaultUsing config: /hadoop/zookeeper/bin/../conf/zoo.cfgError contacting service. It is probably not running.//全部进程开启后，再查看状态（否则会报上述错误）./zookeeper-3.4.5-cdh5.3.6/bin/zkServer.sh status//系统会多出如下进程jps17345 QuorumPeerMain//启动之后[root@hadoop1 modules]# ./zookeeper-3.4.5-cdh5.3.6/bin/zkServer.sh statusJMX enabled by defaultUsing config: /opt/modules/zookeeper-3.4.5-cdh5.3.6/bin/../conf/zoo.cfgMode: follower[root@hadoop2 modules]# ./zookeeper-3.4.5-cdh5.3.6/bin/zkServer.sh statusJMX enabled by defaultUsing config: /opt/modules/zookeeper-3.4.5-cdh5.3.6/bin/../conf/zoo.cfgMode: follower[root@hadoop3 modules]# ./zookeeper-3.4.5-cdh5.3.6/bin/zkServer.sh statusJMX enabled by defaultUsing config: /opt/modules/zookeeper-3.4.5-cdh5.3.6/bin/../conf/zoo.cfgMode: leader

大数据学习之——Zookeeper安装相关推荐

大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解
引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...
大数据学习笔记二：Ubuntu/Debian 下安装大数据框架Hadoop
文章目录安装Java 为Hadoop创建用户安装Hadoop 配置Hadoop 配置环境变量设置配置文件格式化namenode 启动hadoop集群访问hadoop集群大数据学习系列文章: ...
大数据学习，涉及的知识点
大数据技术都包括哪些,如何学习大数据技术.首先我们要了解Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什 ...
大数据学习规划（新手入门）
前言: 一.背景介绍二.大数据介绍正文: 一.大数据相关的工作介绍二.大数据工程师的技能要求三.大数据学习规划四.持续学习资源推荐(书籍,博客,网站) 五.项目案例分析(批处理+实时处理) ...
最全知识点总结！| 大数据学习路线指南
全世界只有3.14 % 的人关注了数据与算法之美大数据是对海量数据进行存储.计算.统计.分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成 ...
2018大数据学习路线从入门到精通
最近很多人问小编现在学习大数据这么多,他们都是如何学习的呢.很多初学者在萌生向大数据方向发展的想法之后,不免产生一些疑问,应该怎样入门?应该学习哪些技术?学习路线又是什么?今天小编特意为大家整理了一份 ...
大数据学习笔记：Hadoop生态系统
文章目录一.Hadoop是什么二.Hadoop生态系统图三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...
hdp对应hadoop的版本_好程序员大数据学习路线分享hadoop的知识总结
大数据学习路线分享hadoop的知识总结,Hadoop的背景:原生公司是apache, cdh的cloudar公司,hortworks公司提供hdp. 其中apache的发行版本大致有1.x ,2.x ...
大数据学习路线2019版（附全套视频教程及网盘下载）
什么是大数据? 大数据(BIG DATA)是指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的 ...

大数据学习之——Zookeeper安装

zookeeper （HA高可用、hbase、kafka）

集群模式

配置文件

1. 配置zoo.cfg

新增参数

2. 配置myid文件在dataDir目录下

大数据学习之——Zookeeper安装相关推荐

最新文章

热门文章