新手发帖,很多方面都是刚入门,有错误的地方请大家见谅,欢迎批评指正

1、环境说明

群集环境少至要需3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以互相ping通,面下举例说明,配置节点IP分配如下:

Hostname IP 新建户用 新建户用密码
Master 10.10.10.213 hadoop 123456
Slave1 10.10.10.214 hadoop 123456
Slave2 10.10.10.215 hadoop 123456

三个节点均用使centos 6.3系统,为了便于维护,群集环境配置项最好用使同相户用名、户用密码、同相hadoop、hbase、zookeeper录目结构。

2、准备工作

2.1、修改Hostname

为了群集可以畸形稳定的运行,我们要需将个每节点的hostname别分配置为对应的Master、Slave1、Slave2。

(1)在Master服务器中执行以下令命:

hostname Master //前当效有
vi /etc/sysconfig/network    //启重后失效
HOSTNAME=Master

(2)在Slave1服务器中执行以下令命:

hostname Slave1  //前当效有
vi /etc/sysconfig/network    //启重后失效
HOSTNAME=Slave1

(3)在Slave2服务器中执行以下令命:

hostname Slave2  //前当效有
vi /etc/sysconfig/network    //启重后失效
HOSTNAME=Slave2

2.2、添加Hosts映射系关

别分在三个节点下通过如下令命修改hosts映射系关:

vi /etc/hosts

添加内容如下:

Master   10.10.10.213
Slave1  10.10.10.214
Slave2  10.10.10.215

2.3、配置JDK环境

Hadoop群集必须赖依JDK环境,所以这里我们首先要需配置好JDK环境,样同为了管理,我们议建服务器中的节点JDK安装环境均在同相径路下。

2.3.1、解压安装包

拷贝jdk件文jdk-6u25-linux-x64.bin到/usr/lib/java件文录目(该录目可自行义定)下,解压安装包,如果件文权限被制约,可通过如下令命停止赋权限作操:

chmod u+w jdk-6u25-linux-x64.bin

2.3.2、修改环境配置息信

vi /etc/profile

在最后加上:

export JAVA_HOME=/usr/lib/java/jdk1.6.0_25
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/rt.jar

通过销注或者以下令命使修改失效:

source /etc/profile

2.3.3、检查前当JDK版本息信

java -version

2.3.4、充补(可选)

如果查看前当的JDK版本不是刚才设置的JDK版本,则可以停止默许JDK版本设置作操:

sudo update-alternatives --install /usr/bin/java java /usr/lib/java/jdk1.6.0_25/bin/java 300
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/java/jdk1.6.0_25/bin/javac 300
sudo update-alternatives --config java(选择jdk1.6.0_25版本的序号就行)

2.4、安装SSH

Centos系统安装时默许可以选择安装SSH,ubuntu下可以通过如下令命停止安装(提前是必须联网):

sudo apt-get install ssh
sudo apt-get install rsync

2.5、新建户用

为了hadoop群集的全安与便利管理,我们要另外新建户用,并设置密码,令命如下:

sudo adduser hadoop
sudo passwd hadoop

上述令命中,第一行令命新建了一个user为hadoop的户用,第二行令命是为这个hadoop户用设置密码,样同最好服务器之间均保持一致。

2.6、配置群集之间SSH无密码登岸

群集环境的用使必须通过ssh无密码登岸来执行,本机登岸本机必须无密码登岸,主机与从机之间必须可以向双无密码登岸,从机与从机之间无制约。以本次为例,比如Master与Slave1之间的无密码登岸设置骤步如下:

(1)进入Master服务器,停止无密码自登岸设置

ssh hadoop@Master  //登岸Master
ssh-keygen  -t  rsa  -P  ''  -f  ~/.ssh/id_rsa
cat  ~/.ssh/id_rsa.pub  >>  ~/.ssh/authorized_keys    //成生密钥
chmod 700 ~/.ssh && chmod 600 ~/.ssh/*  //设置权限

如果不知道是不是配置胜利,可通过如下令命停止验证:

ssh localhost

如果上述令命不要需输入密码则表现配置胜利。

进入Slave1服务器,停止无密码自登岸设置,作操同上,只要将对应的Master为改Slave1可即,此处省略。

(2)进入Master服务器,设置Master->Slave1的无密码登岸

ssh hadoop@Master    //登岸Master
cat ~/.ssh/id_rsa.pub | ssh hadoop@Slave1 'cat - >> ~/.ssh/authorized_keys'
ssh hadoop@Slave1  //若此处不要需输入密码则配置胜利

(3)进入Slave1服务器,设置Slave1->Master的无密码登岸

ssh hadoop@Slave1   //登岸Slave1
cat ~/.ssh/id_rsa.pub | ssh hadoop@Master 'cat - >> ~/.ssh/authorized_keys'
ssh hadoop@Master  //若此处不要需输入密码则胜利

以上就是Master与Slave1之间的向双无密码登岸配置。Master与Slave2之间的配置道理同上述基本一样,所以不再赘述。

3、Hadoop群集安装配置

3.1、修改hadoop配置件文

每日一道理
漫漫人生路,谁都难免会遭遇各种失意或厄运。在凄风苦雨 惨雾愁云的考验面前,一个强者,是不会向命运低头的。风再冷,不会永远不息;雾再浓,不会经久不散。风息雾散,仍是阳光灿烂。

在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz,修改conf录目下的6个件文:

(1)core-site.xml

<configuration><property><name>fs.default.name</name><value>hdfs://Master:9000</value></property>
</configuration>

(2)hadoop-env.sh

在该件文中加上如下一行码代:

export JAVA_HOME=(你配置的jdk径路,比如:/usr/java/jdk1.6.0_25)

(3)hdfs-site.xml

<configuration>    <property><name>dfs.name.dir</name><value>/home/hadoop/temp/hadoop</value></property><property><name>dfs.data.dir</name><value>/home/hadoop/temp/hadoop</value></property><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.support.append</name><value>true</value></property>
</configuration>

(4)mapred-site.xml

<configuration><property><name>mapred.job.tracker</name><value>Master:9001</value></property><property><name>mapred.acls.enabled</name><value>false</value></property>
</configuration>

(5)Masters

Master

(6)Slaves

Slave1
Slave2

3.2、步同安装包

将解压修改后的hadoop-1.0.3件文夹别分拷贝到Master、Slave1、Slave2的同相hadoop安装径路下。

3.3、启动Hadoop群集

进入Master的hadoop-1.0.3录目,执行以下作操:

bin/hadoop namenode -format    //式格化namenode,第一次启动服务前执行的作操,后以不要需执行
bin/start-all.sh     //启动hadoop
jps //用jps令命能看到除jps外有5个进程

至此,hadoop群集配置进程结束。可通过浏览器地址http://10.10.10.213:50070 查看节点用启状态验证配置是不是胜利。

4、Zookeeper群集安装配置

4.1、修改zookeeper配置件文zoo.cfg

在centos系统下解压zookeeper安装包zookeeper-3.4.3.tar.gz ,进入到conf录目,将zoo_sample.cfg拷贝一份命名为zoo.cfg(Zookeeper 在启动时会找这个件文作为默许配置件文),开打该件文停止修为改以下式格(注意权限问题,如果最后配置有问题请检查进程中权限是不是准确)。

dataDir=/home/hadoop/temp/zookeeper/dataserver.0=10.10.10.213:2888:3888
server.1=10.10.10.214:2888:3888
server.2=10.10.10.215:2888:3888

4.2、新建录目、新建并编辑myid件文

(本次配置myid件文放在/home/hadoop/temp/zookeeper/data录目下)

mkdir /home/hadoop/temp/zookeeper/data    //dataDir录目
vi /home/hadoop/temp/zookeeper/data/myid

注意myid件文中的内容为:Master中为0,Slave1中为1,Slave2中为2,别分与zoo.cfg中对应起来。

4.3、步同安装包

将解压修改后的zookeeper-3.4.3件文夹别分拷贝到Master、Slave1、Slave2的同相zookeeper安装径路下。注意:myid件文的内容不是一样的,各服务器中别分是对应zoo.cfg中的设置。

4.4、启动zookeeper

Zookeeper的启动与hadoop不一样,要需个每节点都执行,别分进入3个节点的zookeeper-3.4.3录目,启动zookeeper:

bin/zkServer.sh start

注意:此时如果报错先不会理,继承在另两台服务器中执行同相作操。

4.5、检查zookeeper是不是配置胜利

待3台服务器均启动后,如果进程准确的话zookeeper应当经已主动选好leader,进入每台服务器的zookeeper-3.4.3录目,执行以下作操查看zookeeper启动状态:

bin/zkServer.sh status

如果涌现以下码代表现安装胜利了。

[java] view plaincopy
JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.3/bin/../conf/zoo.cfg
Mode: follower  //或者有且只有一个leader

5、HBase群集安装配置

5.1、修改hbase配置件文

在centos系统下解压hadoop安装包hadoop-1.0.3.tar.gz,修改conf录目下的3个件文:

(1)hbase-env.sh

export JAVA_HOME=/usr/lib/java/jdk1.6.0_25 //JDK的安装录目
export HBASE_CLASSPATH=/home/hadoop/hadoop-1.0.3/conf  //hadoop的安装录目
export HBASE_MANAGES_ZK=true

(2)hbase-site.xml

<configuration><property><name>hbase.rootdir</name><value>hdfs://Master:9000/hbase</value></property>    <property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.zookeeper.property.clientPort</name><value>2181</value></property><property><name>hbase.zookeeper.quorum</name><value>Master</value></property><property><name>hbase.zookeeper.property.dataDir</name><value>/home/hadoop/temp/zookeeper</value></property><property><name>dfs.support.append</name><value>true</value></property>
</configuration>

(3)regionservers

Slave1
Slave2

5.2、步同安装包

将解压修改后的hbase-0.94.1-security件文夹别分拷贝到Master、Slave1、Slave2的同相hbase安装径路下。

5.3、启动HBase

进入Master的hbase-0.94.1-security录目,执行以下作操:

bin/start-hbase.sh   //之后用jps查看是不是全部进程都已启动

至此,hbase服务配置进程结束。可通过浏览器地址http://10.10.10.213:60010 查看hbase是不是可用。

也可以执行以下令命,进入hbase shell停止验证。

6、结语

关于hadoop、zookeeper、hbase的启动与闭关序顺:启动时hadoop和zookeeper意随前后,但是hbase必须最后启动,闭关时hbase必须首先闭关,然后意随前后闭关hadoop、zookeeper。否则,会涌现异常。

关于各软件的安装包可以去官网下载,不同版本的安装配置可能会有少量的变化,而且版本搭配如果不一样的话也可能涌现问题,有问题就针对性地去查,这样学习才有步进。

文章结束给大家分享下程序员的一些笑话语录: 打赌
飞机上,一位工程师和一位程序员坐在一起。程序员问工程师是否乐意和他一起玩一种有趣的游戏。工程师想睡觉,于是他很有礼貌地拒绝了,转身要睡觉。程序员坚持要玩并解释说这是一个非常有趣的游戏:"我问你一个问题,如果你不知道答案,我付你5美元。然后你问我一个问题,如果我答不上来,我付你5美元。"然而,工程师又很有礼貌地拒绝了,又要去睡觉。  程序员这时有些着急了,他说:"好吧,如果你不知道答案,你付5美元;如果我不知道答案,我付50美元。"果然,这的确起了作用,工程师答应了。程序员就问:"从地球到月球有多远?"工程师一句话也没有说,给了程序员5美元。  现在轮到工程师了,他问程序员:"什么上山时有三条腿,下山却有四条腿?"程序员很吃惊地看着工程师,拿出他的便携式电脑,查找里面的资料,过了半个小时,他叫醒工程师并给了工程师50美元。工程师很礼貌地接过钱又要去睡觉。程序员有些恼怒,问:"那么答案是什么呢?"工程师什么也没有说,掏出钱包,拿出5美元给程序员,转身就去睡觉了。

转载于:https://www.cnblogs.com/xinyuyuanm/archive/2013/05/08/3067519.html

配置密码分布式集群环境hadoop、hbase、zookeeper搭建(全)相关推荐

  1. 王家林的“云计算分布式大数据Hadoop实战高手之路---从零开始”的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题

    王家林的"云计算分布式大数据Hadoop实战高手之路---从零开始"的第五讲Hadoop图文训练课程:解决典型Hadoop分布式集群环境搭建问题 参考文章: (1)王家林的&quo ...

  2. Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境

    Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境 一.环境说明 个人理解: zookeeper可以独立搭建集群,hbase本身不能独立搭建集群需要和hado ...

  3. k8s-大型分布式集群环境捷径部署

    转k8s-大型分布式集群环境捷径部署 课程介绍 ​ Kubernetes(k8s)一个用于容器集群的自动化部署.扩容以及运维的开源平台.通过Kubernetes,你可以快速有效地响应用户需求;快速而有 ...

  4. 分布式集群环境下,如何实现session共享三(环境搭建)

    这是分布式集群环境下,如何实现session共享系列的第三篇.在上一篇:分布式集群环境下,如何实现session共享二(项目开发)中,准备好了一个通过原生态的servlet操作session的案例.本 ...

  5. SpringCloud(第 054 篇)简单 Quartz-Cluster 微服务,采用注解配置 Quartz 分布式集群...

    2019独角兽企业重金招聘Python工程师标准>>> SpringCloud(第 054 篇)简单 Quartz-Cluster 微服务,采用注解配置 Quartz 分布式集群 一 ...

  6. SpringCloud(第 054 篇)简单 Quartz-Cluster 微服务,采用注解配置 Quartz 分布式集群... 1

    SpringCloud(第 054 篇)简单 Quartz-Cluster 微服务,采用注解配置 Quartz 分布式集群 - 一.大致介绍 1.因网友提到有没有采用注解式配置的Quartz例子,因此 ...

  7. 现学现用大数据分布式集群环境部署

    导读:        随着大数据时代的到来,传统的GIS分析工具越来越难以满足对超大体量空间数据的分析需求.SuperMap iServer 9D(本文简称iServer)实现了地理信息服务的分布式集 ...

  8. 使用VirtualBox搭建分布式集群环境记录

    针对集群环境,工作中基本上都是直接申请真实的物理机,或者干脆让运维给一套多机.自己之前个人研究的时候也是使用之前从二手市场淘来的多台物理机组成的分布式集群,但是最近一不小心把其中两台搞坏了,加之确实比 ...

  9. redis分布式集群环境搭建

    redis 分布式集群可分为主从集群.哨兵集群.分片集群,本片文章我们就来分别介绍这三种集群环境的搭建. 本次搭建环境为 Linux 虚拟机系统. 在搭建 redis集群之前,需要先在 linux 系 ...

最新文章

  1. VS2017 cout 不明确
  2. |洛谷|动态规划|P1164 小A点菜
  3. android 手机交互设计,移动设备交互设计比较
  4. == 和 equals() 区别
  5. ASP正则表达式方面小笔记
  6. python自带的shell、其性能优于ipython_python3.4 shell
  7. 关于EOF,转自新浪微博
  8. sscanf解析复杂字符串,双引号通配符的使用问题
  9. 【Hadoop】伪分布式安装---MapReduce程序运行到YARN上,编写MapReduce程序---HDFS yarn
  10. 数据库工作笔记017---还记得Oracle悲观锁和乐观锁嘛?以及hibernate对乐观悲观锁的封装
  11. Python之Pandas绘图,设置显示中文问题
  12. echarts.init只能使用一个_气动球阀填料使用寿命怎样提高
  13. 帧差法——动态检测——统计车流量
  14. 马哥linux docker视频,[其他] 马哥Docker + K8S 视频教程
  15. ELK (三)安装kibana
  16. 局部敏感哈希算法介绍
  17. [idea] idea导包的三种方式(导入jar包/添加库/全局库)
  18. 大数据技术如何有效阻击网络黑产?
  19. ubuntu为软件设定图标
  20. 双重检查锁单例模式为什么要用volatile关键字?

热门文章

  1. python【蓝桥杯vip练习题库】ADV-351比大小
  2. Android移动开发之【Android实战项目】DAY6-安卓多线程
  3. css 定位兼容性,CSS基础:定位与浏览器兼容性
  4. koa中间件mysql写法_koa-mysql(三)
  5. python写了代码_Python写代码的用法建议
  6. 为什么Android项目mainactivity中有一个变量R_【Android开发入门教程】二.Android应用程序结构分析!...
  7. mysql内置乐观锁吗_mysql 乐观锁详解
  8. 很高兴加入 英文_少和外国人说quot;You look youngquot;,她们可能会不高兴!
  9. shutdown thread.java_ShutdownHook- Java 优雅停机解决方案
  10. 2021计算机技能高考考纲,2021年湖北省技能高考技能考试大纲(计算机类)(16页)-原创力文档...