Hadoop完全分布安装详细过程--------****--------（ubuntu版本）

ubuntu版本：

国内常用镜像源基地：https://blog.csdn.net/m0_46202060/article/details/106251733

1、下载安装包及测试文档
切换目录到/tmp

------------------------------------------------------------------（对应的安装包可以去镜像源下载）----------------------------------------------------------------------

cd /tmp

下载Hadoop安装包

---------------------------------------------------------------------hadoop-2.6.0-cdh5.4.5.tar.gz----------------------------------------------------------------------------

下载JDK安装包

---------------------------------------------------------------------jdk-7u75-linux-x64.tar.gz --------------------------------------------------------------------------------

2、安装Java JDK
这里安装的版本是jdk-7u75-linux-x64.tar.gz；

当前是普通用户，超级管理员才能对/opt目录进行操作，所有要使用sudo命令获取获取特权才能成功解压；命令将其解压到/opt目录下：

sudo tar -zxvf /tmp/jdk-7u75-linux-x64.tar.gz  -C /opt/

并将解压后的文件夹jdk-7u75-linux-x64改名为java：

sudo mv /opt/jdk1.7.0_75 /opt/java

修改java目录的所属用户和所属组：

sudo chown -R zhangyu.zhangyu /opt/java

jdk安装完配置环境变量，编辑/etc/profile：

sudo vim /etc/profile

在文档末端添加如下内容：

export JAVA_HOME=/opt/java
export PATH=$JAVA_HOME/bin:$PATH

刷新环境变量：

source /etc/profile

刷新环境变量后，可以通过java的家目录找到java可使用的命令。利用java查看版本号命令验证是否安装成功：

java -version

正常结果显示如下：

3、Hadoop安装
这里安装的版本是hadoop-2.6.0-cdh5.4.5.tar.gz；命令将其解压到/opt目录下：

sudo tar -zxvf  /tmp/hadoop-2.6.0-cdh5.4.5.tar.gz  -C /opt/

并将解压后的文件夹hadoop-2.6.0-cdh5.4.5改名为hadoop：

sudo mv /opt/hadoop-2.6.0-cdh5.4.5 /opt/hadoop

修改hadoop目录的所属用户和所属组：

sudo chown -R zhangyu.zhangyu /opt/hadoop

jdk安装完配置环境变量，编辑/etc/profile：

sudo vim /etc/profile

末端添加如下内容：

export HADOOP_HOME=/opt/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

刷新环境变量：

source /etc/profile

利用hadoop查看版本号命令验证是否安装成功：

hadoop version

正常结果显示如下：

4、修改hosts文件
获取网卡信息得命令有：ifconfig 和 ip a ；使用获取网卡信息得命令，查看到当前节点的IP地址；编辑/etc/hosts文件：

sudo vim /etc/hosts

添加本机IP地址对应本机映射名和其它节点IP地址对应映射名：

0.0.0.0 master
0.0.0.0 slave1
0.0.0.0 slave2

这里的0.0.0.0指的是你的三台虚拟机的ip，一定要对应各自ip

配置完hosts文件，可以通过映射名访问对应的IP地址；

5、创建数据文件夹

sudo mkdir /data

所有者修改为当前用户：

sudo chown -R zhangyu.zhangyu /data

6、修改hadoop hadoop-env.sh文件配置

vim  /opt/hadoop/etc/hadoop/hadoop-env.sh

将JAVA_HOME修改成java所在目录：

export JAVA_HOME=/opt/java/

7、修改hadoop core-site.xml文件配置
编辑core-site.xml文件：

vim  /opt/hadoop/etc/hadoop/core-site.xml

替换为下面的xml文本（当然也可以自己适当修改）：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"   href="configuration.xsl"?>
<configuration>
<property>  <name>hadoop.tmp.dir</name>  <value>/data/tmp/hadoop/tmp</value>
</property>
<property>  <name>fs.defaultFS</name>  <value>hdfs://master:9000/</value>  <description>NameNode URI</description>
</property>
</configuration>

这里有两项配置：

一项是hadoop.tmp.dir，配置hadoop处理过程中，临时文件的存储位置。这里的目录/data/需要提前创建。另一项是fs.defaultFS，配置hadoop HDFS文件系统的地址。

切记配置文件中开头（<?xml version="1.0"?> ）一定不要有空格等非法字符，下边配置文件一样如此：

不然就会报错非法字符：参考----解决方法

8、修改hadoop hdfs-site.xml文件配置
编辑hdfs-site.xml文件：

vim  /opt/hadoop/etc/hadoop/hdfs-site.xml

替换为下面的xml文本：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"   href="configuration.xsl"?>
<configuration>
<property>  <name>dfs.namenode.name.dir</name>  <value>/data/tmp/hadoop/hdfs/name</value>
</property>
<property>  <name>dfs.datanode.data.dir</name>  <value>/data/tmp/hadoop/hdfs/data</value>
</property>
<property>  <name>dfs.replication</name>  <value>1</value>
</property>
<property>  <name>dfs.permissions</name>  <value>false</value>
</property>
</configuration>

配置项说明：

dfs.namenode.name.dir，配置元数据信息存储位置； dfs.datanode.data.dir，配置具体数据存储位置； dfs.replication，配置每个数据库备份数，由于目前我们使用1台节点，所以，设置为1，如果设置为2的话，运行会报错。

9、修改hadoop yarn-site.xml文件配置
编辑yarn-site.xml文件：

vim  /opt/hadoop/etc/hadoop/yarn-site.xml

替换为下面的xml文本：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"  href="configuration.xsl"?>
<configuration>
<property>  <name>yarn.nodemanager.aux-services</name>  <value>mapreduce_shuffle</value>
</property>
</configuration>

这里的配置是指定所用服务。

10、修改hadoop mapred-site.xml文件配置
创建mapred-site.xml文件：

vim  /opt/hadoop/etc/hadoop/mapred-site.xml

输入为下面的xml文本：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl"   href="configuration.xsl"?>
<configuration>
<property>  <name>mapreduce.framework.name</name>  <value>yarn</value>
</property>
</configuration>

这里指定mapreduce任务处理所使用的框架。

11、修改hadoop slaves文件配置

vim  /opt/hadoop/etc/hadoop/slaves

覆盖写入主节点映射名和从节点映射名：

master
slave1
slave2

12、创建公钥
在zhangyu用户下创建公钥：

ssh-keygen

出现如下内容：

Enter file in which to save the key (/home/zhangyu/.ssh/id_rsa):

直接使用默认选项，回车即可，出现如下内容：

Enter passphrase (empty for no passphrase):

直接回车，出现内容：

Enter same passphrase again:

直接回车，创建完成，结果内容如下：

13、拷贝公钥，过程中需要输入zhangyu用户的密码

ssh-copy-id master  ssh-copy-id slave1  ssh-copy-id slave2

提示：命令执行过程中需要输入“yes”和密码“zhangyu”。三台节点请依次执行完成。

测试连接是否正常：

ssh master

注意主机名的变化

输入exit退出测试：

ssh slave1

输入exit退出测试：

ssh slave2

输入exit退出测试：

测试中可以看出，连接各节点时，无需输入密码，因为已经设置好授权秘钥。

14、拷贝文件到所有从节点

scp -r /opt/java/ /opt/hadoop/ slave1:/tmp/

scp -r /opt/java/ /opt/hadoop/ slave2:/tmp/
至此，主节点配置完成。

----------------=--------------------------------------------------------------------(^_)-------------------------------------------------------------------------------=------------

集群搭建之 slave1

1、Java环境配置

sudo mv /tmp/java /opt/

jdk安装完配置环境变量，编辑/etc/profile：

sudo vim /etc/profile

在文件末尾添加如下内容：

export JAVA_HOME=/opt/java/
export PATH=JAVAHOME/bin:JAVA_HOME/bin:JAVAHOME/bin:PATH

刷新环境变量：

 source /etc/profile

利用java查看版本号命令验证是否安装成功：

 java -version

2、修改hosts文件

编辑/etc/hosts文件：

 sudo vim /etc/hosts

添加本机IP地址对应本机映射名和其它节点IP地址对应映射名：

  0.0.0.0 master  0.0.0.0 slave1  0.0.0.0 slave2

节点IP地址即”内网管理地址“
3、创建公钥

在zhangyu用户下创建公钥：

 ssh-keygen

出现如下内容：

Enter file in which to save the key (/home/zhangyu/.ssh/id_rsa):

直接使用默认选项，回车即可，出现如下内容：

Enter passphrase (empty for no passphrase)

直接回车，出现内容：

Enter same passphrase again

直接回车，创建完成。

拷贝公钥，过程中需要输入用户密码：“zhangyu”

ssh-copy-id master  ssh-copy-id slave1  ssh-copy-id slave2

拷贝完可以测试连接。
4、Hadoop环境配置

sudo mv /tmp/hadoop /opt/

hadoop安装完配置环境变量，编辑/etc/profile：

sudo vim /etc/profile

在文件末尾添加如下内容：

 export HADOOP_HOME=/opt/hadoop/  export PATH=$HADOOP_HOME/bin:$PATH

刷新环境变量：

 source /etc/profile

利用hadoop查看版本号命令验证是否安装成功：

hadoop version

5、创建数据文件夹

sudo mkdir /data

所有者修改为当前用户：

 sudo chown -R zhangyu.zhangyu /data

至此，slave1配置完成。

slave2与slave1步骤相同，此处省略；

----------------=--------------------------------------------------------------------(^_)-------------------------------------------------------------------------------=------------

以下内容在所有从节点配置完成之后继续进行!

15、格式化分布式文件系统

在hadoop主节点执行（且只能运行一次）：

namenode配件关键语句：

/opt/hadoop/bin/hadoop namenode -format

16、启动Hadoop
在hadoop主节点执行：

/opt/hadoop/sbin/start-all.sh

执行过程中需要输入“yes”，允许利用公钥连接其它机器。

17、查看Hadoop进程
在hadoop主节点执行：

jps
输出结果必须包含6个进程，结果如下：

在hadoop从节点执行同样的操作：

jps

输出结果必须包含3个进程

18、在命令行中输入以下代码，打开Hadoop WebUI管理界面：

firefox http://master:50070

至此hadoop完全分布已经安装完成！！！

----------------=--------------------------------------------------------------------(^_)-------------------------------------------------------------------------------=------------

接下来进行测试：

19、测试HDFS集群以及MapReduce任务程序
利用Hadoop自带的WordCount示例程序进行检查集群；在主节点进行如下操作，创建HDFS目录：

hadoop fs -mkdir /zhangyu/

hadoop fs -mkdir /zhangyu/input

将测试文件上传到到Hadoop HDFS集群目录：

hadoop fs -put /tmp/word.txt /zhangyu/input

执行wordcount程序：

cd /opt/hadoop/share/hadoop/mapreduce/

hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.4.5.jar wordcount /zhangyu/input/ /zhangyu/out/

查看执行结果：

hadoop fs -ls /zhangyu/out/

如果列表中结果包含”_SUCCESS“文件，代码集群运行成功。

查看具体的执行结果，可以用如下命令：

hadoop fs -text /zhangyu/out/part-r-00000

到此，集群安装完成。

Hadoop完全分布安装详细过程--------****--------（ubuntu版本）相关推荐

Linux（二）：VMware虚拟机中Ubuntu安装详细过程
Linux(二):VMware虚拟机中Ubuntu安装详细过程文章目录 1 准备 2 安装 2.1 虚拟机的建立 2.2 虚拟机安装Ubuntu系统 2.3 虚拟机设置 3 完成 1 准备 1.操作 ...
System之Ubuntu：VMware虚拟机 Ubuntu安装详细过程(图文教程，最强攻略，步骤详细，建议收藏)
System之Ubuntu:VMware虚拟机 Ubuntu安装详细过程(图文教程,最强攻略,步骤详细,建议收藏) 导读不是每一个程序员都必须玩过linux,只是博主觉得现在的很多服 ...
如何实现文件互拖-VMware Tools （ubuntu系统）安装详细过程与使用
VMware Tools (ubuntu系统)安装详细过程与使用 1.打开虚拟机VMware Workstation,启动Ubuntu系统,菜单栏 - 虚拟机 - 安装VMware Tools,不启动 ...
VMware Tools （ubuntu系统）安装详细过程与使用
前一段时间博主在VMware虚拟机上安装了Ubuntu系统,如果还没有安装的同学可以参考博主上一篇文章:VMware Ubuntu安装详细过程. 猿友们都知道linux不太好用,如果你想将你主机Win ...
ZABIX5.0.7源码安装详细过程
ZABIX5.0.7源码安装详细过程 Zabbix5.0源码安装文档一:Linux初始设置关闭selinux vi /etc/selinux/config SELINUX=disabled 关闭网 ...
Nacos安装详细过程
本文来说下Nacos(注册中心+配置中心)安装详细过程文章目录初识Nacos Nacos开发必知安装Nacos 本文小结初识Nacos Nacos 致力于帮助您发现.配置和管理微服务.Naco ...
mldonkey 安装详细过程
http://bbs.54cto.com/archiver/tid-891.html mldonkey 安装详细过程 1. P2P 软件推荐使用MLdonkey( http://mldonkey.b ...
win10免费sdk安装详细过程
win10中sdk安装详细过程一. 下载安装包下载网址 http://tools.android-studio.org/index.php/sdk 二. 详细安装过程检查是否安装了jdk安装,没 ...
类似百度文库DocHub安装详细过程
DocHub安装详细过程 DocHub是参考百度文库,使用Beego(Golang)开发的开源文库系统. 程序源码,托管在GitHub和Gitee GitHub: https://github.com ...
ns2安装详细过程与网络仿真
ns2安装详细过程与网络仿真博客分类: Networks TclLinuxUnixGCCVC++ 简单的说,NS-2是一个网络模拟器,所以经常被用到网络课的教学中. NS-2是OpenSource的 ...

Hadoop完全分布安装详细过程--------****--------（ubuntu版本）

Hadoop完全分布安装详细过程--------****--------（ubuntu版本）相关推荐

最新文章

热门文章