Hadoop伪分布式搭建

1、到hadoop官网下载hadoop3.0，解压后用xftp复制到ubuntu中

2、配置hadoop的环境变量

在/etc/profile文件中添加如下语句：

exportHADOOP_HOME=/home/navy/hadoop

exportPATH=$PATH:$JAVA_HOME:$HADOOP_HOME/bin

3、配置完后，重启配置使其生效。source /etc/profile

4、运行 hadoop输出一长串信息，说明hadoop环境变量配置成功

5、修改hadoop中etc/hadoop目录下hadoop-env.sh文件，将其中的JAVA_HOME改为jdk安装目录，我们的jdk安装目录为/home/navy/jdk1.8.0_162。修改后如下图所示：

6、修改hadoop中etc/hadoop/目录下的core-site.xml文件。这个文件的详解可以查看官网http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml 上的说明。我们先看看io.seqfile.local.dir配置项，这个是用来指定序列文件在合并期间存储中间数据文件的本地目录，而它的值是${hadoop.tmp.dir}/io/local。我们再看看这里面引用的临时文件目录配置项 hadoop.tmp.dir，它的值为 /tmp/hadoop-${user.name}。也就是说，默认情况下，文件合并期间产生的中间数据文件存放在临时目录/tmp/hadoop下。大家都知道这是一个临时文件目录，当我们再次启动服务器的时候，该目录下的文件就会清空，所以，为了更久的保存数据，我们可以重新指定一个目录，用来存储这些数据文件。

我们在当前用户目录下创建tmp（mkdir tmp）目录，路径为/home/navy/tmp。打开core-site.xml文件，如下：

在<configuration>中添加如下配置

（1）添加指定中间数据文件存放目录的配置。

<name>hadoop.tmp.dir</name>

</property>

（2）添加指定默认文件系统名称的配置。即，请求这个hdfs的URL地址。

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

添加完后，使用cat命令查看该文件信息，如下图所示：

7、修改hadoop中etc/hadoop目录下的hdfs-site.xml文件。这个文件的详解可以查看官网 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml上的说明。我们先看这个配置文件中的 dfs.replication 配置项，这个是用来指定hdfs的副本数的，默认值为3。现在我们用的是伪分布式，没有那么多副本节点，所以我们将其改为1。打开hdfs-site.xml文件，在<configuration></configuration>标签中添加如下代码：

<name>dfs.replication</name>

</property>

修改完后，如下图所示：

8、设置ssh无密码登录。

现在当我们每次使用ssh localhost访问的时候，都需要输入密码。此时我们可以改成无密码登录。首先退出root用户，到普通用户。然后执行 ssh-keygen -t rsa（使用rsa加密，还有一种方式是dsa）命令生成密钥。执行后会在用户登录目录下生成.ssh目录和id_rsa、id_rsa.pub个文件，如下图所示：

将生成的公钥复制到 .ssh/authorized_keys中，这样登录就不需要密码了。执行命令 cp id_rsa.pub authorized_keys，完成后.ssh目录中的文件如下：

9、格式化文件系统。执行hadoop中bin目录下的hdfs namenode -format 指令即可。

10、开启节点守护进程。执行hadoop 中sbin 目录下的tart-dfs.sh 指令即可。此时，可能会提示 rcmd: socket: Permission denied，如下图所示：

此时，可以在/etc/pdsh目录下新建 rcmd_default（touch rcmd_default）文件，然后用vi打开此文件，写入ssh，然后回车（注意：一定要回车另起一行，不然会报错）。然后在运行 sbin/start-dfs.sh 开启守护进程。使用jps查看进程启动情况，如下图所示：

11、关闭防火墙。查看防火墙状态：sudo ufw status 关闭防火墙：sudo ufw disable 开启防火墙：sudo ufw enable sudo ufw default deny

12、在浏览器中输入http://<hadoop服务器IP地址>:98710，如：http://192.168.30.130:9870能看到启动进程页面，说明搭建成功。页面如下：

Hadoop伪分布式搭建相关推荐

Hadoop伪分布式搭建（本人新手，欢迎大家多多指导和关照）
1.创建hadoop账户,创建用户的home目录并设置密码.(useradd -m hadoop ) 2.本步骤可以不做(我是为了方便,给hadoop赋予了root权限)(vi /etc/sudoer ...
centOS 7下Hadoop伪分布式搭建
记录笔记,尝试在centOS下安装Hadoop伪分布式(之前是在Ubuntu下安装的),查漏补缺. 步骤第一步:先把在window系统中下载好的关于Hadoop.jdk压缩包用Xftp传输到cent ...
hadoop伪分布式搭建 java_hadoop2.2.0伪分布式搭建
第一步:安装jdk 我的linux版本是centos7,使用最简单的安装方式,这里首先说一下,由于系统会预装openjdk版本等其他各种版本,首先要做的是清除这些版本,然后iu安装oracle的jdk ...
Hadoop伪分布式配置和搭建，hadoop单机安装，wordcount实例测试，hadoop安装java目录怎么找，问题及问题解决方法
Hadoop伪分布式配置和搭建,hadoop单机安装,wordcount实例测试,hadoop安装java目录怎么找,问题及问题解决方法环境说明系统:ubuntu18.04 主机名:test1 用 ...
Spark伪分布式搭建与SparkYarn搭建
Spark伪分布式搭建教程(Standalone:Master+Slave) 分析: 1.配置好IP 2.修改好主机名 3.做好IP映射 4.关闭防火墙 5.安装好Java(请参考Linux-Java ...
Windows 7 64位系统上搭建Hadoop伪分布式环境（很详细）
在开始配置前,我们先了解Hadoop的三种运行模式. Hadoop的三种运行模式独立(或本地)模式:无需运行任何守护进程,所有程序都在同一个JVM上执行.在独立模式下测试和调试MapReduce程序 ...
HADOOP 伪分布式集群搭建
一 linux 环境的搭建由于笔者这里使用的是vmware 虚拟机采用centos7 linux 操作系统进行搭建,所以一下示例均以centos7进行示例 1. 搭建vmware 虚拟机 (1) ...
本地搭建Hadoop伪分布式环境之一：虚拟机的安装
作者:GISer_Leo 好久没有写技术文档了,最近都在做项目:今日抽空搭建下Hadoop伪分布式环境: 个人笔记本:win8.1系统,内存32G,i7,硬盘1.5T: 准备软件:1.VMware-w ...
Hadoop组件搭建-Hadoop伪分布式
该文章仅用于记录个人笔记,如果您觉得不专业或者有误导,打扰到您,请谅解. Hadoop组件搭建-前置要求 Hadoop组件搭建-jdk Hadoop组件搭建-Hadoop伪分布式 Hadoop组件搭建 ...

Hadoop伪分布式搭建

Hadoop伪分布式搭建相关推荐

最新文章

热门文章