Hadoop单节点搭建

伪分布式（single node setup）=单节点搭建Hadoop

---------------------------

1，修改/etc/sysconfig/network 把localhost修改为node1

HOSTNAME=node1

2，重启 reboot 或者 shutdown -r 0

3，关闭防火墙 service iptables stop

4，安装jdk、配置环境变量，测试。

5，安装Hadoop2.6.5 tar-zxvf had... -C /opt/

had...是指文件的全称

6，配置hadoop环境变量

vi /etc/profile 进入环境变量配置文件

添加以下内容

export HADOOP_PREFIX=/opt/hadoop-2.6.5

export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

7，一定source一下profile文件，让文件生效

source /etc/profile

8, 修改/etc/hosts文件，在里面添加

192.168.x.x node1(写centos6的地址)

9，免秘钥配置

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

10，配置Hadoop环境文件，

cd /opt/hadoop-2.6.5/etc/hadoop/

一定要切换到这个目录下，再配置下面的几个文件

vi hadoop-env.sh

修改为自己安装的JDK，注意是修改不是添加

export JAVA_HOME=/usr/java/jdk7（此处需添加自己的jak路径）

11，配置core-site.xml

vi core-site.xml 进入配置

在<configuration>与</configuration>之间添加：

<name>fs.defaultFS</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/var/hadoop/local</value>

</property>

12,配置hdfs-site.xml

vi hdfs-site.xml 进入配置

在</configuration>与</configuration>添加：

<name>dfs.replication</name>

</property>

<name>dfs.namenode.secondary.http-address</name>

</property>

同上图所述

13，配置slaves文件

vi slaves 进入slaves文件

写入node1

14，格式化hdfs

hdfs namenode -format (只能格式化一次，再次启动集群不要执行）

此处可能会报错，如果报错了，需要查看哪一块有问题

15，启动集群

start-dfs.sh

16，查看进程

角色进程查看：jps

如果输入jps命令查看有下面这几个节点就是对的，数字可能不一样的，但是字母都一样

1647 DataNode

2192 Jps

1754 SecondaryNameNode

1570 NameNode

17，在windows 的浏览器中输入http://192.168.x.x:50070

如果出现页面就证明成功了，记住默认端口为50070

最后看到这一步就成功了

Hadoop单节点搭建相关推荐

Hadoop单节点设置
Hadoop单节点设置目的先决条件支持平台必备软件安装软件下载准备启动Hadoop集群独立运行伪分布式操作组态设置无密码SSH 执行在单个节点上的YARN 全分布式运行目的 ...
hadoop三节点搭建
hadoop三节点搭建 test102 K8s-node hdc-data3 1.准备工作确保三台虚拟机都安装了JDK三台机子互相可以ping通 2.上传hadoop安装包到虚拟机,并解压,修改文件夹 ...
Hadoop 单节点伪分布安装手记
实验环境 CentOS 6.X Hadoop 2.6.0 JDK 1.8.0_65 目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS ...
Hadoop系列二：Hadoop单节点伪分布部署并执行mapreduce示例wordcount
HDFS在集群上实现分布式文件系统,MapReduce在集群上实现了分布式计算和任务处理.HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持,MapReduce在HDFS的基础上实现 ...
【大数据系列】hadoop单节点安装官方文档翻译
Hadoop: Setting up a Single Node Cluster. HADOOP:建立单节点集群 Purpose Prerequisites Supported Platforms R ...
hadoop 单节点安装
http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html ,一,.安装hdfs ...
hbase安装，以及安装前置hadoop(单节点)
1.hadoop下载 https://archive.apache.org/dist/hadoop/common/ 这里我下载的是: hadoop-2.7.4.tar.gz 1-1首先做ssh免密码登 ...
hadoop单节点配置并且统计单词
1.下载解压新建目录 lcc@localhost hadoop$ pwd /Users/lcc/soft/hadoop 下面有三个目录 lcc@localhost hadoop$ ll total ...
mongo数据库单节点搭建
安装 wget mongo.tartar -zxvf mongo.tarcd mongomkdir log data conftouch conf/mongod.conf 配置 vi conf/mon ...

Hadoop单节点搭建

Hadoop单节点搭建相关推荐

最新文章

热门文章