hadoop集群规划

HDFS中有NN和DN
YARN中有RM和NM
假设有三台机器：

hadoop000 192.168.199.234 部署：NN DN RM NM
hadoop001 192.168.199.235 部署：DN NM
hadoop002 192.168.199.236 部署：DN NM

首先在每台机器中修改/etc/hostname对应的hadoop000 hadoop001 hadoop002
修改hostname与ip的对应关系。修改/etc/hosts

192.168.199.234 hadoop000
192.168.199.235 hadoop001
192.168.199.236 hadoop002
192.168.199.236 localhost

每台机器安装ssh，并且设置免密码登录
在hadoop00中进行操作：

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop000
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop001
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop002

每个节点上安装jdk
安装hadoop
配置hadoop-env.sh中的java_home。
配置core-site.xml，内容如下：

<property><name>fs.default.name</name><value>hdfs://hadoop000:9000</value>
</property>

配置hdfs-site.xml，内容如下：

<property><name>hadoop.tmp.dir</name><value>/home/hadoop/app/tmp/hadoop-tmp</value>
</property>
<property><name>dfs.namenode.name.dir</name><value>/home/hadoop/app/tmp/dfs/name</value>
</property>
<property><name>dfs.datanode.data.dir</name><value>/home/hadoop/app/tmp/dfs/data</value>
</property>

配置yarn-site.xml，内容如下：

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property><property><name>yarn.resourcemanager.hostname</name><value>hadoop000</value>
</property>

配置mapred-site.xml，内容如下：

<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>

在slaves文件中，修改内容如下：

hadoop000
hadoop001
hadoop002

分发hadoop目录到其他机器
NN格式化：hadoop namenode -format
启动HDFS
启动YARN

Hadoop集群规划相关推荐

三台服务器搭建hadoop集群
集群准备好三台服务器或虚拟机,系统版本centos7.5,本集群使用虚拟机搭建修改服务器hostname vim /etc/hostname 将内容修改为要设置的主机名,三台主机hostname分 ...
Hadoop环境搭建教学(一)运行环境,集群规划介绍；
文章目录前言一.Hadoop的三种运行环境二.集群规划三.需要的基本软件安装下期见前言 Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很 ...
【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
Hadoop集群的基本操作（二：HBase的基本操作）
实验目的要求目的: 1.HBase的基本应用要求: 完成HBase的高可用完全分布模式的安装: HBase的相关服务进程能够正常的启动: HBase控制台能够正常使用: 表创建.数据查询等数据 ...
Hadoop集群的基本操作（一：HDFS操作及MapReduce程序练习）
实验目的要求目的: 理解HDFS在Hadoop体系结构中的角色: 熟练使用HDFS操作常用的Shell命令: 了解Hadoop集群MapReduce程序的简单使用: (上传WordCount的j ...
Hadoop集群搭建（六：HBase的安装配置）
实验目的要求目的: 1.HBase的高可用完全分布模式的安装和验证要求: 完成HBase的高可用完全分布模式的安装: HBase的相关服务进程能够正常的启动: HBase控制台能够正常使用: ...
Hadoop集群搭建（五：Hadoop HA集群模式的安装）
实验目的要求目的: 1.Hadoop的高可用完全分布模式的安装和验证要求: 完成Hadoop的高可用完全分布模式的安装: Hadoop的相关服务进程能够正常的启动: HDFS能够正常的使用: ...
hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...
Hadoop集群搭建及MapReduce应用
一.Hadoop集群的搭建与配置 1.节点准备集群规划: 主机名 IP 安装的软件运行的进程 weekend 01 192.168.1.60 jdk.hadoop NameNode.DFSZKFa ...

Hadoop集群规划

hadoop集群规划

Hadoop集群规划相关推荐

最新文章

热门文章