全分布式集群搭建流程(超详细)
全分布式的集群搭建流程如下:
1、克隆虚拟机
2、克隆后的配置
- 修改网卡信息
vi /etc/udev/rules.d/70-persistent-net.rules
- 修改主机名
vi /etc/sysconfig/network
- 修改ip信息
vi /etc/sysconfig/network-scripts/ifcfg-eth0(修改里面的UUID和网卡(MAC)地址)
- 修改映射
vi /etc/hosts
进入以后在下方添加
192.168.111.111 hadoop02 www.hadoop02.com
然后输入命令:
service network restart //**(切换到eth0**)
ifconfig //**(查看ip**)
然后在windows的命令行中ping一下:即ping 192.168.111.111(查看是否可以ping通)
关于Xshell设置出错的解决方案:点击要修改的客户端,右键选择properties,即可进行修改
3、搭建hadoop的集群
Local (Standalone) Mode
Pseudo-Distributed Mode
Fully-Distributed Mode
Hadoop全分布式环境搭建:
规划:
主机名称 IP地址 功能
hadoop01 192.168.111.110 NameNode、DateNode、resourcemanager、 nodemanager
hadoop02 192.168.111.111 DateNode、nodemanager
hadoop03 192.168.111.112 DateNode、nodemanager
所有机子都需要配置
1、JDK 2、SSH免登陆 3、Hadoop集群
配置Hadoop的相关配置文件:
⑴、 vi ./etc/hadoop/hadoop-env.sh
⑵、 vi ./etc/hadoop/core-site.xml
进入以后输入:
<!-- 在<configuration>下输入:-->
<configuration>
<!-- 配置hdfs文件系统的命名空间 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!-- 配置操作hdfs的缓冲大小 -->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<!-- 配置临时数据存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-3.2.0/bigdata/tmp</value>
</property>
</configuration>
⑶、vi ./etc/hadoop/hdfs-site.xml
进入以后输入:
<!-- 在<configuration>下输入:-->
<configuration>
<!-- 配置副本数 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- hdfs的元数据的存储位置 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/hadoop-3.2.0/dfs/name</value>
</property>
<!-- hdfs的数据的存储位置 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/hadoop-3.2.0/dfs/data</value>
</property>
<!-- hdfs的namenode的web ui地址 -->
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop01:50070</value>
</property>
<!-- hdfs的snn的web ui地址 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop01:50090</value>
</property>
<!-- 是否开启web操作hdfs -->
<property>
<name>dfs.webhdfs.enabled</name>
<value>false</value>
</property>
<!-- 是否启用hdfs的权限(acl) -->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
⑷、 vi ./etc/hadoop/mapred-site.xml
进入以后输入:
<!-- 在<configuration>下输入:-->
<configuration>
<!-- 指定mapreduce运行框架 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 历史服务的通信地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>
<!-- 历史服务的web ui地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop01:19888</value>
</property>
</configuration>
⑸、 vi ./etc/hadoop/yarn-site.xml
进入以后输入:
<!-- 在<configuration>下输入:-->
<configuration>
<!--指定ResourceManager启动的服务器主机名-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
<!--指定ResourceManager的shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定ResourceManager的内部通信地址-->
<property>
<name>yarn.resourcemanager.address</name>
<value>hadoop01:8032</value>
</property>
<!--指定ResourceManager的scheduler的内部通信地址-->
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>hadoop01:8030</value>
</property>
<!--指定ResourceManager的resource-tracker的内部通信地址-->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>hadoop01:8031</value>
</property>
<!--指定ResourceManager的admin的内部通信地址-->
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>hadoop01:8033</value>
</property>
<!--指定ResourceManager的web ui监控地址-->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>hadoop01:8088</value>
</property>
</configuration>
⑹、 vi ./etc/hadoop/workers
进入以后(进去以后应该为空)输入:
hadoop02
hadoop03
远程分发到别的服务器上面:
scp -r ../hadoop-3.2.0/ hadoop02:/usr/local/
scp -r ../hadoop-3.2.0/ hadoop03:/usr/local/
//启动之前,在namenode服务器上先格式化,只需一次即可
#hadoop namenode -format
启动namenode、datanode、ResourceManager、NodeManager节点
全启动:
start-all.sh
模块启动:
#start-dfs.sh
#start-yarn.sh
单个进程的启动与停止:
hadoop-daemon.sh start/stop namenode
hadoop-daemons.sh start/stop datanode
yarn-daemon.sh start/stop namenode
yarn-daemons.sh start/stop datanode
mr-jobhistory-daemon.sh start/stop historyserver
当出现./sbin/start-dfs.sh启动报错时,应进入vi ./sbin/start-dfs.sh和vi ./sbin/stop-dfs.sh,并且在其顶部输入以下命令:
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=rootYARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
ssh免密登录:
输入:
ssh-keygen -t rsa
然后一直回车即可实现免密登录
全分布式集群搭建流程(超详细)相关推荐
- 全分布式集群搭建总结
全局分布式集群搭建 注: 如果之前搭建过伪分布式集群,则必须删除就hadoop的jar包,重新解压,因为之前配的文件有可能会冲突. 接下来是搭建集群的详细配置步骤 ~~ 搭建集群之前的一些设置 ...
- Hadoop全分布式集群搭建(全网最详细,保姆级教程)
在上一篇Hadoop环境搭建(全网最详细,保姆级教程)中已经搭建好了一个单机Hadoop环境,接下来搭建全分布式Hadoop集群 首先对Hadoop全分布示集群进行简单介绍和规划 一个集群由一个主机, ...
- Hadoop集群搭建(超详细)
Hadoop三大公司 apache hortonWorks Cloudera 星环科技(国内) Hadoop的模块组成 HDFS:一个高可靠.高吞吐量的分布式文件系统. MapReduce:一个分布式 ...
- Redis集群搭建【超详细】
有问题可以关注公众号:提着月亮去火星 一.基本环境 首先我们需要使用VMware配置几个虚拟机,我们需要安装VMWare然后 下载自己的linux镜像文件,在虚拟机上安装linux系统, vm15和c ...
- 一文快速学会hadoop完全分布式集群搭建,很详细
文章目录 前言 一.准备工作 二.克隆三台虚拟机并进行网络配置 克隆 虚拟机克隆引导 修改网络配置 验证 验证方式一 验证方式二 三.安装jdk和hadoop 四.ssh免密登录配置 概述 生成公钥和 ...
- hadoop集群搭建(超详细版)
1.准备好需要安装的软件 虚拟机VMware12.pro 操作系统CentOS 6.5 远程控制虚拟机的终端SecureCRT8.1 2.在虚拟机中安装CentOS操作系统 安装好虚拟机,图形界面如下 ...
- redis全分布式集群
文章目录 前言 Redis集群分片 槽位分片举例: Redis集群节点复制 Redis集群故障转移 全分布式集群搭建 Redis集群总结 前言 之前我们介绍了Twitter的解决方案,推出了路由代理的 ...
- Hadoop完全分布式集群搭建详细图文教程
本文所使用的环境及版本: CentOS Linux release 7.9.2009 (Core) jdk1.8.0_291 hadoop-3.2.2 一.安装模板机 1.安装CentOS 7.9并配 ...
- 第二节HDFS完全分布式集群搭建与配置及常见问题总结
提示:此文章内容超级全面和详细 文章目录 前言 一.HDFS完全分布式集群是什么? 二.HDFS完全分布式集群搭建与配置 1.HDFS完全分布式集群搭建库 2.HDFS完全分布式集群搭建配置 HDFS ...
最新文章
- Palo Alto 防火墙升级 Software
- python代码块-Python中的代码块和非代码块是什么
- 《深入Python》-11. HTTP Web 服务
- 用Docker构建LNMP环境(上)
- Spring3 整合 Hibernate4实现数据库操作(1)
- 2015年《大数据》高被引论文Top10文章No.2——大数据时代的数据挖掘 —— 从应用的角度看大数据挖掘(下)...
- iPhone 13的新对手?小米历史上最好看的手机即将发布
- 【Flink】Flink 如何 保证 同一个key对应的state是一个呢?KeyedProcessFunction
- 三相四线怎样查漏电_漏电保护器的选用
- 松灵机器人Scout代码分析 --- scout_ros
- @EnableWebMvc引发的swagger-ui.html的灾难
- G - Power Strings
- 2013计算机大纲,2013安徽公务员考试计算机大纲
- zblog php 首页经常被篡改,浏览器首页经常被篡改,这样设置,自己也改不掉!...
- cmd中通过winsat命令测试硬盘、CPU、内存、3d性能等
- 图扑 Web SCADA 零代码组态水泥生产工艺流程 HMI
- php获取用户访问的dns,dnsproxy in php
- Python笔记:数据分列
- php编写六十甲子纳音表_六十甲子纳音表
- 基于Linux 5.4.18的nvme驱动学习 - Linux相关概念 (一)