hadoop安装(超详细)
本文用到的软件
设置固定IP
(1)
(2)修改配置文件“/etc/sysconfig/network-scripts/ifcfg-ens33
”
#修改:
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
\#添加以下内容
IPADDR=192.168.128.130(根据自身情况)
NETMASK=255.255.255.0
GATEWAY=192.168.128.2
DNS1=192.168.128.2
重启服务,输入“service network restart
”
(3)再次重启服务并查看IP。
克隆节点
把克隆好的节点重新设置IP(修改地方如图)
修改主机名
最好是在xshell中进行
使用hostnamectl set-hostname
+修改后的主机名, 命令修改主机名
或者( vi /etc/hostname
)
修改好后重启虚拟机(reboot
)
重新连接后
配置IP映射
每个节点都要添加后
能够相互ping通
安装免密
应该是在主节点安装就可以了
ssh-keygen -t rsa
生成私有密钥id_rsa和公有密钥id_rsa.pub两个文件。ssh-keygen用来生成RSA类型的密钥以及管理该密钥,参数“-t”用于指定要创建的SSH密钥的类型为RSA。
(2)用ssh-copy-id将公钥复制到远程机器中
ssh-copy-id -i /root/.ssh/id_rsa.pub server001`//依次输入yes,123456(root用户的密码)
ssh-copy-id -i /root/.ssh/id_rsa.pub server002
ssh-copy-id -i /root/.ssh/id_rsa.pub server003
验证是否设置无密码登录
配置时间同步服务
(1)安装NTP服务。在各节点:
yum -y install ntp
(2)设置假设master节点为NTP服务主节点,那么其配置如下。
使用命令“vim /etc/ntp.conf
”打开/etc/ntp.conf文件,注释掉以server开头的行,并添加:
restrict 192.168.128.2 mask 255.255.255.0 nomodify notrap
server 127.127.1.0
fudge 127.127.1.0 stratum 10
(3)在slave中配置NTP,同样修改/etc/ntp.conf文件,注释掉server开头的行,并添加:
server master
(4)执行命令“sudo systemctl stop firewalld.service
”永久性关闭防火墙,主节点和从节点都要关闭。
(5)启动NTP服务
① 在master节点执行命令“service ntpd start & chkconfig ntpd on
”
② 在slave上执行命令“ntpdate master
”即可同步时间
③ 在slave上分别执行“service ntpd start & chkconfig ntpd on
”即可启动并永久启动NTP服务。
安装jdk(以master为例,主节点和从节点都要配置)
每一个结点都要安装
(1) 上传JDK安装包到虚拟机/opt目录
(2) 进入/opt目录,执行命令“rpm -ivh jdk-8u151-linux-x64.rpm
”安装JDK
(3) 在/etc/profile添加
export JAVA_HOME=/usr/java/jdk1.8.0_151
export PATH=$PATH:$JAVA_HOME/bin
执行source /etc/profile
使配置生效
(4) 验证JDK是否配置成功,执行命令“java -version”
Hadoop集群配置()
- 后面的配置文件都是复制粘贴就好
- 通过xmanager的Xftp上传hadoop-2.6.5.tar.gz文件到/opt目录
- 解压缩hadoop-2.6.5.tar.gz 文件
tar -zxf hadoop-2.6.5.tar.gz -C /usr/local
解压后即可,看到/usr/local/hadoop-2.6.5文件夹
- 配置Hadoop
进入目录:
cd /usr/local/hadoop-2.6.5/etc/hadoop/
依次修改下面的文件:
4.1 core-site.xml
<configuration><property><name>fs.defaultFS</name> <value>hdfs://master:8020</value> </property> <property><name>hadoop.tmp.dir</name><value>/var/log/hadoop/tmp</value></property>
</configuration
4.2 hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_151
4.3 hdfs-site.xml
<configuration>
<property><name>dfs.namenode.name.dir</name><value>file:///data/hadoop/hdfs/name</value>
</property>
<property><name>dfs.datanode.data.dir</name><value>file:///data/hadoop/hdfs/data</value>
</property>
<property><name>dfs.namenode.secondary.http-address</name><value>master:50090</value>
</property>
<property><name>dfs.replication</name><value>3</value>
</property>
</configuration>
4.4复制cp mapred-site.xml.template mapred-site.xml
mapred-site.xml
<configuration>
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
<!-- jobhistory properties -->
<property><name>mapreduce.jobhistory.address</name><value>master:10020</value>
</property>
<property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value>
</property>
</configuration>
4.5 yarn-site.xml
<configuration><property><name>yarn.resourcemanager.hostname</name><value>master</value></property> <property><name>yarn.resourcemanager.address</name><value>${yarn.resourcemanager.hostname}:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>${yarn.resourcemanager.hostname}:8030</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>${yarn.resourcemanager.hostname}:8088</value></property><property><name>yarn.resourcemanager.webapp.https.address</name><value>${yarn.resourcemanager.hostname}:8090</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>${yarn.resourcemanager.hostname}:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>${yarn.resourcemanager.hostname}:8033</value></property><property><name>yarn.nodemanager.local-dirs</name><value>/data/hadoop/yarn/local</value></property><property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.nodemanager.remote-app-log-dir</name><value>/data/tmp/logs</value></property>
<property> <name>yarn.log.server.url</name> <value>http://master:19888/jobhistory/logs/</value><description>URL for job history server</description>
</property>
<property><name>yarn.nodemanager.vmem-check-enabled</name><value>false</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property>
<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>2048</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> <value>512</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>4096</value> </property> <property> <name>mapreduce.map.memory.mb</name> <value>2048</value> </property> <property> <name>mapreduce.reduce.memory.mb</name> <value>2048</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property>
</configuration>
4.6 yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_151
4.7 slaves
删除localhost,(有几个添加几个)添加:
slave1
slave2
slave3
拷贝hadoop安装文件到集群slave节点
scp -r /usr/local/hadoop-2.6.5 slave1:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave2:/usr/local
scp -r /usr/local/hadoop-2.6.5 slave3:/usr/local
5.在/etc/profile添加Hadoop路径
export HADOOP_HOME=/usr/local/hadoop-2.6.5
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile使修改生效
- 格式化NameNode
进入目录
cd /usr/local/hadoop-2.6.5/bin
执行格式化
./hdfs namenode -format
7.启动集群
进入目录
cd /usr/local/hadoop-2.6.5/sbin
执行启动:
./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver
使用jps,查看进程
[root@master sbin]# jps
1765 NameNode
1929 SecondaryNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager
[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager
在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com
- 浏览器查看:
http://master:50070
yNameNode
2378 JobHistoryServer
2412 Jps
2077 ResourceManager
[root@slave1 ~]# jps
1844 Jps
1612 DataNode
1711 NodeManager
在Windows下C:\Windows\System32\drivers\etc\hosts添加IP映射
192.168.128.130 master master.centos.com
192.168.128.131 slave1 slave1.centos.com
192.168.128.132 slave2 slave2.centos.com
192.168.128.133 slave3 slave3.centos.com
- 浏览器查看:
http://master:50070
http://master:8088
总结:这就是一篇笔记,根据以前学校老师给出的文件自己搭建的集群。后面很多配置文件我也看不懂。
hadoop安装(超详细)相关推荐
- 大数据平台Ambari2.7.4+HDP3.1.4安装(超详细教程)
大数据平台Ambari2.7.4+HDP3.1.4安装(超详细教程) Ambari2.7.4+HDP3.1.4是最后一个免费版本,新版本需要授权. 因工作需要,安装大数据集群,了解到Ambari属于A ...
- mysql超详细教程_MySQL8.0.23安装超详细教程
前言 最近在做一个人脸识别的项目,需要用数据库保存学生信息与前段交互. MySQL的优点 1.mysql性能卓越,服务稳定,很少出现异常宕机. 2.mysql开放源代码且无版权制约,自主性及使用成本低 ...
- mysql 8.0.22_最新版MySQL 8.0.22下载安装超详细教程(Windows 64位)
前言 前几天下载安装了最新版的MySQL 8.0.22,遇到了不少问题,参考了一些方法,最终得以解决.今天将自己的安装过程记录下来,希望对各位有所帮助. 一.MySQL 8.0.22官网下载 点击进入 ...
- 《星露谷物语》mod安装超详细教程
<星露谷物语>mod安装超详细教程 目录 <星露谷物语>mod安装超详细教程 1.检查自己的游戏版本 2.到n网(https://www.nexusmods.com/stard ...
- Git安装教程(Windows安装超详细教程)
Git安装教程(Windows安装超详细教程) weir_will 关注 0.9 2017.10.08 00:59* 字数 728 阅读 17955评论 8喜欢 41 2018年4月14日更新 更 ...
- mMySQL中触发器和游标的介绍与使用L8.0.23免安装版配置详细教程 msi安装超详细教程
文章来源: 学习通http://www.bdgxy.com/ 普学网http://www.boxinghulanban.cn/ 智学网http://www.jaxp.net/ 一.下载MySql,安装 ...
- k8s1.18多master节点高可用集群安装-超详细中文官方文档
kubernetes安装系列文章 kubernetes1.17.3安装-超详细的安装步骤 安装kubernetes1.17.3多master节点的高可用集群 k8s1.18单master节点高可用集群 ...
- Android Studio安装超详细步骤(包括SDK安装不成功,模拟器无法创建等问题)
本文主要介绍CPU为AMD锐龙和英特尔两种类型在安装中出现的一些问题,两种解决的方案不同,所以首先查看属于哪种,然后找相对应的安装方法. Android Studio的安装需要准备两个安装文件,一个是 ...
- 计算机系统在线安装,超详细的电脑装系统教程,手把手教你免费安装,再也不求人...
重装前的准备: 1. 首先在网站上搜索"韩博士装机大师",或者到对应的网站上进行下载,在打开文件之前大家要记得关闭所有的杀毒软件,以免杀毒软件误认为是病毒,从而对文件进行隔离,导致 ...
- Hadoop虚拟机安装超详细版
Hadoop虚拟机安装 一.准备安装包 二.Hadoop虚拟机安装步骤 1.创建一个新的虚拟机 2.选择使用的使用类型 3.选择稍后安装 4.选择我们的操作系统:CentOS 64位 5.命名一个虚拟 ...
最新文章
- 机器学习入门(13)— Affine 仿射层、Softmax 归一化指数函数层实现
- Linux命令中的Z原来是这个意思
- vijos p1659——河蟹王国(线段树)(复习)
- Ubuntu16.04中安装mininet
- rabbitmq的启动命令和springboot整合使用rabbitmq
- 使用Qt Designer编辑资源
- 现在java就业前景怎么样?现在入行晚了吗
- 字符串_字符串数组_字符_字符数组
- 防注入php 留言板代码,简单的 php 防注入代码
- Linux学习笔记003----linux yum命令详解
- unix设置线程优先级-转
- 评论计算机课程讲师教学质量,浅谈信息技术课堂评价的策略
- 软考高级信息系统项目管理师/高项和PMP的区别,以及对比
- 3.3V系统和5V系统电平转换
- 苹果电脑忘记开机密码重设教程
- Java处理音频文件wav转mp3/mp3转wav
- 2016年度中国手游报告:梦幻西游手游是最大赢家
- android手机如何截屏,安卓手机怎么截图? (全文)
- 如何在Mac上给移动硬盘加密
- 面试题数组L型输出思路