linux 安装 hadoop2.6,centos7安装hadoop2.6.1,详细教程
1.我搭建的是三台centos7的环境 首先准备三个centos7(文中出现的所有的链接都是我自己的)
centos7下载地址(也可以上官网自行下载):https://pan.baidu.com/s/1Y_EVLDuLwpKv2hU3HSiPDA 提取码:05mi
2.安装完成后需要修改ip,都改为静态的ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33(有可能不是ifcfg-ens33,自行判断),以下是我的配置,你们可以参考下
BOOTTPROTO必须改为static,NETMASK,GATEWAY,BROADCAST根据自己的虚拟网络编辑器修改
三台虚拟机都需要配置 我的三台机器是
master:192.168.111.10 master
slave1:192.168.111.11 slave1
slave2:192.168.111.12 slave2
设置完毕后ping下网络
3.修改hostname
https://www.cnblogs.com/zhangjiahao/p/10990093.html
4.安装java环境(jdk)
https://www.cnblogs.com/zhangjiahao/p/8551362.html
5.配置多个虚拟机互信(免密登录)
https://www.cnblogs.com/zhangjiahao/p/10989245.html
6.安装配置hadoop
(1)下载
链接:https://pan.baidu.com/s/1m0IXN1up0nk2rxDUMgEC-g
提取码:mhxa
(2)上传解压
rz 选择你的文件进行上传
tar -zxvf 刚才上传的包进行解压
(3)配置
打开hadoop下的etc 找到hadoop-env.sh和yarn-env.sh 在里面添加JAVA_HOME=/usr/local/src/java1.8.0_172(你的jdk安装路径)
编辑core-site.xml:
fs.default.name
hdfs://master:9000
hadoop.tmp.dir
file:/usr/local/src/hadoop-2.6.1/tmp
编辑hdfs-site.xml:
dfs.namenode.secondary.http-address
master:9091
dfs.namenode.name.dir
file:/usr/local/src/hadoop-2.6.1/dfs/name
dfs.datanode.data.dir
file:/usr/local/src/hadoop-2.6.1/dfs/data
dfs.replication
3
编辑mapred-site.xml:
mapreduce.framework.name
yarn
编辑yarn-site.xml:
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
yarn.resourcemanager.address
master:8032
yarn.resourcemanager.scheduler.address
master:8030
yarn.resourcemanager.resource-tracker.address
master:8031
yarn.resourcemanager.admin.address
master:8033
yarn.resourcemanager.webapp.address
master:8088
7.将hadoop配置分发到各个节点
scp -r hadoop2.6.1 [email protected]:/usr/local/src
scp -r hadoop2.6.1 [email protected]:/usr/local/src
8.将环境变量的配置分发到各个节点
scp -r /etc/profile [email protected]:/etc
scp -r /etc/profile [email protected]:/etc
9.配置生效
source /etc/profile
10.在主节点初始化集群
cd/hadoop2.6.1/sbin
hadoop namenode -format
11.启动集群,查看集群是否正常
./start-dfs.sh ./start-yarn.sh
12.查看
hadoop fs -ls /
到hadoop的根目录下 cd /etc/
touch 1.txt
echo 123456 > 1.txt
cat 1.txt
hadoop fs -put 1.txt /
原文:https://www.cnblogs.com/zhangjiahao/p/10992171.html
linux 安装 hadoop2.6,centos7安装hadoop2.6.1,详细教程相关推荐
- 安装部署 —— CentOS6/CentOS7 安装配置mysql 5.7
本文记录下使用CentOS6.5 和7 使用yum安装mysql的过程&一些常见问题 CentOS7 安装MySQL8:CentOS7安装MySQL8.0图文教程_闰土的猹猹君的博客-CSDN ...
- ubuntu18.04 安装qt5.12.8及环境配置的详细教程
这篇文章主要介绍了ubuntu18.04 安装qt5.12.8及环境配置的教程,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下 环境 系统: ...
- Linux下解压命令、压缩命令大全,详细教程
Linux下解压命令.压缩命令大全,详细教程 linux常用的解压和压缩命令如下: 1..tar 解包:tar xvf FileName.tar 打包:tar cvf FileName.tar Di ...
- linux设置docker自动启动,CentOS7安装Docker配置服务端和容器自启动
接上一篇,在VirtualBox上安装配置好了CentOS7,继续在这个虚拟机上装好docker并总结一下使用到的常用功能. 安装Docker 安装直接参考官网来安装就OK,没有遇到什么问题,值得注意 ...
- linux es数据库 head,centos7安装Elasticsearch及Es-head插件详细教程(图文)
懒惰了很久,今天来写一下Elasticsearch在centos7上安装教程以及安装过程中可能出现的报错解决方式,有不对的地方,烦请各位看官多多指教! 一.ES安装 1.环境检查 确保有java环境, ...
- Linux环境搭建:CentOS7安装Oracle
CentOS7 安装Oracle 11.2.0 材料 [root@bogon yum.repos.d]# rpm -qi centos-release Name : centos-release Ve ...
- Linux如何打开cp2k,centos7安装并行版cp2k6.1-POPT
centos7安装并行版cp2k6.1-POPT centos7安装并行版cp2k6.1-POPT 一.环境介绍 系统:Centos7.6 所需软件包:cp2k-6.1.tar.bz2,libint- ...
- linux dhcp 服务失败,Centos7安装及配置DHCP服务,安装程序配置服务失败
Centos7安装及配置DHCP服务,安装程序配置服务失败 DHCP服务概述: 名称:DHCP - Dynamic Host Configuration Protocol 动态主机配置协议. 功能 ...
- linux oracle swd.oui,centos7安装oracle11g报错,请问怎么解?
centos7安装oracle11g报错,请问怎么解? 在centos7下安装oracle11g到85%时报错提示Error in invoking target 'install' of makef ...
- centos7 安装mysql php,Centos7安装mysql与php的方法
本文主要和大家分享Centos7安装mysql与php的方法,希望能帮助到大家. 相关mysql视频教程推荐:<mysql教程> 官网下载安装mysql-server 依次使用下面三个命令 ...
最新文章
- TensorFlow案例实现线性回归
- R语言构建文本分类模型:文本数据预处理、构建词袋模型(bag of words)、构建xgboost文本分类模型、xgboost模型预测推理并使用混淆矩阵评估模型、可视化模型预测的概率分布
- PostgreSQL处理xml数据初步
- IntelliJ IDEA的光芒会盖过Eclipse吗
- Oracle新建表时,复制另一张旧表的结构和数据
- 有了这份程序员面试指南,你离大厂Offer还远吗?| 附推荐书籍
- mysql 126_MySQL教程126-MySQL事务隔离级别
- C++ 形参与实参的传递
- Java 1.1.7 String API (!!!)
- Office 2210 能打钩的复选框
- 『原创』老范的XML文档编辑程序——不是一般的山寨!(原创附程序)
- 有哪些好用的论文检索网站?
- 用QuickCHM v2.6 制作帮助文档
- RefineNet 理解
- 使用poi操作word
- 砺鹰教育之四川财经职业学院讲座——我为什么选择创业?
- 通过使用阿里云的OCR图文识别 实现识别功能
- 机器人是如何实现控制的,它的控制器有哪些组成?
- Scrapy爬虫框架的第一个实例(完整详细!)
- Ubuntu下用aircrack破解WIFI密码
热门文章
- JavaScript详解一
- Android TextView 字符间距设置
- 前端开发查询,一个合格的初级前端工程师需要掌握的模块笔记
- 前端技术实现文件预览(word、excel、pdf、ppt、mp4、图片、文本)
- 上交计算机专硕学费3万,学费从4万涨到12万?上海交大这个专业“太贵”,家长:供不起...
- 【夜深人静写数据结构与算法 | 第八篇】哈希算法与哈希表
- 4.1 使用Python获取网页源代码
- AndroidTV开发14优雅地实现超长大图加载
- P问题、NP问题、NPC问题、NP难问题的概念
- 【数据库专题】耀杨初入SQL被DML打断了双腿——《狗叫江湖》“第三幕”