Hadoop3.x版本安装及其应用部署

** 需要准备的：**

1.   JDK
2.   多台计算机
3.   实现无密登录

4.解压hadoop3.1.2

tar -zxvf hadoop3.1.2.tar.gz /usr/soft/

5.删除帮助文档

 rm -rf /usr/soft/hadoop-3.1.2/share/doc

6.修改hadoop-env.sh

export JAVA_HOME=/usr/soft/jdk1.8.0_211           #  echo $JAVA_HOME 你的路径
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

7 修改环境变量

vi /etc/profile
略  ...

8.修改core-site.xml

<property><name>fs.defaultFS</name><value>hdfs://第一台主机IP:9820</value>
</property>
<property><name>hadoop.tmp.dir</name><value>你自己的文件存放路径 </value></property>

9.修改hdfs-site.xml

<property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.secondary.http-address</name><value>从节点IP:9868</value></property>

10.修改workers

写入所有datanode节点的名字

11.把hadoop分发给所有的从节点

scp  -r hadoop3.1.2/ 其他节点IP:$PWD

12.格式化启动

hdfs  namenode –format
start-all.sh

13.查看hadoop服务站点 http://IP:9870 可以看到datanode

Hadoop3.x版本安装及其应用部署相关推荐

基于Ubuntu Server 16.04 LTS版本安装和部署Django之（二）：Apache安装和配置
基于Ubuntu Server 16.04 LTS版本安装和部署Django之(一):安装Python3-pip和Django 基于Ubuntu Server 16.04 LTS版本安装和部署Djan ...
基于Ubuntu Server 16.04 LTS版本安装和部署Django之（一）：安装Python3-pip和Django
近期开始学习基于Linux平台的Django开发,想配置一台可以发布的服务器,经过近一个月的努力,终于掌握了基于Apache和mod-wsgi插件的部署模式,自己也写了一个教程,一是让自己有个记录,二 ...
1、hadoop3.1.4简单介绍及部署、简单验证
Hadoop系列文章目录 1.hadoop3.1.4简单介绍及部署.简单验证 2.HDFS操作 - shell客户端 3.HDFS的使用(读写.上传.下载.遍历.查找文件.整个目录拷贝.只拷贝文件.列 ...
centos losf 安装_Linux Centos7部署环境安装-CentOS
Linux Centos7部署环境安装-CentOS Centos7部署环境安装及Linux常用命令 centos系统下各文件夹的作用 centos7修改系统默认语言 centos7安装rz/sz命令 ...
爬虫实战：CentOS安装JDK，部署Java程序，利用screen使其保持在前台运行
一.CentOS 7 yum 安装与配置 JDK 参考:https://blog.csdn.net/github_38336924/article/details/82221258 1.检查是否已安装 ...
MIP开发教程(一) MIP-CLI工具安装与环境部署
依赖安装安装 MIP-CLI 创建开发文件结构 1. 依赖安装 MIP-CLI 使用 NPM 安装,依赖 node 环境: node 安装-windows node 安装-mac MIP-CLI 开 ...
websphere一直安装部署_WebSphere集群安装配置及部署应用说明
<WebSphere集群安装配置及部署应用说明>由会员分享,可在线阅读,更多相关<WebSphere集群安装配置及部署应用说明(27页珍藏版)>请在人人文库网上搜索. 1.We ...
嵌入式Linux的QT版本,嵌入式Linux版本Qt5.4快速部署
关键词: 摘要:Qt是一个领先的跨平台应用和UI 开发框架(Framework),使用标准C++,适用于桌面,嵌入式和移动平台.本文着重就利用Boot to Qt 软件包来实现Qt5在嵌入式ARM平 ...
linux安装Aria2和部署AriaNg Web服务
概述学习和记录linux中安装Aria2和部署AriaNg前端服务. 部署aria2c 安装命令 apt-get update apt-get -y install aria2c #(基于Debia ...

Hadoop3.x版本安装及其应用部署

Hadoop3.x版本安装及其应用部署相关推荐

最新文章

热门文章