配置单体hadoop

配置依赖环境

hadoop是Apache的项目，所以依赖java。

有两个必须安装的：

ssh
Java

安装Java

如果是yum安装的话，那么执行

yum list|grep java*

看：

java-1.8.0-openjdk.x86_64                1:1.8.0.312.b07-1.el7_9       installed

这样就可以了。

如果Java不在的话：

yum install java-1.8.0-openjdk.x86_64 // 或者其他版本

添加path

hadoop是个很奇怪的东西，不能直接：

JAVA_PATH = ${JAVA_PAHTH}

所以需要先找一下JAVA_PATH（测试一下JAVA_PATH是否可用）

正常情况下，执行

cd /usr/lib/jvm

里面能找到可用的JDK。

然后选择：

export JAVA_HOME=/usr/lib/jvm/jre-openjdk
source ~/.bashrc

然后测试一下：

$JAVA_HOME/bin/java -version

如果有数据的话，那么会：

[root@VM-4-6-centos jvm]# $JAVA_HOME/bin/java -version
openjdk version "1.8.0_312"
OpenJDK Runtime Environment (build 1.8.0_312-b07)
OpenJDK 64-Bit Server VM (build 25.312-b07, mixed mode)

安装hadoop并解压

获取安装路径，选择二进制安装（binary），不是源码（resource）

推荐的话，文件安装在：/opt

程序安装在：/usr/local

cd /opt
wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.2/hadoop-3.3.2.tar.gz

然后解压

tar -xzvf hadoop-3.3.2.tar.gz
mv hadoop-3.3.2 hadoop
mv hadoop /usr/local

修改命名的原因，是让hadoop容易找

修改配置文件

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

两个说法:

如果你不写入JAVA_PATH,那么就需要在配置文件写入
如果写入，那么预先从配置文件找，如果找不到用JAVA_PATH

然后：如果想直接执行hadoop，需要执行：

$ cd /usr/local/hadoop
$ ./bin/hadoop version

出现这么一个设置，即为单体hadoop配置成功

配置单体hadoop相关推荐

Windows下配置单机Hadoop环境
Windows下配置单机Hadoop环境文章目录 Windows下配置单机Hadoop环境下载Hadoop 下载配置文件配置环境变量初始化HDFS 启动Hadoop 关闭Hadoop 常见错误 ...
配置完hadoop后调用HDFS的API进行统计英语单词数量
前提:hadoop已经配置完成并且已经成功启动. 1.首先在windows系统中创建一个文本文件,并在其中添加含有英语单词的文本保存. 2.将刚刚创建的文本文件上传到hadoop中,这里有两种办法: ...
安装Idea(集成scala)以及在windows上配置spark(hadoop依赖)本地开发环境
这两天花了点时间重装了win 10,必要的开发常用工具如IDE Idea以及运行spark等任务需要的hadoop本地依赖环境重新配起来,记录下简要步骤和几个小问题希望能给正在学习的小伙伴一点帮助. ...
配置单机版hadoop
1.配置网络 vi /etc/sysconfig/network-scripts/ifcfg-ens33 onboot=no =>yes 动态获取ip 192.168.140.143 可以根據網 ...
hadoop fs命令无法使用_「大数据」「Hadoop」HDFS的配置与管理
HDFS(Hadoop Distributed File System)是Hadoop三个基础组件之一,为另外的组件以及大数据生态中的其他组件提供了最基本的存储功能,具有高容错.高可靠.可扩展.高吞吐 ...
【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
VMware Workstation 9下基于Ubuntu 12.10服务器版本的Hadoop集群的配置
(主要参照http://os.51cto.com/art/201211/363116.htm) 一.概述其实,网上关于Hadoop集群的配置的资料不可谓不少,但是,细细找来,多半是在有图形桌面的环境 ...
Hadoop centos 6.5 配置
2019独角兽企业重金招聘Python工程师标准>>> 配置网络(虚拟主机需要更改网络适配器为:桥接模式-复制物理网络连接状态) //vi /etc/sysconfig/networ ...
Hadoop伪分布式配置试用+eclipse配置使用
参考文档:http://hadoop.apache.org/common/docs/current/single_node_setup.html 环境:WinXP+cygwin+hadoop-0.20 ...