Linux伪分布式安装Hadoop
2024-06-20 05:43:38
Linux伪分布式安装Hadoop
1. 更新软件列表
hadoop@jeff:~$ sudo apt update
2. 安装vim编辑器
hadoop@jeff:/home/jeff$ sudo apt install -y vim
3. 安装SSH服务并配置免密登录
安装SSH服务
hadoop@jeff:/home/jeff$ sudo apt install -y openssh-server openssh-client
配置免密登录
hadoop@jeff:~$ cd ~/.ssh/
hadoop@jeff:~/.ssh$ ssh-keygen -t rsa
hadoop@jeff:~/.ssh$ cat id_rsa.pub >> authorized_keys
4. 安装JDK
下载JDK
hadoop@jeff:~$ sudo wget https://download.oracle.com/java/18/latest/jdk-18_linux-x64_bin.tar.gz
将jdk解压至/usr/local/lib目录下
hadoop@jeff:~$ sudo tar -zxvf jdk-18_linux-x64_bin.tar.gz -C /usr/local/lib/
更改jdk目录名
hadoop@jeff:/usr/local/lib$ sudo mv jdk-18 jdk
配置环境变量
hadoop@jeff:/usr/local/lib$ sudo vim /etc/profile行末追加内容
JAVA_HOME=/usr/local/lib/jdk
CLASSPATH=$JAVA_HOME/lib
PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH
运行source /etc/profile 使文件生效
hadoop@jeff:/usr/local/lib$ source /etc/profile
查看Java版本
hadoop@jeff:/usr/local/lib$ java -version
java version "18" 2022-03-22
Java(TM) SE Runtime Environment (build 18+36-2087)
Java HotSpot(TM) 64-Bit Server VM (build 18+36-2087, mixed mode, sharing)
5. 安装Hadoop
下载Hadoop
hadoop@jeff:~$ sudo wget https://dlcdn.apache.org/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz
将Hadoop解压至/usr/local目录下
hadoop@jeff:~$ sudo tar -zxvf hadoop-3.2.3.tar.gz -C /usr/local/
更改hadoop目录名
hadoop@jeff:/usr/local$ sudo mv hadoop-3.2.3 hadoop
修改文件权限
hadoop@jeff:/usr/local/hadoop$ sudo chown -R hadoop /usr/local/hadoop/
添加环境变量
hadoop@jeff:/usr/local/hadoop$ sudo vim /etc/profile行末追加内容
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
运行source /etc/profile 使文件生效
hadoop@jeff:/usr/local/hadoop$ source /etc/profile
查看Hadoop版本
hadoop@jeff:/usr/local/hadoop$ hadoop version
Hadoop 3.2.3
Source code repository https://github.com/apache/hadoop -r abe5358143720085498613d399be3bbf01e0f131
Compiled by ubuntu on 2022-03-20T01:18Z
Compiled with protoc 2.5.0
From source with checksum 39bb14faec14b3aa25388a6d7c345fe8
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.2.3.jar
6. Hadoop伪分布式配置
core-site.xml配置内容如下
hadoop@jeff:/usr/local/hadoop/etc/hadoop$ sudo vim core-site.xml<configuration><property><name>hadoop.dir.tmp</name><value>file:/usr/local/hadoop/tmp</value></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
hdfs-site.xml配置内容如下
hadoop@jeff:/usr/local/hadoop/etc/hadoop$ sudo vim hdfs-site.xml<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property><property><name>dfs.http.address</name><value>0.0.0.0:50070</value></property>
</configuration>
执行NameNode的格式化
hadoop@jeff:/usr/local/hadoop$ ./bin/hdfs namenode -format
7. Hadoop启动
hadoop@jeff:/usr/local/hadoop$ ./sbin/start-dfs.sh
Starting namenodes on [localhost]
Starting datanodes
Starting secondary namenodes [jeff]
8. 查看进程
hadoop@jeff:/usr/local/hadoop$ jps
106993 DataNode
107211 SecondaryNameNode
106813 NameNode
107342 Jps
9. Hadoop停止
hadoop@jeff:/usr/local/hadoop$ ./sbin/stop-dfs.sh
Stopping namenodes on [localhost]
Stopping datanodes
Stopping secondary namenodes [jeff]
Linux伪分布式安装Hadoop相关推荐
- hadoop 2.7.3伪分布式安装
hadoop 2.7.3伪分布式安装 hadoop集群的伪分布式部署由于只需要一台服务器,在测试,开发过程中还是很方便实用的,有必要将搭建伪分布式的过程记录下来,好记性不如烂笔头. hadoop 2. ...
- hadoop伪分布式安装
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/qq1010885678/article/details/43447733 首先需要有一台linux的 ...
- 单机安装 hadoop 环境（Hadoop伪分布式安装）
任务描述: 作为某公司运维工程师,需在单机安装 hadoop 环境(Hadoop伪分布式安装).本环节需要使用 root用户完成相关配置,具体部署要求如下: 1. 关闭虚拟机防火墙 2. 修改&quo ...
- centos 7下Hadoop 2.7.2 伪分布式安装
centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [l ...
- hadoop hbase java_Hadoop、Hbase伪分布式安装
环境 本文介绍Hadoop.Hbase的伪分布式安装. 操作系统: Centos7 Hadoop: 2.7.3 Hbase: 1.2.3 Hadoop安装 JAVA_HOME环境变量配置 由于Hbas ...
- Hadoop单机伪分布式安装(完整版)
在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...
- Hadoop集群之HDFS伪分布式安装 HA（二）
1.首先看看HA的对象是谁? 主要解决的是NameNode的HA 2.Datanode不需要HA吗? DataNode的HA是NameNode的checksize机制(主动复制)来解决的 3.Name ...
- Hadoop的伪分布安装 hadoop的核心思想
Hadoop的伪分布安装 hadoop的安装分为本地模式.伪分布模式.集群模式.本地模式是运行在本地,只负责存储,没有计算功能,本书不讲述.伪分布模式是在一台机器上模拟分布式部署,方便学习和调试.集群 ...
- ZooKeeper基础知识笔记（含3节点伪分布式安装配置流程）
本笔记涉及代码:https://github.com/hackeryang/Hadoop-Exercises/tree/master/src/main/java/ZooKeeper 一.ZooKeep ...
最新文章
- gets会读取回车键吗_Linux Shell 读取从键盘输入的数据
- SQL查询效率注意事项
- 【完结】AutoML如何应用于模型优化，这些文章可以作为一个参考
- 十问十答 BSD 许可证
- ASP.NET Core 源码学习之 Options[4]:IOptionsMonitor
- 2021牛客暑期多校训练营1 A.Alice and Bob 博弈 SG函数
- Thymeleaf的Spring数据
- idea报错：Error: java: 错误: 不支持发行版本 5
- 4999元起！华为Mate 40今日开启预售：搭载麒麟9000E
- vs 2017 调试中断问题
- java爬取html过快，需要输入验证码
- [线筛五连]线筛莫比乌斯函数
- 【回归预测-ELM预测】基于樽海鞘算法结合极限学习机实现风电场功率回归预测附matlab代码
- 00003__爬拉勾网
- 一个推理问题：求老师生日
- MapReduce-读取文件写入HBase
- eclipse的启动失败提示“发生了错误,请参阅日志文件“
- 关于Eclipes上Servlet程序404的问题
- 生日悖论分析python_Python关于生日悖论分析
- php artisan 计划任务,Laravel artisan命令及任务调度