Hadoop2.6.0安装教程_单机/伪分布式配置
创建hadoop用户
如果你安装 Ubuntu 的时候不是用的 “hadoop” 用户,那么需要增加一个名为 hadoop 的用户。
输入如下命令创建新用户 :
sudo useradd -m hadoop -s /bin/bash
接着使用如下命令设置密码,可简单设置为 hadoop,按提示输入两次密码:
sudo passwd hadoop
可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
sudo adduser hadoop sudo
登陆刚创建的 hadoop 用户
su hadoop
根据提示输入密码。
更新apt
用 hadoop 用户登录后,我们先更新一下 apt,后续我们使用 apt 安装软件,如果没更新可能有一些软件安装不了。执行如下命令:
sudo apt-get update
若出现如下 “Hash校验和不符” 的提示,可通过更改软件源来解决。若没有该问题,则不需要更改。
后续需要更改一些配置文件,我比较喜欢用的是 vim(vi增强版,基本用法相同)
sudo apt-get install vim
安装软件时若需要确认,在提示处输入 y 即可。
安装SSH、配置SSH无密码登陆
集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:
sudo apt-get install openssh-server
安装后,可以使用如下命令登陆本机:
ssh localhost
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
首先退出刚才的 ssh,就回到了我们原先的终端窗口,然后利用 ssh-keygen 生成密钥,并将密钥加入到授权中:
exit # 退出刚才的 ssh localhost
cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
此时再用 ssh localhost 命令,无需输入密码就可以直接登陆了,如下图所示。
安装Java环境
安装 Hadoop 2.6.0
官网历史版本:https://hadoop.apache.org/release.html
Hadoop版本:https://hadoop.apache.org/release/2.6.0.html
我们选择将 Hadoop 安装至 /usr/local/ 中:
sudo tar -zxf ~/下载/hadoop-2.6.0.tar.gz -C /usr/local # 解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop # 修改文件权限
Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
cd /usr/local/hadoop
./bin/hadoop version
Hadoop单机配置(非分布式)
Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。
cd /usr/local/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input # 将配置文件作为输入文件
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/* # 查看运行结果
执行成功后如下所示,输出了作业的相关信息,输出的结果是符合正则的单词 dfsadmin 出现了1次
注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将 ./output 删除。
rm -r ./output
Hadoop伪分布式配置
Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件。
在设置 Hadoop 伪分布式配置前,我们还需要设置 HADOOP 环境变量,执行如下命令在 ~/.bashrc 中设置:
sudo vim ~/.bashrc
# Hadoop Environment Variables
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
保存后,不要忘记执行如下命令使配置生效:
source ~/.bashrc
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。
修改core-site.xml文件
cd /usr/local/hadoop/etc/hadoop/
sudo vim core-site.xml
<configuration><property><name>hadoop.tmp.dir</name><value>file:/usr/local/hadoop/tmp</value><description>Abase for other temporary directories.</description></property><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property>
</configuration>
同样的,修改配置文件 hdfs-site.xml:
cd /usr/local/hadoop/etc/hadoop/
sudo vim hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/tmp/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:/usr/local/hadoop/tmp/dfs/data</value></property>
</configuration>
配置完成后,执行 NameNode 的格式化:
./bin/hdfs namenode -format
---------------------------------------------------------------------提示---------------------------------------------------------------------
如果你在部署过程中,遇到什么问题,可以通过评论区加我微信,我们相互讨论。共同成长!!!
---------------------------------------------------------------------提示---------------------------------------------------------------------
Hadoop2.6.0安装教程_单机/伪分布式配置相关推荐
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
给力星 追逐内心的平和 首页 笔记 搜藏 代码 音乐 关于 Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04 2014-08-09 (updated: 2016 ...
- Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
厦门大学(林子雨老师)Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)
- Ubuntu16.04/Hadoop3.1.3安装教程_单机/伪分布式配置
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu16.04.6 为了方便学习本教程,请读者们利用Linux系统中自带的firefox浏览器打开本指南进行学习. ...
- Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0
本 Hadoop 教程由厦门大学数据库实验室出品,转载请注明.本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本 ...
- Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu16.04
转自http://dblab.xmu.edu.cn/blog/install-hadoop/ 创建hadoop用户 创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell, ...
- ubuntu 安装java_Hadoop3.1.3安装教程_单机/伪分布式配置
环境: 本教程使用 Ubuntu 18.04 64位 作为系统环境(或者Ubuntu 14.04,Ubuntu16.04 也行,32位.64位均可),请自行安装系统 装好了 Ubuntu 系统之后,在 ...
- Hadoop安装教程_单机伪分布式配置_Hadoop2.6.0(2.7.1)Ubuntu14.04(16.04)
本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1 等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利安装并运行Hadoop. ...
- Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0
Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到 ...
- 02Hadoop安装教程_单机、伪分布式配置
02 Hadoop2.7 安装教程_单机.伪分布式配置 文章目录 **02** Hadoop2.7 安装教程_单机.伪分布式配置 **1.hadoop基础知识** 1.1 hadoop是什么? 1.2 ...
最新文章
- wPaint在线绘图插件
- Go 语言的垃圾回收演化历程:垃圾回收和运行时问题
- 微信朋友圈技术之道:三个人的后台团队与每日十亿的发布量
- Redis字符串操作
- 关于activity和thread生命周期
- [开发笔记]-DataGridView控件中自定义控件的使用
- DP专题训练之HDU 1087 	Super Jumping!
- “做好大数据测试,我是认真的!”
- 实现DRBD的简单配置
- 计算机系统及原理pdf,计算机系统组成及工作原理题目.pdf
- 工资太低怎么办?这几个副业每天赚300+
- sql2005性能优化(在32位系统上突破2G内存使用量的方法)
- jQuery——入口函数
- 3001.Linux维护和管理培训.实操考核A
- 娱乐篇第十期:互联网的事情you意思(十)
- 计算机音乐东京不太热,洛天依 - 东京不太热[FLAC格式]
- w3school JavaScript笔记2 ——JavaScript HTML DOM
- 现在有哪些好用的程序员学习交流的网站或者app?
- Gateway过滤器详解
- 浪潮服务器dhcp修改ip,IP地址管理—DDI(DNS, DHCP, IPAM)解决方案
热门文章
- centos8 开机自动运行dhclient
- OC5864 0.6A 60V 内置MOS管 小体积高恒压精度的 DC-DC降压型转换器
- Eclipse中git提交历史记录的时间显示
- WaitForSingleObject CreateProcess
- 通过身份证号判断是否合法、省份、性别、出生日期、生肖、星座
- 你认识的转换音频格式的软件有哪些
- 30个爱情感悟:真话往往最残忍
- java 阶乘尾部的零,阶乘算法全集,阶乘末尾非零位,阶末尾零的个数
- windows装linux 引导,Win下硬盘安装桌面版Ubuntu 7.10的引导过程
- python locals()用法_python – Django使用locals()[复制]