Ubuntu16 单机 Hadoop3.2.2 Hbase 2.3.5
文章目录
- 1 系统版本
- 1.1 解压安装包
- 2 配置ssh免密登录
- 2.1 安装openssh
- 2.2 登陆本机
- 3 配置环境变量
- 3.1 编辑环境变量
- 3.2 插入如下内容
- 3.3 刷新环境变量
- 4 验证Java
- 5 配置Hadoop
- 5.1 添加权限
- 5.2 修改hadoop-env.sh文件
- 5.3 修改core-site.xml文件
- 5.4 修改yarn-site.xml文件
- 5.5 修改mapred-site.xml文件
- 5.6 修改hdfs-site.xml
- 6 验证Hadoop安装
- 6.1 初始化namenode
- 6.2 启动HDFS
- 6.3 访问Hadoop上的浏览器
- 6.4 启动Yarn进程
- 6.5 访问YARN
- 7 配置HBase
- 7.1 添加权限
- 7.2 修改hbase-site.xml文件
- 8 启动HBase
- 8.1 启动服务
- 8.2 访问HBase
- 8.3 测试HBase Shell
- 9 参考鸣谢
- 10 问题Bug
- 10.1 使用HBase Shell时，键入status或list，HBase报错
- 10.2 启动Hadoop时报错sign_and_send_pubkey: signing failed: agent refused operation
1 系统版本
HBase与Hadoop兼容性查找网站
http://hbase.apache.org/book.html#basic.prerequisites
版本对应很重要，差一点都不行。例如Hadoop3.3.0对应HBase2.3.5就不行
Ubuntu 16.04.3
JDK 1.8.0_291
Hadoop 3.3.0
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
HBase 2.3.5
http://archive.apache.org/dist/hbase/
1.1 解压安装包
sudo tar -zxvf jdk-8u291-linux-x64.tar.gz -C /opt
sudo tar -zxvf hadoop-3.2.2.tar.gz -C /opt
sudo tar -zxvf hbase-2.3.5-bin.tar.gz -C /opt
2 配置ssh免密登录
2.1 安装openssh
sudo apt-get update
sudo apt-get install openssh-server
2.2 登陆本机
ssh localhost
退出刚才的 ssh localhost
exit
若没有该目录，请先执行一次ssh localhost
cd ~/.ssh/
会有提示，都按回车就可以
ssh-keygen -t rsa
加入授权
cat ./id_rsa.pub >> ./authorized_keys
以下的命令用于生成SSH密钥值对。复制公钥从id_rsa.pub到authorized_keys，并设置authorized_keys文件的读写权限给所有者。
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
3 配置环境变量
3.1 编辑环境变量
sudo vim ~/.bashrc
3.2 插入如下内容
#set oracle jdk environment
export JAVA_HOME=/opt/jdk1.8.0_291
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JAVA_HOME}/jre:$PATH#set hadoop
export HADOOP_HOME=/opt/hadoop-3.2.2
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export HADOOP_INSTALL=${HADOOP_HOME}
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib"
export JAVA_LIBRARY_PATH=${HADOOP_HOME}/lib/native:$JAVA_LIBRARY_PATH
export PATH=$PATH:${HADOOP_HOME}/sbin:${HADOOP_HOME}/bin#set hbase
export HBASE_HOME=/opt/hbase-2.3.5
export HBASE_CONF_DIR=${HBASE_HOME}/conf
export PATH=${HBASE_HOME}/bin:$PATH
3.3 刷新环境变量
source ~/.bashrc
4 验证Java
java -version
5 配置Hadoop
5.1 添加权限
sudo chmod -R 777 /opt/hadoop-3.2.2/
5.2 修改hadoop-env.sh文件
vim /opt/hadoop-3.2.2/etc/hadoop/hadoop-env.sh
插入
export JAVA_HOME=/opt/jdk1.8.0_291
export HADOOP_HOME=/opt/hadoop-3.2.2
5.3 修改core-site.xml文件
vim /opt/hadoop-3.2.2/etc/hadoop/core-site.xml
在<configuration>标签内插入
<property><name>hadoop.tmp.dir</name><value>file:/opt/hadoop-3.2.2/tmp</value><description>Abase for other temporary directories.</description>
</property>
<property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value>
</property>
5.4 修改yarn-site.xml文件
vim /opt/hadoop-3.2.2/etc/hadoop/yarn-site.xml
在<configuration>标签内插入
<property><name>mapreduceyarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
5.5 修改mapred-site.xml文件
该文件用于指定MapReduce框架并使用。默认情况下Hadoop包含yarn-site.xml模板。
vim /opt/hadoop-3.2.2/etc/hadoop/mapred-site.xml
在<configuration>标签内插入
<property><name>mapreduce.framework.name</name><value>yarn</value></property>
5.6 修改hdfs-site.xml
hdfs-site.xml文件包含，如：复制数据的值，NameNode的路径，本地文件系统，要存储Hadoop基础架构的Datanode路径的信息
vim /opt/hadoop-3.2.2/etc/hadoop/hdfs-site.xml
在<configuration>标签内插入
<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.namenode.name.dir</name><value>file:/opt/hadoop-3.2.2/tmp/dfs/name</value>
</property>
<property><name>dfs.datanode.data.dir</name><value>file:/opt/hadoop-3.2.2/tmp/dfs/data</value>
</property>
6 验证Hadoop安装
6.1 初始化namenode
hdfs namenode -format
初始化成功后会在/opt/hadoop-3.2.2/tmp/dfs/name下生成current目录
6.2 启动HDFS
/opt/hadoop-3.2.2/sbin/start-dfs.sh
启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”
jps
6.3 访问Hadoop上的浏览器
http://localhost:9870
访问Hadoop的默认端口号为50070。使用以下网址，以获取Hadoop服务在浏览器中。 http://localhost:50070
无法访问50070端口，原因是3.1.0版本后，50070端口 -> 9870端口了, 访问http://localhost:9870即可
6.4 启动Yarn进程
/opt/hadoop-3.2.2/sbin/start-yarn.sh
启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “ResourceManager”和”NodeManager”
jps
也可start-all.sh 一次性启动
/opt/hadoop-3.2.2/sbin/start-all.sh
6.5 访问YARN
http://localhost:8088/
7 配置HBase
7.1 添加权限
sudo chmod -R 777 /opt/hbase-2.3.5/
7.2 修改hbase-site.xml文件
vim /opt/hbase-2.3.5/conf/hbase-site.xml
在<configuration>标签内插入
<property><name>hbase.rootdir</name><value>hdfs://localhost:9000/hbase</value>
</property>
<property> <name>hbase.unsafe.stream.capability.enforce</name><value>false</value>
</property>
8 启动HBase
8.1 启动服务
/opt/hbase-2.3.5/bin/start-hbase.sh
启动完成后，可以通过命令 jps 来判断是否成功启动，若成功启动则会列出如下进程: “HMaster”
8.2 访问HBase
http://localhost:16010/
8.3 测试HBase Shell
打开脚本
hbase shell
调试
status
9 参考鸣谢
一、Ubuntu上安装Hbase - 简书 (jianshu.com)
Linux CentOS7.6 Hadoop3.0.3+HBASE2.1.0单机部署_刘李404not_found的博客-CSDN博客
HBase2.3单机版安装使用 - 简书 (jianshu.com)
10 问题Bug
10.1 使用HBase Shell时，键入status或list，HBase报错
org.apache.hadoop.hbase.ipc.ServerNotRunningYetException: Server is not running yet
问题原因：HBase版本与Hadoop版本不兼容
解决方案：将Hadoop版本3.3.0降级到3.2.2即可
问题反省：一定要注意HBase与Hadoop对应版本，就算官网都是Stable版本，也可能造成不兼容
10.2 启动Hadoop时报错sign_and_send_pubkey: signing failed: agent refused operation
执行
eval "$(ssh-agent -s)"
ssh-add
Ubuntu16 单机 Hadoop3.2.2 Hbase 2.3.5相关推荐
- Ubuntu16.04/Hadoop3.1.3安装教程_单机/伪分布式配置
Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu16.04.6 为了方便学习本教程,请读者们利用Linux系统中自带的firefox浏览器打开本指南进行学习. ...
- hbase 单机连接hadoop_Hadoop、Hbase单机环境安装
1. Hadoop安装 1.1 HDFS配置 fs.defaultFS hdfs://localhost:9000 hadoop.tmp.dir file:/home/local/data/hadoo ...
- Hbase单机安装及使用hbase shell进行简单操作
一,配置环境变量 在etc/prifile中加入java环境变量及hbase环境变量: #set java environment JAVA_HOME=/usr/local/lhc/jdk1.8.0_ ...
- HBase单机环境搭建
HBase单机环境搭建 转自:https://songlee24.github.io/2015/07/20/hbase-standalone-mode/ 在搭建HBase单机环境之前,首先你要保证你已 ...
- Hbase学习文档（超详细单机安装）
Hbase学习文档(超详细单机安装) 一.前言 1.1简述 本文分为五个部分:linux主机名的设置.jdk的安装.hadoop的安装.单机模式下hbase的安装.hbase的shell常用命令及ja ...
- 基本环境安装: Centos7+Java+Hadoop+Spark+HBase+ES+Azkaban
1. 安装VM14的方法在 人工智能标签中的<跨平台踩的大坑有提到> 2. CentOS分区设置: /boot:1024M,标准分区格式创建. swap:4096M,标准分区格式创建. ...
- Ubuntu安装HBase2.2.4并进行单机/伪分布式配置
Ubuntu安装HBase2.2.4并进行单机/伪分布式配置 文章目录 Ubuntu安装HBase2.2.4并进行单机/伪分布式配置 前言 版本兼容性 详细流程 安装HBase2.2.4 HBase单 ...
- HBase配置（伪分布式模式）
1.配置文件和环境 ①配置hbase-env.sh 设置Java安装路径 设置HBase的配置文件路径(/opt/module/hbase/conf) 采用HBase自带Zookeeper,设置参数t ...
- hbase shell远程连接_HBase安装详解
本文将介绍如何安装HBase和初始配置. 需要用Java和Hadoop来处理HBase,所以必须下载java和Hadoop并安装系统中.安装前设置 安装Hadoop在Linux环境下之前,需要建立和使 ...
最新文章
- 骚操作 ！IDEA 防止写代码沉迷插件 !
- 不插即用！配备微信网页授权模块的CodeIgniter应用脚手架
- android alpha不起作用,API 28（P）的Android设计支持库不起作用
- 《Shell脚本学习指南》第一章 背景知识
- CentOS7命令（基本命令，新手入门）
- 【剑指offer】面试题65：不用加减乘除做加法（Java）
- python曲线拟合预测_用python做曲线拟合
- 提取数据_EasyStat如何提取数据+个性化出图
- Undelete Plus 2.53
- zedboard的xdc文件
- java 方法调用表达式_java lambda怎么表达式判断被调用接口名称和接口中方法
- css 百分比继承关系的探讨
- centos 修改时区及NTP时间同步
- 模拟电子技术基础第4版笔记和课后习题答案 童诗白
- 【- Flutter 桌面篇 -】 FlutterUnit mac版闪亮登场
- react-Suspense工作原理分析
- 游戏开发19课 tilemap 创建瓦片
- 如何上架自己的应用到各大应用商店？
- 项目选题-口罩识别检测系统
- rk 平台实现 otg 软切换