Linux中Hadoop的Hbase安装教程
学习目标:
1.学习HBase的安装流程
2.掌握HBase的工作原理
实验平台:章鱼互联网学院(https://www.ipieuvre.com/)
相关知识:
HBase是一个分布式的,面向列的开源数据库,该技术来源于Fay Chang所撰写的Google论文”Bigtable:一个结构化数据的分布式存储系统“。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列而不是基于行模式。在需要实时读写、随机访问超大规模数据集时,可以使用HBase。
上图描述Hadoop Ecosystem中的各层结构。其中,HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持。Hadoop MapReduce为HBase提供了高性能的计算能力,ZooKeeper为HBase提供了稳定服务和故障切换(failover)机制。此外,Pig和Hive还为HBase提供了高层语言支持,使得在HBase上进行数据统计处理变的非常简单。Sqoop则为HBase提供了方便的RDBMS数据导入功能,使得传统数据库数据向HBase中迁移变的非常方便。
HBase Master负责管理所有的HRegion,HBase Master并不存储HBase服务器的任何数据,HBase逻辑上的表可能会划分为多个HRegion,然后存储在HRegion Server群中,HBase Master Server中存储的是从数据到HRegion Server的映射。
一台机器只能运行一个HRegion服务器,数据的操作会记录在Hlog中,在读取数据时候,HRegion会先访问缓存,如果缓存中没有数据才回到Hstore中上找,每一个列都会有一个Hstore集合,每个Hstore集合包含了很多具体的HstoreFile文件,这些文件是B树结构的,方便快速读取。
系统环境:
Linux Ubuntu 16.04
jdk-7u75-linux-x64
hadoop-2.6.0-cdh5.4.5
学习内容:
【前提】:在已安装好Hadoop的情况下,进行Hbase的安装。
1、打开Linux系统,新建/data/hbase1目录,作用:存放所需文件。
mkdir -p /data/hbase1
切换目录到/data/hbase1下,使用wget命令,下载HBase所需安装包hbase-1.0.0-cdh5.4.5.tar.gz。
cd /data/hbase1
wget http://192.168.1.100:60000/allfiles/hbase1/hbase-1.0.0-cdh5.4.5.tar.gz
2、将/data/hbase1目录下的的Hbase的压缩包解压到/apps目录下。
tar -xzvf /data/hbase1/hbase-1.0.0-cdh5.4.5.tar.gz -C /apps
切换到/apps目录下,对/apps/hbase-1.0.0-cdh5.4.5/,进行重命名为hbase。
cd /apps
mv /apps/hbase-1.0.0-cdh5.4.5/ /apps/hbase
3、对Hbase添加环境变量。使用vim打开用户环境变量文件。
【进入vim后,环境变量一般加在最后。先输入i进入编辑模式,输入环境变量后,按esc然后输入**:wq!** 进行保存并退出。
sudo vim ~/.bashrc
在环境变量文件末尾位置,追加HBase的bin目录路径相关配置,并保存退出。即下列内容:
#hbase
export HBASE_HOME=/apps/hbase
export PATH=$HBASE_HOME/bin:$PATH
然后执行source命令,使环境变量生效。
source ~/.bashrc
可以调用HBase的bin目录下的脚本。先来查看一下HBase的版本信息。
hbase version
4、对Hbase进行配置。
4.1切换目录到/apps/hbase/conf目录下。
cd /apps/hbase/conf
4.2使用vim编辑hbase-env.sh文件。
vim hbase-env.sh
4.3追加配置到hbase-env.sh中
【切记:记得保存并退出】
export JAVA_HOME=/apps/java
export HBASE_MANAGES_ZK=true
export HBASE_CLASSPATH=/apps/hbase/conf
解释:
1、JAVA_HOME为java程序所在位置;
2、HBASE_MANAGES_ZK表示是否使用HBase自带的zookeeper环境;
3、HBASE_CLASSPATH指向hbase配置文件的路径。
5、使用vim打开hbase-site.xml文件。
vim hbase-site.xml
在两个之间添加如下内容:
<property> <name>hbase.master</name> <value>localhost</value>
</property> <property> <name>hbase.rootdir</name> <value>hdfs://localhost:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>localhost</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/data/tmp/zookeeper-hbase</value> </property>
解释:
1、hbase.master:HBase主节点地址。
2、hbase.rootdir:HBase文件所存储的位置。
3、hbase.cluster.distributed:HBase是否为分布式模式。
4、hbase.zookeeper.quorum:这里是配置ZooKeeper的服务器的地方。
5、hbase.zookeeper.property.dataDir:这里表示HBase在ZooKeeper上存储数据的位置。
【这里需要注意:】
hbase.zookeeper.property.dataDir目录,需要提前创建。
sudo mkdir -p /data/tmp/zookeeper-hbase
将/data/tmp/zookeeper-hbase目录切换所属用户为yxnn及用户组为yxnn。
sudo chown -R yxnn:yxnn /data/tmp/zookeeper-hbase
6、使用vim编辑/apps/hbase/conf/regionservers文件。
此文件存储了HBase集群节点的ip地址,目前只有一台节点,所以只需要填写localhost即可。
vim /apps/hbase/conf/regionservers
修改内容是:
localhost
7、查看当前进程。
jps
若未启动,则切换到/apps/hadoop/sbin目录下,启动Hadoop。
cd /apps/hadoop/sbin
./start-all.sh
当Hadoop启动后,进入Hbase的bin目录下,启动Hbase服务。
cd /apps/hbase/bin/
./start-hbase.sh
8、查看Hbase进程是否存在。
jps
结果为:
可以看到HMaster、HRegionServer、HQuorumPeer进程都已启动。
为了进一步测试HBase安装,是否正常,进入HBase Shell接口。
hbase shell
输入list的命令,查看当前有哪些HTable表。
list
创建一张表tb,表中含有一个列簇mycf。
create 'tb','mycf'
再次输入list,列出HBase中的表.
Linux中Hadoop的Hbase安装教程相关推荐
- Hadoop、Hbase安装教程保姆级教程
Hadoop.Hbase安装教程 准备Centos系统 设置网络 安装java环境 配置SSH免密登录 安装hadoop 修改Hadoop相关命令执行环境 修改Hadoop配置 运行和测试 Web界面 ...
- Linux下lsb_release命令的安装教程
< Linux下lsb_release命令的安装教程 > lsb_release命令在实际生产环境中是很常见的一个命令,主要用来查看Linux的发行版本. 本教程适用于所有的Linux7. ...
- kali Linux 2020.1B 最详细安装教程
kali Linux 2020.1B 最详细安装教程 一.前期准备 1.1 准备vmware 虚拟机 软件版本:VMware-workstation-full-15.5.2-15785246 下载地址 ...
- Linux中的无人职守安装脚本kickstart
Linux中的无人职守安装脚本kickstart 1 kickstart自动安装脚本的作用 2 实验环境 3 kickstart自动安装脚本的制作 3.1 通过模板生成kickstart文件 3.2用 ...
- Linux 中RPM包的安装
Linux 中RPM包的安装 在linux的使用过程中,会用到各种各样的服务,所以就会安装许多软件包. 所以就总结了下边的两种安装方式: 1. 二进制安装 软件包的安装及相关命令: rpm -ivh ...
- Linux redis安装教程,Linux 下redis5.0.0安装教程详解
Linux redis5.0.0安装,教程如下所示: 1.从官网下载,然后传到服务器,tar -zxvf解压 2.进入redis ? 3.安装:make, (1)若提示:: gcc: Command ...
- Linux下的docker容器安装教程
Linux下的docker容器安装教程 一.初始环境配置 1.yum仓库配置 2.检查yum仓库 3.关闭防火墙和selinux 二.开启内核的流量转发 三.安装docker 1.配置docker相关 ...
- linux收缩java位置,找到linux中当前java的安装位置
先看java -version $java version "1.8.0_111" Java(TM) SE Runtime Environment (build 1.8.0_111 ...
- win7 64位操作系统中Oracle 11g + plsql安装教程详解(图解)
这篇文章主要介绍了win7 64位操作系统中Oracle 11g + plsql安装教程详解(图解),详细的介绍了Oracle 11g 安装的步骤,有兴趣的可以了解一下. 先去网上把下面列表里的文件下 ...
最新文章
- Java线程池面试必备:核心参数、工作流、监控、调优手段
- STM32的IIC应用详解2
- 关于mysql数据库中存放中文字段乱码问题解决方案
- Servlet中判断浏览器版本的代码
- axios 全局配置
- python 车牌识别简单_简单30行Python代码让你玩转YOLO目标识别检测!
- windows搜索神器Everything
- 【无标题】曲线坐标张量分析
- JAVA商城项目(微服务框架)——第4天 乐优商城项目搭建
- 绿色版Mysql数据库快速搭建
- WordPress优化教程让WordPress打开速度更快
- 几个免费企业邮箱及申请注册教程 网易 腾讯 阿里云
- linux 找不到vmdk,找不到文件vmdk虚拟磁盘
- 特网云 DirectAdmin 安装SSL
- Pigeon 工具类ExtensionLoader
- Hard samples mining
- 【数据分析可视化】股票市场分析实战之风险分析
- 用易语言制作一款图文展示软件,点击按钮切换图片和文字说明,易语言按钮、图片框、编辑框的应用
- python中异常处理-安装包失败
- Dubbox框架使用手册
热门文章
- 归一化的意义笔记:归纳统一样本的统计分布性
- 不可思议的《魔兽世界》
- 英语Insurance或insuraunce保险
- 在这个SDN年代,企业网络演变,直接影响老板对我的态度变化?
- 17 个可以实现高效工作与在线赚钱的 AI 工具网站
- 计算机网络从结构上可以划分为 接入网,《接入网技术》复习章节题型,含答案...
- 《淘宝网开店 拍摄 修图 设计 装修 实战150招》一一2.10 均分法
- mybatisPlus 生成的19位uuid 在前端精度问题
- linux python安装pip_如何在Linux中安装Pip
- 自媒体文章素材网站有哪几种?根据这5个渠道提高你的文章创作速度