HBase入门介绍(从基础到架构)
本篇博客,小菌为大家带来的是关于HBase的入门介绍!
文章目录
- 1.HBase 基本介绍
- 简介
- HBase的发展历程
- 2、HBase与Hadoop的关系
- <1>HDFS
- <2>HBase
- 3.RDBMS与HBase的对比
- <1>RDBM(关系型数据库)
- 结构:
- 功能:
- <2>HBase
- 结构:
- 功能:
- 4、HBase特征简要
- <1>海量存储
- <2>列式存储
- <3>极易扩展
- <4>高并发
- <5>稀疏
- 5、HBase的基础架构
- <1>HMaster
- <2>RegionServer
- 组件:
- <1>Write-Ahead logs
- <2>StoreFile(HFile)
- <3>Store
- <4>MemStore
- <5>Region
1.HBase 基本介绍
简介
hbase是bigtable的开源java版本。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。
它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。
主要用来存储结构化和半结构化的松散数据。
Hbase查询数据功能很简单,不支持join等复杂操作,不支持复杂的事务(行级的事务)
Hbase中支持的数据类型:byte[]
与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。
HBase中的表一般有这样的特点:
- 大:一个表可以有上十亿行,上百万列
- 面向列:面向列(族)的存储和权限控制,列(族)独立检索。
- 稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。
传统的数据表
HBase 的表模型
HBase的发展历程
HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储。
官方网站:http://hbase.apache.org
- 2006年Google发表BigTable白皮书
- 2006年开始开发HBase
- 2008 HBase成为了 Hadoop的子项目
- 2010年HBase成为Apache顶级项目
2、HBase与Hadoop的关系
<1>HDFS
- 为分布式存储提供文件系统
- 针对存储大尺寸的文件进行优化,不适用对HDFS上的文件进行随机读写
- 直接使用文件
- 数据模型不灵活
- 使用文件系统和处理框架
- 优化一次写入,多次读取的方式
<2>HBase
- 提供表状的面向列的数据存储
- 针对表状数据的随机读写进行优化
- 使用key-value操作数据
- 提供灵活的数据模型
- 使用表状存储,支持MapReduce,依赖HDFS
- 优化了多次读,以及多次写
3.RDBMS与HBase的对比
<1>RDBM(关系型数据库)
结构:
- 数据库以表的形式存在
- 支持FAT、NTFS、EXT、文件系统
- 使用Commit log存储日志
- 参考系统是坐标系统
- 使用主键(PK)
- 支持分区
- 使用行、列、单元格
功能:
- 支持向上扩展
- 使用SQL查询
- 面向行,即每一行都是一个连续单元
- 数据总量依赖于服务器配置
- 具有ACID支持
- 适合结构化数据
- 传统关系型数据库一般都是中心化的
- 支持事务
- 支持Join
<2>HBase
结构:
- 数据库以region的形式存在
- 支持HDFS文件系统
- 使用WAL(Write-Ahead Logs)存储日志
- 参考系统是Zookeeper
- 使用行键(row key)
- 支持分片
- 使用行、列、列族和单元格
功能:
- 支持向外扩展
- 使用API和MapReduce来访问HBase表数据
- 面向列,即每一列都是一个连续的单元
- 数据总量不依赖具体某台机器,而取决于机器数量
- HBase不支持ACID(Atomicity、Consistency、Isolation、Durability原子性、一致性、隔离性、耐久性)
- 适合结构化数据和非结构化数据
- 一般都是分布式的
- HBase不支持事务
- 不支持SQL
- 不支持Join
4、HBase特征简要
<1>海量存储
Hbase适合存储PB级别的海量数据,在PB级别的数据以及采用廉价PC存储的情况下,能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性,才为海量数据的存储提供了便利。
<2>列式存储
这里的列式存储其实说的是列族存储,Hbase是根据列族来存储数据的。列族下面可以有非常多的列,列族在创建表的时候就必须指定。需要注意的是,列族理论上可以很多,但实际上建议不要超过6个
<3>极易扩展
Hbase的扩展性主要体现在两个方面,一个是基于上层处理能力(RegionServer)的扩展,一个是基于存储的扩展(HDFS)。
通过横向添加RegionSever的机器,进行水平扩展,提升Hbase上层的处理能力,提升Hbsae服务更多Region的能力。
备注:RegionServer的作用是管理region、承接业务的访问,这个后面会详细的介绍通过横向添加Datanode的机器,进行存储层扩容,提升Hbase的数据存储能力和提升后端存储的读写能力。
<4>高并发
由于目前大部分使用Hbase的架构,都是采用的廉价PC,因此单个IO的延迟其实并不小,一般在几IO延迟下降并不多。能获得高并发、低延迟的服务。
<5>稀疏
稀疏主要是针对Hbase列的灵活性,在列族中,你可以指定任意多的列,在列数据为空的情况下,是不会占用存储空间的。
5、HBase的基础架构
<1>HMaster
功能:
- 监控RegionServer
- 处理RegionServer故障转移
- 处理元数据的变更
- 处理region的分配或移除
- 在空闲时间进行数据的负载均衡
- 通过Zookeeper发布自己的位置给客户端
<2>RegionServer
功能:
- 负责存储HBase的实际数据
- 处理分配给它的Region
- 刷新缓存到HDFS
- 维护HLog
- 执行压缩
- 负责处理Region分片
组件:
<1>Write-Ahead logs
HBase的修改记录,当对HBase读写数据的时候,数据不是直接写进磁盘,它会在内存中保留一段时间(时间以及数据量阈值可以设定)。但把数据保存在内存中可能有更高的概率引起数据丢失,为了解决这个问题,数据会先写在一个叫做Write-Ahead logfile的文件中,然后再写入内存中。所以在系统出现故障的时候,数据可以通过这个日志文件重建。
<2>StoreFile(HFile)
这是在磁盘上保存原始数据的实际的物理文件,是实际的存储文件。
<3>Store
HFile存储在Store中,一个Store对应HBase表中的一个列族。
<4>MemStore
顾名思义,就是内存存储,位于内存中,用来保存当前的数据操作,所以当数据保存在WAL中之后,RegsionServer会在内存中存储键值对。
<5>Region
Hbase表的分片,HBase表会根据RowKey值被切分成不同的region存储在RegionServer中,在一个RegionServer中可以有多个不同的region。
本次的分享就到这里了,受益的小伙伴或对大数据技术感兴趣的朋友记得关注小菌哟(^U^)ノ~YO,点赞加关注,小白不迷路!!!
HBase入门介绍(从基础到架构)相关推荐
- k8s实践(1)--k8s集群入门介绍和基础原理
我们学习安排:由浅入深 1.简单了解集群的工作原理和基础概念,名词解释. 2.安装etcd集群:etcd分布式键值存储系统,用于保持集群状态,比如Pod.Service等对象信息. 3.安装k8s集群 ...
- Android基础-系统架构分析,环境搭建,下载Android Studio,AndroidDevTools,Git使用教程,Github入门,界面设计介绍
系统架构分析 Android体系结构 安卓结构有四大层,五个部分,Android分四层为: 应用层(Applications),应用框架层(Application Framework),系统运行层(L ...
- 冲击红队第一天 - Web安全介绍与基础入门
大家好! 我是小黄,很高兴又跟大家见面啦 ! 拒绝水文,从我做起 !!!! 未经允许,禁止转载 ,违者必究!!!! 本实验仅适用于学习和测试 ,严禁违法操作 ! ! ! 今天更新的是: 冲击红队第一天 ...
- SLAM导航机器人零基础实战系列:(二)ROS入门——2.ROS系统整体架构
SLAM导航机器人零基础实战系列:(二)ROS入门--2.ROS系统整体架构 摘要 ROS机器人操作系统在机器人应用领域很流行,依托代码开源和模块间协作等特性,给机器人开发者带来了很大的方便.我们的机 ...
- c语言驱动程序开发基础教程,C 语言入门介绍
C 语言入门介绍 适用于初学者和专业人士的C语言教程采用编程方法,可帮助您轻松理解C语言教程.我们的C教程通过程序解释了每个主题. C语言是由Dennis Ritchie开发的,用于创建与硬件设备(例 ...
- 第二章(1):Python入门:语法基础、面向对象编程和常用库介绍
第二章(1):Python入门:语法基础.面向对象编程和常用库介绍 目录 第二章(1):Python入门:语法基础.面向对象编程和常用库介绍 1. Python 简介 1.1 Python 是什么? ...
- 【Java基础教程】(一)入门介绍篇 · 上:快速掌握核心概念,开启Java世界的探索之旅!这篇Java入门宝典助你翱翔~
Java基础教程之入门介绍 · 上 本节学习目标 1️⃣ Java发展简史 1.1 诞生 1.2 发展 1.3 分支 2️⃣ 特征 3️⃣ 代码执行过程
- 一条数据的HBase之旅,简明HBase入门教程-Write全流程
如果将上篇内容理解为一个冗长的"铺垫",那么,从本文开始,剧情才开始正式展开.本文基于提供的样例数据,介绍了写数据的接口,RowKey定义,数据在客户端的组装,数据路由,打包分发, ...
- 一条数据的HBase之旅,简明HBase入门教程-开篇
常见的HBase新手问题: 什么样的数据适合用HBase来存储? 既然HBase也是一个数据库,能否用它将现有系统中昂贵的Oracle替换掉? 存放于HBase中的数据记录,为何不直接存放于HDFS之 ...
最新文章
- 来电通java版_终于有人把Java程序员必学知识点整理出来了,令人有如醍醐灌顶...
- 「Swift」Swift与C++和Python
- Aladdin and the Flying Carpet (素数打表+正整数的唯一分解定理,找因数对)
- LeetCode 644. 最大平均子段和 II(二分查找)*
- 【快讯】呼伦贝尔市人民医院利用Oracle APEX快速开发预检分诊系统
- html模拟手机桌面,html+css+js 模拟win7桌面
- SpringMVC 自定义转换器
- nohup启动jar_nohup命令详解
- Linux 内核下载地址
- 牛顿迭代法求一元三次方程c语言,C++一元三次方程求解算法 - 小众知识
- QT IOS风格音乐播放器(一) 项目介绍
- 【暑假集训】F1方程式冠军
- dumprep.exe遇到无效指令
- Liber 1. 《活着》:人生如逆旅,我亦是行人
- 拨打上述范围的电话或手机免费
- 2022年下半年软考考科目有这些,快看
- CSS和CSS3选择器
- 简单工厂、工厂方法、抽象工厂、抽象工厂加简单工厂
- 详解Node.js API系列 Module模块(2) 案例分析
- 蚂蚁双链通:基于区块链的供应链协作网络
热门文章
- OpenCV图像特征匹配
- php clearinterval,js计数器方法setInterval()、clearInterval()、setTimeout()和clearTimeout()
- 2019年世界最长午餐墨尔本美食美酒节即将开启
- 在西班牙里奥哈遇见一场微醺的浪漫之旅
- 华为设备的交换机接口类型介绍及配置
- 漫谈广告竞价模式(三)
- 问女孩子有没有男朋友的一个小方法
- 惠普光影精灵7type-c转HDMI拓展坞连接显示器,突然不能识别-解决办法
- 怎么根据文字内容生成图片?我来教你怎么做
- 苹果防丢器Find My