Hbase简介(上篇)
1、HBase基本介绍
hbase 是bigtable的开源java 版本。是建立在hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写nosql的数据库系统。
他介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。
主要用来存储结构化和非结构化的数据。
Hbase查询数据功能很简单,不支持join等复杂操作,不支持复杂的事务(行级的事务)
Hbase中支持的数据类型:byte[ ]
与Hadoop一样,Habse主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。
Hbase中的表一般有这样的特点:
大:一个表可以有上十亿行,上百万列
面向列:面向列(族)的存储和权限控制。列(族)独立检索。
稀疏:对于为空(null)的列,并不占用存储空间,因此,表可以设计的非常稀疏。
传统数据表:
Hbase:
HBase的发展历程
HBase的发展历程
HBase的原型是Google的BigTable论文,受到了该论文思想的启发,目前作为Hadoop的子项目来开发维护,用于支持结构化的数据存储。
官方网站:http://hbase.apache.org
- 2006年Google发表BigTable白皮书
- 2006年开始开发HBase
- 2008 HBase成为了 Hadoop的子项目
- 2010年HBase成为Apache顶级项目
2、HBase与Hadoop的关系
1.HDFS
- 为分布式存储提供文件系统
- 针对存储大尺寸的文件进行优化,不使用对HDFS上的文件进行随机读写操作
- 直接使用文件
- 数据模型不灵活
- 使用文件系统和处理框架
- 优化一次写入,多次读取的方式
2.HBase
- 提供表状的面向列的数据存储
- 针对表状数据的随机读写进行优化
- 使用key-value操作数据
- 提供灵活的数据模型
- 使用表状存储,支持MapReduce,依赖HDFS
- 优化了多次读,以及多次写
3.RDBMS与HBase的对比
1.关系型数据库
结构:
- 数据库以表的形式存在
- 支持FAT、NTFS、EXT、文件系统
- 使用Commit log存储日志
- 参考系统是坐标系统
- 使用主键(PK)
- 支持分区
- 使用行、列、单元格
功能:
- 支持向上扩展
- 使用SQL查询
- 面向行,每一行都是一个连续单元
- 数据总量依赖于服务器配置
- 具有ACID支持
- 适合结构化数据
- 传统关系型数据库一般都是中心化的
- 支持事务
- 支持join
2、HBase
结构:
- 数据库以region的形式存在
- 支持HDFS文件系统
- 使用WAL(Write-Ahead Logs)存储日志
- 参考系统是Zookeeper
- 使用行键(row key)
- 支持分片
- 使用行、列、列族和单元格
功能:
- 支持向外扩展
- 使用API和MapReduce来访问Hbase表数据
- 面向列,即每一列都是一个连续的单元
- 数据总量不依赖具体某台机器,而取决于机器数量
- HBase不支持ACID(Atomicity、Consistency、Isolation、Durability)
- 适合结构化数据和非结构化数据
- 一般都是分布式的
- HBase不支持事务
- 不支持SQL
- 不支持join
4、HBase特征简要
4.1海量数据存储
Hbase适合存储PB级别的海量数据,在PB级别的数据以及采用廉价PC存储的情况下,能在几十到百毫秒内返回数据。这与Hbase的极易扩展性息息相关。正式因为Hbase良好的扩展性,才为海量数据的存储提供了便利。
4.2列式存储
这里的列式存储其实说的是列族存储,Hbase是根据列族来存储数据的。列族下面可以有非常多的列,列族在创建表的时候就必须指定。
4.3极易扩展
Hbase的扩展性主要体现在两个方面,一个是基于上层处理能力(RegionServer)的扩展,一个是基于存储的扩展(HDFS)。
通过横向添加RegionSever的机器,进行水平扩展,提升Hbase上层的处理能力,提升Hbsae服务更多Region的能力。
备注:RegionServer的作用是管理region、承接业务的访问,这个后面会详细的介绍通过横向添加Datanode的机器,进行存储层扩容,提升Hbase的数据存储能力和提升后端存储的读写能力。
4.4高并发
由于目前大部分使用Hbase的架构,都是采用的廉价PC,因此单个IO的延迟其实并不小,一般在几十到上百ms之间。这里说的高并发,主要是在并发的情况下,Hbase的单个IO延迟下降并不多。能获得高并发、低延迟的服务。
4.1稀疏
稀疏主要是针对Hbase列的灵活性,在列族中,你可以指定任意多的列,在列数据为空的情况下,是不会占用存储空间的。
5、HBase的基础架构
5.1HMaster
功能:
- 监控RegionServer
- 处理RegionServer故障转移
- 处理元数据的变更
- 处理region的分配或者移除
- 在空闲时间进行数据的负载均衡
- 通过Zookeeper发布自己的位置给客户端
5.2HRegionServer
功能:
- 负责存储Hbase的实际数据
- 处理分配给它的Region
- 刷新缓存到HDFS
- 维护Hlog
- 执行压缩
- 负责处理Region分片
组件:
1) Write-Ahead logs
Hbase的修改记录,当对HBase读写数据的时候,数据不是直接写进磁盘,它会在内存中保留一段时间(时间以及数据量阈值可以设定)。但把数据保存在内存中可能有更高的概率引起数据丢失,为了解决这个问题,数据会先写在一个叫做Write-Ahead logfile的文件中,然后再写入内存中。所以在系统出现故障的时候,数据可以通过这个日志文件重建
2) StoreFile(HFile)
这是在磁盘上保存原始数据的实际的物理文件,是实际的存储文件
3) Store
HFile存储在Store中,一个Store对应HBase表中的一个列族
4) MemStore
顾名思义,就是内存存储,位于内存中,用来保存当前的数据操作,所以当数据保存在WAL之后,RegionServer会在内存中存储键值对。
5) Region
Hbase表的分片,HBase表会根据RowKey值被切分成不同的region存储在RegionServer中,在一个RegionServer中可以有多个不同的region。
预知下回如何,请听下回分解 |
Hbase简介(上篇)相关推荐
- Hbase简介及常用命令相关知识总结
文章目录 目录 前言: 1.Hbase简介 1.1.什么是Hbase 1.2.与传统数据库的对比 1.3.Hbase集群中的角色 2.Hbase数据模型 3.Hbase命令 总结: 目录 前言: 对于 ...
- 【hadoop生态之Hbase】HBASE简介【笔记+代码】
一.HBaes介绍 1.1.HBase简介 HBase是一个分布式的.面向列的开源数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式. 大:上亿行.百万 ...
- HBase 2.x ---- HBase简介
HBase 2.x ---- HBase简介 1. HBase定义 2. HBase数据模型 1. HBase逻辑结构 2. HBase物理存储结构 3. 数据模型 3. HBase基本架构 1. H ...
- HBase简介及安装
一.HBase简介 1.什么是HBase HBase(Hadoop DataBase)是一个高可靠性.高性能.面向列.可伸缩.实时读写的分布式存储系统,利用HBase技术可在廉价PC Server上搭 ...
- HBase基础【HBase简介、HBase安装、HBase shell操作】
文章目录 一 HBase简介 1 HBase定义 2 HBase数据模型 (1) HBase逻辑结构 (2) HBase物理存储结构 (3)数据模型 a)Name Space b)Table c)Ro ...
- 大数据技术之 HBase简介
大数据技术之 HBase 第 1 章 HBase 简介 1.1 HBase 定义 HBase 是一种分布式.可扩展.支持海量数据存储的 NoSQL 数据库. 1.2 HBase 数据模型 逻辑上,HB ...
- Phoenix(sql on hbase)简介
Phoenix(sql on hbase)简介 介绍: Phoenix is a SQL skin over HBase delivered as a client-embedded JDBC dri ...
- 大数据技术之HBase(一)HBase简介、HBase快速入门、HBase进阶
文章目录 1 HBase 简介 1.1 HBase 定义 1.2 HBase 数据模型 1.2.1 HBase 逻辑结构 1.2.2 HBase 物理存储结构 1.2.3 数据模型 1.3 HBase ...
- 【笔记】大数据技术之HBase简介与应用(四)
HBase简介 是BigTable开源实现 网页索引:爬虫-> BigTable运行MapReduce HBase 是谷歌的GFS的开源实现 面向列,分布式数据库 底层对应关系 BigTable ...
- Hbase简介与基本原理
一.Hbase简介 HBase(Hadoop Database)是一个开源的非关系型的分布式数据库,运行于HDFS文件系统之上,可以容错地存储海量稀疏的数据.HBase是一个高可靠.高性能.面向列.可 ...
最新文章
- [Nhibernate]对象状态
- flowable设置流程发起人
- 基于Ubuntu+Owncloud的私有云网盘
- 一文解读:如何从 0 到 1 打造小程序爆款裂变
- classpath和读取resources目录下的文件
- 处理上百万条的数据库如何提高处理查询速度
- 阅读书源最新2020在线导入_书源篇三及6.5.0版本介绍
- 解决VS命令提示符 “Setting environment for using Microsoft Visual Studio. 此时不应有“系列错误
- mysql 大小端_go语言中大小端模式的个人理解
- Azure角色管理技巧和工具
- 前端:分享几个前端素材网站
- Lesson 6英语句子的种类(简单并列复合句)
- git两个分支代码合并
- Hive中orderBy,sortBy,distribute by,cluster by,group by
- 围城如社会,故事如生活
- hdu 1205 吃糖果(数学)
- oracle查找和替换正则,PL/SQL Developer的查找/替换功能中怎样使用正则表达式?
- 【JavaWeb】JSP技术详解
- 怎样把xp计算机语言改为英文,如何把windows电脑的默认语言改成英文?
- 喜 欢 和 爱 的 区 别(转)