hbase_hase的底层结构

一、hbase的底层结构

Hbase的存储默认为hdfs的/hbase目录，可以通过hbase-sit.xml配置。

/hbase/archive (1)

/hbase/corrupt (2)

/hbase/data/default/TestTable/.tabledesc/.tableinfo.0000000001 (3)
/hbase/data/default/TestTable/fc06f27a6c5bc2ff57ea38018b4dd399/info/

2e58b3e274ba4d889408b05e526d4b7b (4)

/hbase/data/default/TestTable/fc06f27a6c5bc2ff57ea38018b4dd399/
recovered.edits/340.seqid (5)

/hbase/data/default/TestTable/fc06f27a6c5bc2ff57ea38018b4dd399/.regioninfo (6)

/hbase/data/default/TestTable/fc06f27a6c5bc2ff57ea38018b4dd399/.tmp (7)

/hbase/data/default/TestTable/fc06f27a6c5bc2ff57ea38018b4dd399/.splits (8)

/hbase/data/default/TestTable/fc06f27a6c5bc2ff57ea38018b4dd399/.merges (9)

/hbase/data/hbase/acl (10)
/hbase/data/hbase/meta (11)
/hbase/hbase.id (12)

/hbase/hbase.version (13)
/hbase/MasterProcWALs (14)
/hbase/oldWALs (15)
/hbase/.tmp (16)
/hbase/.trashtables/data (17)

/hbase/WALs/tins-donot-rm-test-hb1-004.hbase.9b78df04-b.rds.aliyuncs.com,16020,1523502350378/tins-donot-rm-test-hb1-004.hbase.

9b78df04-b.rds.aliyuncs.com%2C16020%2C1523502350378.
default.1524538284034 (18)

(1) 进行snapshot或者升级的时候使用到的归档目录。compaction删除hfile的时候，也会把旧的hfile归档到这里等。

(2) splitlog的corrupt目录，以及corrupt hfile的目录。

(3) 表的基本属性信息元文件tableinfo。

(4) 对应表下的hfile数据文件。
(5) 当splitlog发生时，一个RS的wal会按照region级别split WALs写到对应目录下的的recovered.edits目录上，使得此region再次被open的时候，回放这些recovered.edits 日志。

(6) regioninfo文件。

(7) compaction等的临时tmp目录。

(8) split时临时目录，如果上次region的split没有完成被中断了，这个region再open的时候会自动清理这个目录，一般不需要人工干预。

(9) merges时的临时目录，和split一样，如果没有正常完成的时候被中断了，那么他会在下次被open的时候自动清理。一般也不需要人工干预。

(10) acl 开启HBase权限控制时的权限记录系统表

(11) meta 元数据表，记录region相关信息

(12) hbase.id 集群启动初始化的时候，创建的集群唯一id。可以重新fix生成
(13) hbase.version hbase 软件版本文件，代码静态版本，现在都是8
(14) master执行过程程序的状态保存，用于中断恢复执行使用。

(15) oldWALs 历史wal，即wal记录的数据已经确认持久化了，那么这些wal就会被移到这里。splitlog完成的那些就日志，也会被放到这里。

(16) tmp 临时辅助目录，比如写一个hbase.id文件，在这里写成功后，rename到 /hbase/hbase.id

(17) /hbase/.trashtables/data 当truncate table或者delete table的时候，这些数据会临时放在这里，默认1小时内被清

(18) 记录着一台RegionServer上的WAL日志文件。可以看到它是regionserver名字是有时间的，即下一次启动时RS的wal目录就会使用新的目录结构存放wal，这个旧的RS wal 目录就会被splitlog过程拆分回放

HBase涉及的主要文件及用途

HDFS静态文件，HDFS上的HBase 数据完整性

1. hfile文件：数据文件，目前最高版本也是默认常用版本为 3。 hfile文件结构细节可以参考官网http://hbase.apache.org/book.html#_hfile_format_2。我们这里逆向生成元数据主要使用到了HFile fileinfo的firstkey、lastkey信息。

2. hfilelink文件: 在hbase snapshot时用到, migration upgrade 也会使用到。很少碰到这类文件的运维问题，这里不作过多介绍。

3. reference文件：用来指定half hfile，一个region有reference时，这个region不能split。split/merge会创建这个。进行compaction后生成新的hfile后，会把这个reference删除。hfile的reference文件名格式一般是 hfile.parentEncRegion。如：/hbase/data/default/table/region-one/family/hfilename。其region-two有reference hfile文件名格式为：/hbase/data/default/table/region-two/family/hfile.region-one 通常无效引用就是 region-one的hfile不存在了，那么这个引用就会失效。他的修复方法一般是把reference无效的引用移除。

4. ".regioninfo" 文件，保存着 endkey/offline标志/regionid/regionName/split标志/startkey/tablename等

5. tableinfo文件这类文件保存着 tableName/table属性信息/table级别config信息/family信息。其中family信息保存着 famliyName/famiy属性/famliy级别config信息等。

通常，table属性有：REGION_MEMSTORE_REPLICATION,PRIORITY,IS_ROOT_KEY等，一般这些属性默认也是根据配置的一样。family属性有：BLOCKSIZE,TTL，REPLICATION_SCOPE等，一般属性是根据配置使用默认的。

6. hbase:meta表数据内容格式

regionname, info:regioninfo, regioninfo的encodeValue值

regionname, info:seqnumDuringOpen, 序列号

regionname, info:server, region所在的server名

regionname, info:serverstartcode, regionserver 启动的timestamp

hbase_hase的底层结构相关推荐

小码哥iOS学习笔记第八天: block的底层结构
一.最简单的block 1.最简单的block结构 ^{NSLog(@"this is a block");NSLog(@"this is a block"); ...
[java] 虚拟机(JVM)底层结构详解[转]
[java] 虚拟机(JVM)底层结构详解[转] 本文来自:曹胜欢博客专栏.转载请注明出处:http://blog.csdn.net/csh624366188 在以前的博客里面,我们介绍了在java领 ...
HP-lefthand底层结构具体解释及存储灾难数据恢复
HP-lefthand底层结构具体解释及存储灾难数据恢复一.HP-lefthand的特点 HP-lefhand是一款很不错的SAN存储,使用iscsi协议为client分配空间. 它支持RAID5. ...
从底层结构开始学习FPGA（5）----移位寄存器
文章目录系列目录与传送门一.移位寄存器SRL 1.1.概述 1.2.概念 1.3.应用 1.4.结构 1.5.级联三.移位操作 3.1.静态操作(移位长度固定) 3.2.动态操作(移位长度可变) ...
从底层结构开始学习FPGA（4）----MUX多路选择器（Multiplexer）
文章目录系列目录与传送门一.什么是MUX 二.FPGA内部的MUX 三.总结系列目录与传送门 <从底层结构开始学习FPGA>目录与传送门一.什么是MUX 多路选择器MUX是一个多输 ...
从底层结构开始学习FPGA（1）----可配置逻辑块CLB（Configurable Logic Block）
文章目录系列目录与传送门一.CLB概述二.SLICEM与SLICEL 三.查找表LUT 3.1.移位寄存器SRL 3.2.分布式DRAM 四.多路选择器MUX 五.存储单元Storage Ele ...
从底层结构开始学习FPGA（8）----Block RAM（BRAM，块RAM）
文章目录系列目录与传送门 1.什么是BRAM 2.BRAM的组成 3.BRAM的使用 3.1.RAM 3.2.ROM 3.3.FIFO 4.一些需要注意的 4.1.自带的输出寄存器 4.2.BRAM ...
map、set（底层结构）——C++
文章目录 4. 底层结构 4.1 AVL 树 4.1.1 AVL树的概念 4.1.2AVL树节点的定义 4.1.3 AVL树的插入 4.1.4 AVL树的旋转 1. 新节点插入较高左子树的左侧---左 ...
从底层结构开始学习FPGA----Xilinx 7 系列 FPGA 的逻辑优势
文章目录摘要介绍 7系列 FPGA 中的Slice架构常见的Slice资源用法控制信号额外资源的好处结论本文主要翻译自<WP405----Xilinx 7 Series FPGAs ...

hbase_hase的底层结构

hbase_hase的底层结构相关推荐

最新文章

热门文章