Compaction和Split

• 问题：随着写入不断增多，flush次数不断增多，Hfile文件越来越多,所以Hbase需要对这些文件进行
合并

• Compaction会从一个region的一个store中选择一些Hfile文件进行合并。合并说来原理很简单，先从这些待合并的数据文件中读出KeyValues，再按照由小到大排列后写入一个新的文件中。之后，这个新生成的文件就会取代之前待合并的所有文件对外提供服务
• Minor Compaction：是指选取一些小的、相邻的StoreFile将他们合并成一个更大的StoreFile，在这个过程中不会处理已经Deleted或Expired的Cell。一次Minor Compaction的结果是更少并且更大的StoreFile
• Major Compaction：是指将所有的StoreFile合并成一个StoreFile，这个过程还会清理三类无意义数据：被删除的数据、TTL过期数据、版本号超过设定版本号的数据
• Major Compaction时间会持续比较长，整个过程会消耗大量系统资源，对上层业务有比较大的影响。因此线上业务都会将关闭自动触发Major Compaction功能，改为手动在业务低峰期触发
• Compaction本质：使用短时间的IO消耗以及带宽消耗换取后续查询的低延迟
• compact的速度远远跟不上HFile生成的速度，这样就会使HFile的数量会越来越多，导致读性能急剧下降。为了避免这种情况，在HFile的数量过多的时候会限制写请求的速度。

• Split
– 当一个Region太大时，将其分裂成两个Region
• Split和Major Compaction可以手动或者自动做。
默认情况下，每个 Table 起初只有一个 Region，随着数据的不断写入，Region 会自动进行拆分。刚拆分时，两个子 Region 都位于当前的 Region Server，但处于负载均衡的考虑，HMaster 有可能会将某个 Region 转移给其他的 Region Server。
Region Split 时机：
1.当1个region中的某个Store下所有StoreFile的总大小超过hbase.hregion.max.filesize，该 Region 就会进行拆分（0.94 版本之前）。
2. 当1个region中的某个Store下所有 StoreFile 的总大小超过 Min(R^2 *
“hbase.hregion.memstore.flush.size”,hbase.hregion.max.filesize")，该 Region 就会进行拆分，其中 R 为当前 Region Server 中属于该 Table 的个数（0.94 版本之后）。

Compaction和Split相关推荐

深入理解 HBase Compaction 机制
HBase有很多话题可以聊,包括读写路径上涉及到的一些数据结构,性能优化以及优化读写做的一些设计等.今天要探讨的Compaction机制就是HBase架构上做的一个重要优化,其实关于HBase的架构设 ...
HBASE Compaction 简介
HBASE Compaction 简介序 since: 2021年4月8日 9:43 auth: Hadi 参考: https://blog.csdn.net/u011598442/article ...
HBase——强一致性详解
Hbase是一个强一致性数据库,不是"最终一致性"数据库,官网给出的介绍: "Strongly consistent reads/writes: HBase is not ...
分布式数据库 HBase
原文地址:http://www.oschina.net/p/hbase/ HBase 概念 HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用 ...
HBase入门: 简介、特点、优缺点、数据结构、系统架构、入门操作、适用场景、注意事项与遇到的坑
原文地址 https://www.cnblogs.com/Little-Li/p/7878219.html https://yq.aliyun.com/articles/54410 https://b ...
大数据最佳实践-hbase
目录概述架构 MemStore WAL HMaster 读流程写流程 Memstore Flush Flush过程 StoreFile Compaction Region Split 优化 re ...
HBASE从入门到精通
一. HBase技术介绍 HBase简介 HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大 ...
HBase第一天学习
HBase第一天学习 HBase的访问方式进入退出:hbase shell exit shell实现DDl操作创建一个表:create 'member','member_id','addre ...
栋的月结 | 第一回合（定期更新、动态、架构、云技术、算法、后端、前端、收听/收看、英文、书籍、影视、好歌、新奇）[含泪总结.. 憋泪分享！]
开篇词大家好!以下是我在 2020 年 1 月 1 日至 31 日的所见.所闻.所学和所悟. 现在,我把它们安利给你们. 定期更新原创专栏: 栋的周评一文搞定 Linux 管理员手册:既简单又深 ...

Compaction和Split

Compaction和Split

Compaction和Split相关推荐

最新文章

热门文章