带你了解数据分布式存储原理

数据分布式存储原理，数据分布式规则?就这?怎么就数据分布式了。现在我们把MDC对应OSD数量生成的数据分布式规则交给VBS模块。

VBS是安装在用户系统中的一个代理，当用户需要存放数据在分布式存储中时，VBS会先接收用户的数据，然后对用户数据进行切块分区(一般会把数据分成1MB大小的数据分片。

例如一个1GB的视频文件需要存放在分布式存储中，则会被VBS接收后分割为1024个1MB大小的数据分片)，接着对每个数据分片带有的SCSI标识进行格式转化，使之成为分布式存储系统使用的Key标识。然后对key进行哈希计算，算出每个数据分片的哈希值。

可以这样理解，其实每个数据在操作系统下发存储的时候都会带着一个介绍信(SCSI标识)，操作系统告诉数据拿着这个介绍信去找大V哥开房间存放数据。

分布式存储的VBS模块就是这个大V哥，当大V哥看到这个介绍信(SCSI标识)后就告诉数据，你的这个介绍信(SCSI标识)现在用不了了，必须重新登记一下，然后VBS就根据介绍信(SCSI标识)又开了一张票(Key)给数据，然后数据拿着这张票(Key)去找大V哥的小弟，小弟就根据票(key)来分配房卡(key带入哈希函数进行计算算出哈希值)，开房间存放数据(如图)。

(图数据分片逻辑图)

数据被VBS接收后，最终数据会变成多个1MB的小数据分片，并且每一个1MB的小数据块都会带着最终的哈希值。哈希值可以在0-2^{32之间取整，很巧的是，MDC生成的哈希路由圆环也刚好是2}32份个分区，那么哈希值取整是多少，该1MB数据分片就归属于哪一个分区。

由于MDC通过对应OSD和哈希路由圆环的分区生成了一个分区对应磁盘的关系(数据分布式规则)，那么最终这个数据就存放在该分区对应的磁盘中，该磁盘的OSD会将数据持久化存放在磁盘介质中。(如图)若上文假设中提到分区1-分区3对应OSD1，刚好现在有一个数据分片对应的哈希值取整后为3，则该1MB数据归属在分区3，分区3对应OSD1，则由OSD1将该1MB数据存放到该OSD对应的磁盘中，完成数据落盘。

(图哈希全流程图)

由于哈希路由圆环所生成的分区是均分对应到OSD上的，所以当大量数据存储时，由于概率，最终数据基本会均分到各个OSD对应的磁盘中存放起来。所有磁盘是并发工作的，都可以接收数据就等同于所有磁盘对应所在的服务器都是并发且相对均衡地接收数据，最终完成数据的分布式存储。

带你了解数据分布式存储原理相关推荐

大数据分布式存储原理
大数据基础 1.什么是大数据短时间内快速的产生海量的多种多样的有价值的数据 2.大数据技术 2.1 分布式存储 2.2 分布式计算 ① 分布式批处理(无法实现预测) 存一段时间的数据,等到将来某一时 ...
HDFS读写数据的原理
目录 1 概述 2 HDFS写数据流程 3 HDFS读数据流程目录最近由于要准备面试,就把之前学过的东西好好整理下,权当是复习. 下面说下HDFS读写数据的原理. 1 概述 HDFS集群分为两大角 ...
深入了解Struts2返回JSON数据的原理及具体应用范例
来源:http://yshjava.iteye.com/blog/1333104 早在我刚学Struts2之初的时候,就想写一篇文章来阐述Struts2如何返回JSON数据的原理和具体应用了,但苦于一 ...
大数据技术原理与应用第一篇大数据基础
目录第一章大数据概述一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...
手把手教你EEG脑电数据预处理-原理篇
目录 0. EEG data 1. 定位通道数据 2. 删除无用数据 3.滤波 4.分段 5.基线校正 6. 重参考 7. 降低采样率 8. 插值坏导 9. 独立主成分分析 10. 剔除坏段本分享为 ...
大数据技术原理与应用—课后题答案（第一章）
大数据技术原理与应用_林子雨版_课后题答案(第一章) 1.试述信息技术发展史上的3次信息化浪潮及具体内容. 信息化浪潮发生时间标志解决问题 ...
网站统计中的数据收集原理及实现
网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析.百度统计和腾讯分析等等.所有这些统计分析工具的第一步都是网站访问数据的收集.目前主流的数据收集方式基本都是基于java ...
网站统计中的数据收集原理及实现(js埋点实现)
网站统计中的数据收集原理及实现网站统计埋点 Web Openresty 网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析.百度统计和腾讯分析等等.所有这些统计分析工 ...
网站统计中的数据收集原理及实现(openResty篇）
引言: 网站数据统计分析工具是网站站长和运营人员经常使用的一种工具,比较常用的有谷歌分析.百度统计和腾讯分析等等.所有这些统计分析工具的第一步都是网站访问数据的收集.目前主流的数据收集方式基本都是基于 ...

带你了解数据分布式存储原理

带你了解数据分布式存储原理相关推荐

最新文章

热门文章