读Avoiding the Disk Bottleneck in the Data Domain Deduplication File System

最近在思考和实践怎样应用重复数据删除技术到云存储服务中。找了些论文来读，其中《Avoiding the Disk Bottleneck in the Data Domain Deduplication File System》是鼎鼎大名的李凯教授出品，读来收益匪浅。

论文主要内容

Data Domain的去重存储系统是商业上大获成功的产品，从产品的角度来讲非常完善，其架构图如下：

去重存储系统在数据存储和重建的过程中，都需要频繁地访问数据块的索引，即图中的Segment Index。为了降低成本，一般系统都无法接受将index数据全部存储到内存中，而是基于硬盘来实现这个index的存储。这样一来，磁盘相对较低的性能就成了整个系统的性能瓶颈。本文介绍了Data Domain的去重存储系统中，针对这个问题所采用的三种优化技术。

总结向量。总结向量可以认为是Segment index在内存中的总结，本文使用Bloom filter来实现。当需要查询一个index值是否存在的时候，总结向量可以提供如下功能，如果总结向量指出该index不存在，那么该index就不存在，无需进一步查找；如果总结向量指出该index存在，那么该index有很大可能存在，但并不保证一定存在，需要进一步查找确认。总结向量要比原始的segment index小，从而放入内存，提升效率。当系统正常关闭时，将总结向量写入磁盘，并在启动时从磁盘读入内存。为了应对断电等非正常关闭，系统阶段性的创建checkpoint，将总结向量写入磁盘。在需要恢复的时候，只需读取最近的checkpoint，然后将checkpoint之后产生的新数据添加到总结向量中即可。
流感知的块排列技术。流感知的块排列技术 (stream-informed segment layout ，SISL)是基于这样一种假设，当一个文件的部分数据块存入系统后，再次使用时，这些数据块有很大的可能还会以想同的顺序出现。比如需要恢复这个文件时候，比如下次备份这个文件的新版本的时候。这种排列方式带来许多好处：a.当数据重建时，可以大幅减少磁盘IO；b.当备份相似数据流（数据新版本时），segment index的cache的局部性更高，更有效。c.在同一个container中，元数据段和数据段分开存储，使得可以快速读取一个container中涉及到的所有segment的index构建cache和Bloom filter。
局部性保持缓存。使用局部性保持缓存技术来加速重复segment的确认过程。由于segment使用内容的sha1来唯一标识，因此很难基于正在使用的segment来预测将要使用的segment是哪一个，从而预加载，提高缓存命中率。幸而应用了流感知的块排列技术（SISL），这使得实现局部性保持缓存有了可能性。

我的思考和疑问

要实现Bloom Filter的check point，需要container是全局有序的，给定某一个container的id，可以从这个container开始一直遍历到最近产生的数据；
流感知的块排列技术中，如果一个流的数据很少是怎么处理的？还有，当有多个流在备份数据的时候，如果两个流要写入同一个系统中不存在的segment时，怎么办，是不是就重复写入了。
传统的数据去重存储系统是面向备份应用的，关注的是吞吐量而不是响应时间。如果要用来做online的实时系统，会有新的问题要解决。

转载于:https://www.cnblogs.com/xinzhao/p/4736592.html

读Avoiding the Disk Bottleneck in the Data Domain Deduplication File System相关推荐

一文读懂“数据分发服务DDS”（Data Distribution Service，RTPS，OMG）
一文读懂"数据分发服务DDS"(Data Distribution Service,RTPS,OMG) https://blog.csdn.net/DDS_CSIT/article ...
磁盘、分区及Linux文件系统 [Disk, Partition, Linux File System]
1.磁盘基础知识 1.1 物理结构硬盘的物理结构一般由磁头与碟片.电动机.主控芯片与排线等部件组成:当主电动机带动碟片旋转时,副电动机带动一组(磁头)到相对应的碟片上并确定读取正面还是反面的碟面,磁 ...
EMC Data Domain 存储系统的日常健康检查
本文介绍EMC DataDoamin 存储系统,民间很多人把这个系统叫做VTL虚拟带库,其实VTL仅仅是DD的一个featrue,还有很多非常重要的功能,但总结一句话,DD的最大优势是做备份.有些人把 ...
天天向上专访Data Domain创始人李凯
今天的重复数据删除技术在EMC以总价21亿美元收购Data Domain之后,骤然达到了最顶点.这也符合业界对以DeDUPlication发家的Data Domain公司股票代码的定义:DDUP--& ...
Android File System安卓文件系统（安卓存储分区，/data /storage /sdcard）
Android File System 安卓手机,平板电脑(android tablet)以及其他设备大多有 6 种分区 partitions:/boot,/system,/recovery,/dat ...
Conmi的正确答案——keil的“Cannot read RTE data from project file: RTE is not enabled”问题
keil版本:5.3.0 "Cannot read RTE data from project file: RTE is not enabled" 原因: 1.因为安装的时候不想把 ...
oracle block corrupted,ORA-01578: ORACLE data block corrupted (file # 9, block # 45729)
今天在实验的机子的oracle上的一张表中批量插入5000000条记录,在插入过程中途发生了表空间不够的情况,导致插入终止,在表空间上添加一个数据文件,对表中的数据进行查询,发生如下的错误: SQL& ...
Python报错：_tkinter.TclError: couldn‘t recognize data in image file...
在Python中使用tkinter导入图片时出现报错:_tkinter.TclError: couldn't recognize data in image file... global photo ...
mac Apple M1 在根目录无法创建文件和文件夹 mkdir: /data : Read-only file system
mac 根目录下无法创建文件夹问题: mkdir: /data : Read-only file system 问题: mount_apfs: volume could not be mounted ...

读Avoiding the Disk Bottleneck in the Data Domain Deduplication File System

论文主要内容

我的思考和疑问

读Avoiding the Disk Bottleneck in the Data Domain Deduplication File System相关推荐

最新文章

热门文章