1.概述

在编码理论里，有一种前向纠错(FEC)编码方式，也称为纠删码。
这种技术可以将原始数据中丢失的k字节数据从n个含编码字节的信息中进行恢复。
在纠删码技术中，Reed-Solomon（里所码）码是一种常见的纠删码。

2.纠删码的应用

对于在分布式环境下数据存储的可靠性保证，有两种策略：
1）引入副本冗余机制策略
2）利用纠删码技术，相比于副本策略，纠删码技术可以节省更多磁盘的空间。即有更高的磁盘利用率

拿Hadoop的HDFS来说，策略一般是三副本，当某个副本丢失时，可以通过其他副本复制回来。所以在这种情况下，Hadoop集群的磁盘利用率为1/3。而如果使用纠删码技术后，可以提高磁盘的利用率。

3.纠删码的思想

上图的含义是：有n个原始数据块，再引入m个数据校验块，然后通过编码（encode）是原始数据块和数据校验块产生关联。

纠删码技术是一种数据恢复技术，最早用于通信行业中数据传输中的数据恢复，是一种编码容错技术。它通过在原始数据中加入新的校验数据，使得各个部分的数据产生关联性。在一定范围内的数据出错情况下，通过纠删码技术都可以进行恢复。
比如：有原始数据块n个，然后加入m个校验数据块。
原始数据块和校验数据块在丢失时，都可以通过现有的数据块进行恢复

举例：
①x=1
②y=2
③z=3
④x+y+z=6
⑤2x+3y+z=11
⑥x+2y+3z=14

1）如果我们丢了3个原始数据块，可以恢复
④x+y+z=6
⑤2x+3y+z=11
⑥x+2y+3z=14
2）如果我们丢失了3个数据校验块，可以恢复
①x=1
②y=2
③z=3
3）可以
②y=2
③z=3
④x+y+z=6
⑤2x+3y+z=11
⑥x+2y+3z=14
4）可以
③z=3
④x+y+z=6
⑤2x+3y+z=11
⑥x+2y+3z=14
5）不可以
③z=3
⑥x+2y+3z=14

4.Reed-solomon codes

4.1.概述

Reed-Solomon里所码（RS）码是存储系统较为常用的一种纠删码，也称为里所码。它有两个参数n和m，记为RS(n,m)。n代表原始数据块个数。m代表校验块个数。接下来介绍RS码的原理。

4.2Reed-Solomon(RS)码的编码和解码过程

1）编码过程（encoding）

数据丢失：

2）解码过程

4.3.RS的优缺点：

优点：低冗余度，高磁盘利用率。
比如一个文件有5个文件块，假设用3副本冗余机制，最后总的文件块是15块，则磁盘利用率是：5/15=1/3=33%
而用RS码来实现，5个文件块+3个数据校验块，则磁盘利用率是：5/8=62.5%

缺点：
1）计算代价高。丢失数据块或者编码块时， RS需要读取n个数据块和剩余的校验块才能恢复数据。
2）数据更新代价高。数据更新相当于重新编码，代价很高，因此常常针对只读数据，或者冷数据。

工程实践中，一般对于热数据还是会使用多副本策略来冗余，冷数据使用纠删码。

4.4.两种冗余技术对比如下：

Erasure code（纠删码）相关推荐

Hadoop 3.0 Erasure Coding 纠删码功能预分析
前言 HDFS也可以支持Erasure Coding功能了,将会在Hadoop 3.0中发布,可以凭图为证: 在HDFS-7285中,实现了这个新功能.鉴于此功能还远没有到发布的阶段,可能后面此块相关 ...
MiniO纠删码快速入门
MiniO纠删码快速入门 Minio使用纠删码erasure code和校验和checksum来保护数据免受硬件故障和无声数据损坏. 即便您丢失一半数量(N/2)的硬盘,您仍然可以恢复数据. 什么是纠 ...
Hadoop3.0时代，怎么能不懂EC技术纠删码？个推为你解读
根据云存储服务商Backblaze发布的2021年硬盘"质量报告",现有存储硬件设备的可靠性无法完全保证,我们需要在软件层面通过一些机制来实现可靠存储.一个分布式软件的常用设计原则 ...
Hadoop 3.0纠删码简单调研
目录: 1. 背景 2. 纠删码(Erasure Coding)介绍 3. 纠删码(Erasure Coding)原理 4. 总结一. 背景随着大数据技术的发展,HDFS作为Hadoop的核心模 ...
SDS离全面EC(纠删码)还有多远？
SDS(软件定义存储)离全协议(块.文件.对象).全介质(全闪.混合) .全场景使用EC(纠删码)还有多远?今天我们来寻找答案. 我们XSKY一直在提升SDS的得盘率.性能.扩展性.通用性,以便SDS ...
Erasure Code - EC纠删码原理
Erasure Code - EC纠删码原理查看全文 http://www.taodudu.cc/news/show-3010091.html 相关文章: 楞严咒全文正确注音版_楞严咒全文注音积分 ...
minio存储之纠删码(Erasure Code)
纠删码的原理介绍可以参考: https://www.jianshu.com/p/4abf65ad03af 一般上我们如果要保证数据高可用,主流的有两种策略: 多副本纠删码副本(Replicatio ...
分布式系统下的纠删码技术（一） -- Erasure Code (EC)
近几个月主要参与一个分布式存储系统的纠删码部分(用于数据容错),纠删码在学术界出现比较早,现在ceph,微软的存储系统,Hadoop 3.0等都用了EC.文章会分为多篇,主要将Erasure Code ...
Ceph 进阶系列（四）：Ceph的纠删码特性 EC（Erasure Code）
从GitHub上Clone Ceph项目,我是基于(ceph version 12.2.11 luminous 版本)的代码来分析的一.EC(Erasure Code)是什么? Ceph的纠删码特性 ...

Erasure code（纠删码）

1.概述

2.纠删码的应用

3.纠删码的思想

4.Reed-solomon codes

4.1.概述

4.2Reed-Solomon(RS)码的编码和解码过程

4.3.RS的优缺点：

4.4.两种冗余技术对比如下：

Erasure code（纠删码）相关推荐

最新文章

热门文章