第一节 Minio保护数据免受硬件故障和无声数据损坏的纠删码Erasure-Code

第一节第一节 Minio保护数据免受硬件故障和无声数据损坏的纠删码Erasure-Code

什么是纠删码Erasure-Code?
什么是位衰减bit rot保护?
驱动器（盘）如何使用纠删码?
Erasure-Code介绍

Minio使用纠删码 erasure code和 checksum来保护数据免受硬件故障和无声数据损坏。即便您丢失一半数量（N/2）的硬盘，您仍然可以恢复数据。

什么是纠删码Erasure-Code?

纠删码是一种恢复丢失和损坏数据的数学算法， Minio采用里德-所罗门码将对象分片为数据和奇偶校验块。这就意味着如果是12块盘，一个对象可被分片的范围是：6个数据块和6个奇偶校验块到 10个数据块和2个奇偶校验块之间。

默认情况下, MinIO 将对象拆分成N/2数据和N/2 奇偶校验盘. 虽然你可以通过存储类型自定义配置, 但是我们还是推荐N/2个数据和奇偶校验块, 因为它可以确保对硬盘故障提供最佳保护。

比如上面12个盘的例子，通过默认配置运行MinIO服务的话，你可以丢失任意6块盘（不管其是存放的数据块还是奇偶校验块），你仍可以从剩下的盘中的数据进行恢复。

Minio对每个对象单独编码，存储服务一经部署，通常情况下是不需要更换硬盘或者修复。Minio纠删码的设计目标是为了性能和尽可能的使用硬件加速。

什么是位衰减bit rot保护?

位衰减又被称为数据腐化Data Rot、无声数据损坏Silent Data Corruption,是目前硬盘数据的一种严重数据丢失问题。硬盘上的数据可能会神不知鬼不觉就损坏了，也没有什么错误日志。正所谓明枪易躲，暗箭难防，这种背地里犯的错比硬盘直接咔咔宕了还危险。不过不用怕，Minio纠删码采用了高速 HighwayHash 基于哈希的校验和来防范位衰减。

驱动器（盘）如何使用纠删码?

MinIO会把你提供的所有驱动器，按照4 到 16个一组划分为多个纠删码集合，因此，你提供的驱动器数量必须是以上这些数字(4到16)的倍数。每个对象都会被写入一个单独的纠删码集合中。

Minio会尽可能使用最大的纠删码集合大小（EC set size）进行划分.比如 18个盘会被划分为2个纠删码集合，每个集合有9个盘；24个盘也会被划分为2个纠删码集合，每个集合有12个盘。对于将MinIO作为独立的纠删码部署运行的场景而言，这是正确的。然而，在分布式部署时，选择的是基于节点（亲和力）的纠删条带大小.

驱动器的大小应当都差不多。

Erasure-Code介绍

EC编码：校验数据生成

Vandermonde 矩阵：

编码矩阵-数据转换计算矩阵是一个k阶方阵，表示输入和输出不变
编码矩阵-校验块计算矩阵是一个m*k矩阵
对要存储的k组数据逐字节读入，形成 d1,d2…dk
进行矩阵乘法运算，得到最后要存储的k个数据块和m个校验块

注意：把单位矩阵也放到编码矩阵上面，看起来只是把输入无变化的输出出来。实际上，在编码理论中，并不是所有生成的Code都是k个原始数据和m个校验数据的形式。

EC解码：数据损坏时，通过生成解码矩阵来恢复数据

对所有丢失的数据，将它对应的第i行从编码矩阵-数据转换计算矩阵中移除，保留编码矩阵的前k行，构成1个k*k的矩阵。

例如：第2、3个数据块丢失，移除第2, 3行，保留第k+1和k+2行（即校验块计算矩阵的第1和2行）：此时矩阵中丢失的数据块用u2和u3占位，未丢失的数据块（d1,d4,d5…），校验块（y1和y2)

最后求逆矩阵，与未丢失的块相乘，就可以恢复出已丢失数据块 u2,u3：