GFS（GlusterFS）分布式文件系统

  • 一.GlusterFS概述
    • 1.GliusterFS特点
    • 2.GFS组成
    • 3.GFS文件系统组成
    • 4.GFS术语
    • 5.GFS架构
    • 6.GlusterFS工作原理
  • 二.堆栈式架构
    • 1.平均分配的好处
    • 2.弹性HASH算法
  • 三.GlusterFS七种卷
    • 1.分布式卷（Distribute volume）
    • 2.条带卷（Stripe volume）
    • 3.复制卷（Replica volume）
    • 4.分布式条带卷（Distribute Stripe volume）
    • 5.分布式复制卷（Distribute Replica volume）
    • 6.条带复制卷（Stripe Replica volume）
    • 7.分布式条带复制卷（Distribute Stripe Replica volume）

一.GlusterFS概述

GFS, Big Table, Map Reduce称为Google的三驾马车，是许多基础服务的基石

GFS于2003年提出，是一个分布式的文件系统，与此前的很多分布式系统的前提假设存在很大的不同，适用于以下场景

  • 1认为组件失效是一种常态，提供了容错机制，自动负载均衡，使得分布式文件系统可以在廉价机器上运行
  • 2面向大文件存储，系统主要的工作负载是大规模的流式读取，写操作主要是追加方式写，很少有随机写
  • 3一次写入，多次读取，例如互联网上的网页存储

1.GliusterFS特点

  • 扩展性和高性能
  • 高可用性
  • 全局统一命名空间（集中化管理、类比API性质/概念）
  • 弹性卷管理
  • 基于标准协议

2.GFS组成

  • 1.存储服务器
  • 2.客户端（不在本地）
  • 3.NFS/Samba存储网关组成
  • 开源分布式文件系统
  • 由存储服务器、客户端以及NFS/Samba存储网关组成
  • 无元数据服务器

3.GFS文件系统组成

  • 1.文件系统接口（API：应用程序接口）
  • 2.对对象管理的软件集合
  • 对象及属性

文件系统作用：

  • 从系统角度看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。
  • 具体的说，它负责为用户建立文件，存入、读出、修改、存储文件，控制文件的存取。

文 件系统的挂载使用：

  • 除根文件系统外的文件系统创建后要使用需要先挂载至挂载点后才可以被访问，挂载点即分区设备文件关联的某个目录文件。
  • 类比：NFS
  • 分布式文件系统

4.GFS术语

文件系统 解释
Brick（块） 实际存储用户数据的服务器
Volume 本地文件系统的"分区"
FUSE 用户空间的文件系统（类比EXT4）文件系统，然后把数据写在磁盘上，而如果是远端的GFS，客户端的请求则应该交给FUSE（文件系统），就可以实现跨界点存储在GFS
VFS（虚拟端口） 内核态的虚拟文件系统，用户是先提交请求给VFS，然后VFS交给FUSE，再交给GFS客户端，最后由客户端交给远端的存储
Glusterd（服务） 是运行在存储节点的进程（客户端运行的是gluster client）整个GFS之间的交互由Gluster client和glusterd完成的（GFS使用过程）

总结：使用GFS会使用到以上的虚拟文件系统

5.GFS架构

一个GFS集群由一台master服务器（有备份），多台chunk服务器组成，客户端，架构上比较简单。

  • Chunkserver：数据存储节点，文件被分割为固定大小的Chunk，每个Chunk被唯一标识，默认情况下，Chunk存储为3个副本
  • Chunk：每个文件至少存储为一个chunk，每个chunk以普通linux文件存储，chuck尺寸大小选择是一个关键的设计参数，默认64MB，每个chunk有全局64位唯一标识符

Chunk尺寸较大优缺点？

  • 较大：减小master上元数据大小，放在内存，减少client与master交互

  • 缺点：小文件会存储为一个Chunk，多个Client同时对单个小文件多次操作时，存放这个Chunk的ChunkServer会成为热点

  • GFS master：管理所有元数据信息；租约管理；集群Chunk迁移；无用Chunk回收；

  • 元信息(metadata)主要有三类：命名空间、文件和Chunk的映射关系(一个文件包含哪些Chunk)、每个Chunk副本的位置信息。元信息存储在内存中，加快处理速度。前两类元信息会以操作日志文件存储在本地磁盘上，并复制到远程Master备机上，容灾需要。Chunk副本的位置信息为Master通过心跳向各个ChunkServer轮询获得，无需持久化，避免了ChunkServer变更时的Master和ChunkServer的数据同步问题。

  • GFS client：与 Master节点的通信只获取元数据，所有的数据操作都直接和 Chunk 服务器进行交互，GFS提供了一套类似传统文件系统的 API 接口

6.GlusterFS工作原理

  • 这是一个典型的 C/S（Client/Server）架构

  • 1.客户端或应用程序通过GlusterFS的挂载点访问数据。

  • 2.linux系统内核通过VFS API收到请求并处理。

  • 3.VFS将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client。

  • 4.GlusterFS client收到数据后，client根据配置文件的配置对数据进行处理。

  • 5.通过网络将数据传递至远端的GlusterFS Server，并将数据写入到服务器存储设备上。

二.堆栈式架构

  • 通过对模块不同功能的组合来实现复杂功能。
  • 通过加载以下前三个模块，然后联合多个GFS-client端，组成所需要的分布式卷、条带卷等。
模块 解释
VFS 虚拟的内核文件系统，通过VFS的API接收请求、处理请求（场景：根据请求，加载以下模块）
I/O cache I/O缓存
read ahead 内核文件预读
distribute/stripe 分布式、条带卷
gige 千兆网/千兆接口
TCP/IP 网络协议
InfiniBand 网络协议，与TCP/IP相比，TCP/IP具有转发丢失数据包的特性，基于此通讯协议可能导致通讯变慢，而IB使用基于信任的、流控制的机制来确保连接完整性，数据包丢失几率小。
RDMA 负责数据传输，有一种数据传输协议，功能：为了解决传输中客户端与服务端数据处理的延迟
POSIX 可移植操作系统接口，主要解决不同操作系统间的移植性
read ahead 内核文件预读
  • 然后再转换为逻辑存储（EXT4 + BRICK）
  • 以上的架构模式可以提高GFS的工作效率

1.平均分配的好处

  • 当数据量越来越大的时候，相对每个存储节点的数据量（几率）是相等的，而如果考虑到单点故障问题，当数据存储再存储节点，对此CFS是会有备份机制的，默认3备份，所以GFS本身的机制会对数据产生冗余，以此解决单点故障。

2.弹性HASH算法

  • 通过HASH算法得到一个固定长度的数据（这里是32位整数）
  • 通常情况下，不同数据得到的结果是不同的。
  • 为了解决分布式文件数据索引、定位的复杂程度，而使用HASH算法来辅助。

优点：

  • 保证数据平均分布在每个Brick中；
  • 解决了对元数据服务器的依赖，进而解决了单点故障及访问瓶颈；

三.GlusterFS七种卷

  • GlusterFS支持七种卷，即是分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷和分布式条带复制卷。

1.分布式卷（Distribute volume）

  • 又称哈希卷，近似于RAID0，文件没有分片，文件根据hash算法写入各个节点的硬盘上，优点是容量大，缺点是没冗余。
  • 文件通过HASH算法分布到所有Brick Server上，这种卷是Glusterf的基础；以文件为单位根据HASH算法散列到不同的Brick，其实只是扩大了磁盘空间，如果有一个磁盘损坏，数据也将丢失，属于文件级的RAID0，不具备容错能力；
  • 分布式卷是GlusterFS的默认卷，在创建卷时，默认选项就是创建分布式卷。在该模式下，并没有对文件进行分块处理，文件直接存储在某个Server节点上。直接使用本地文件系统进行文件存储，大部分Linux命令和工具可以继续正常使用。需要通过扩展文件属性保存HASH值，目前支持的底层文件系统有ext3、ext4、ZFS、XFS等。
  • 由于使用本地文件系统，所以存取效率并没有提高，反而会因为网络通信的原因而有所降低；另外支持超大型文件也会有一定的难度，因为分布式卷不会对文件进行分块处理。虽然ext4已经可以支持最大16TB的单个文件，但是本地存储设备的容量实在有限。

分布式卷具有如下特点：

  • 文件分布在不同的服务器，布局别冗余性；
  • 更容易廉价地扩展卷的大小；
  • 单点故障会造成数据丢失；
  • 依赖于底层的数据保护；

2.条带卷（Stripe volume）

  • 类似于RAID0，文件被分为数据块并以轮询的方式分布到多个Brick Server上，文件存储以数据块为单位，支持大文件存储，文件越大，读取效率越高；
  • Stripe模式相当于RAID0，在该模式下，根据偏移量将文件分成N块（N个条带节点），轮询地存储在每个Brick Server节点。节点把每个数据块都作为普通文件存入本地文件系统中，通过扩展属性记录总块数和每块的序号。在配置时指定的条带数必须等于卷中Brick所包含的存储服务器数，在存储大文件时，性能尤为突出，但是不具备冗余性。

条带卷具有如下特点：

  • 数据被分割成更小块分布到块服务器群中的不同条带区；
  • 分布减少了负载且更小的文件加速了存取的速度；
  • 没有数据冗余；

3.复制卷（Replica volume）

  • 将文件同步到多个Brick上，使其具备多个文件副本，属于文件级RAID1，具有容错能力。因为数据分散到多个Brick中，所以读性能得到了很大提升，但写性能下降；
  • 复制模式，也称为AFR，相当于RAID1。即同一文件保存一份或多份副本，每个节点保存相同的内容和目录结构。复制模式因为要保存副本，所以磁盘利用率较低。如果多个节点上的存储空间不一致，那么将按照木桶效应取最低节点的容量作为该卷的总容量。在配置复制卷时，复制数必须等于卷中Brick所包含的存储服务器数，复制卷具备冗余性，即使一个节点损坏，也不影响数据的正常使用。

复制卷具有以下特点：

  • 卷中所有的服务器均保存一个完整的副本；
  • 卷的副本数量可由客户创建的时候决定；
  • 至少有两个块服务器或者更多的服务器；
  • 具有冗余性；

4.分布式条带卷（Distribute Stripe volume）

  • Brick Server数量是条带数（数据块分布的Brick数量）的倍数，兼备分布式卷和条带卷的特点；
  • 分布式条带卷兼顾分布式和条带卷的功能，主要用于大文件访问处理，创建一个分布式条带卷最少需要4台服务器。
  • 创建卷时，存储服务器的数量如果等于条带或复制数，那么创建的是条带卷或复制卷；如果存储服务器的数量是条带卷或复制卷的2倍甚至更多，那么将创建分布式条带卷或分布式复制卷。

5.分布式复制卷（Distribute Replica volume）

  • Brick Server数量是镜像数（数据副本数量）的倍数，具有分布式卷和复制卷的特点；
  • 分布式复制卷兼顾分布式卷和复制卷的功能，主要用于需要冗余的情况下。
  • 假如存在8台服务器，当复制副本为2时，按照服务器列表的顺序，服务器1和2作为一个复制，服务器3和4作为一个复制，服务器5和6作为一个复制，服务器7和8作为一个复制；当复制副本为4时，按照服务器列表的顺序，服务器1/2/3./4作为一个复制，服务器5/6/7/8作为一个复制。

6.条带复制卷（Stripe Replica volume）

  • 类似于RAID10，同时具有条带卷和复制卷的特点；

7.分布式条带复制卷（Distribute Stripe Replica volume）

  • 三种基本卷的复合卷，通常用于类Map Reduce应用；

GFS（GlusterFS）分布式文件系统相关推荐

  1. glusterfs分布式文件系统初探

    公司有几台就服务器,正好有个项目对磁盘的容量以及性能有一定的要求,故而寻求分布式文件系统方面的知识,最终采用了glusterfs.以下对部署以及测试过程潦做记录. glusterfs分布式文件系统采用 ...

  2. GlusterFS分布式文件系统群集

    GlusterFS分布式文件系统群集 技能展示 理解GlusterFS工作原理 理解弹性HASH算法心 掌握几种类型的GlusterFS卷 掌握部署GlusterFS的方法 简介 在企业中,一些重要的 ...

  3. glusterfs分布式文件系统详细原理

    http://blog.csdn.net/yujin2010good/article/details/75268877 1.Glusterfs简介 GlusterFS是Scale-Out存储解决方案G ...

  4. GFS（分布式文件系统）

    引言 当数据集的大小超过一台独立物理计算机的存储能力时,就有必要对它进行分区(partition)并存储到若干台单独的计算机上.管理网络中夸多台计算机存储的文件系统.这种系统构架于网络之上,肯定会引入 ...

  5. 一篇文章告诉你什么是GFS（分布式文件系统）

    目录 引言 一.文件系统简介 1. 组成 2. 作用 3. 文件系统的挂载使用 二.GFS 分布式文件系统概述 1. GFS 简介 2. GFS 的特点 3. GFS 专业术语 4. 模块化堆栈式架构 ...

  6. GlusterFS 分布式文件系统

    目录 引言 一.文件系统简介 1. 组成 2. 作用 3. 文件系统的挂载使用 二.GFS 分布式文件系统概述 1. GFS 简介 2. GFS 的特点 3. GFS 专业术语 4. 模块化堆栈式架构 ...

  7. GlusterFS分布式文件系统

    分布式系统要做的任务就是把多台机器有机的组合.连接起来,让其协同完成一件任务,可以是计算任务,也可以是存储任务.如果一定要给近些年的分布式系统研究做一个分类的话,大概可以包括三大部分: 1. 分布式存 ...

  8. 十三章——GlusterFS分布式文件系统群集（应用——linux防护与群集）

    三期总目录链接 目录 一.GlusterFS相关知识介绍 (一)简介 1. GlusterFS介绍 二.glusterFs实例 (一)准备环境 1.分区 2.node1~node4 安装软件--yum ...

  9. 案例部署——GlusterFS分布式文件系统群集

    前言:大部分分布式解决方案都是通过元服务器存放目录结构等元数据,元数据服务器提供了整个分布式存储的索引工作.但是一单元数据服务器损坏,整个分布式存储页将无法工作.本次将介绍一款无元服务器的分布式存储解 ...

  10. 企业级别应用--GFS分布式文件系统（GlusterFS工作原理、弹性 HASH 算法 、GlusterFS卷的类型、 部署GlusterFS）

    文章目录 一. GlusterFS 概述 1.1 GlusterFS 简介 与传统分布式相比的优点 1.2 GlusterFS 的特点 扩展性和高性能 高可用性 全局统一命名空间 弹性卷管理 基于标准 ...

最新文章

  1. 关于肠道菌群研究的7大事实和5大倡议
  2. python——杂货铺
  3. 为什么大家看到不错的文章更愿意收藏而不是点赞？
  4. django（7）modelform操作及验证、ajax操作普通表单数据提交、文件上传、富文本框基本使用...
  5. [svc]后台运行程序screen or nohup
  6. android 邮件分享链接,Android应用从通过电子邮件发送的链接打开
  7. 【英语学习】【WOTD】zero-sum 释义/词源/示例
  8. sublime text多文件夹查找关键字
  9. 绝对值编码器：从调研到开发
  10. ubuntu下的libfetion飞信
  11. 单例模式 饿汉式与懒汉式
  12. SkeyeVSS综合安防监控Onvif、RTSP、GB28181视频云无插件直播点播解决方案之监控视频实时多屏预览
  13. 单片机初学者电路常识
  14. 感谢！《夜空守望者》
  15. 如何做好一个项目经理？
  16. RabbitMQ搭建
  17. cadence SPB17.4 - allegro - create and switch Visibility view
  18. 微服务（SpringCloud）入门项目——外卖订单系统
  19. linux装系统手动修改u盘名称,linux下修改U盘名称
  20. JZOJ 3908 吴传之火烧连营

热门文章

  1. Window 10无法登陆微软账户解决方案
  2. win10安装怎么跳过微软账户登录
  3. Shader笔记（一）
  4. 【C语言实现游戏】（二）扫雷（递归实现排雷）
  5. Cisco PBTS和Route MAP技术，以及H3C的Route Policy
  6. isEmpty和isBlank的区别
  7. 学生成绩表c语言,学生成绩管理系统C语言（附完整源代码） .doc
  8. react中英文切换三之谷歌地图中英文切换
  9. js数组指定位置删除和添加元素
  10. [转载](家常菜系列)教你几道八大菜系中的佳肴做法