一、MFS 特性:

1. Free(GPL)

2. 通用文件系统,不需要修改上层应用就可以使用

3. 可以在线扩容,体系架构可伸缩性极强。

4. 部署简单。

5. 高可用,可设置任意的文件冗余程度(提供比 raid1+0 更高的冗余级别,而绝对不会影响读或写的性能,只会加速)

6. 可回收在指定时间内删除的文件( “ 回收站 ” 提供的是系统级别的服务,不怕误操作了,提供类似 oralce 的闪回等高级 dbms 的即时回滚特性)

7. 提供 netapp,emc,ibm 等商业存储的 snapshot 特性。(可以对整个文件甚至在正在写入的文件创建文件的快照)

8. google filesystem 的一个 c 实现。

9. 提供 web gui 监控接口。

10. 提高随机读或写的效率。

11. 提高海量小文件的读写效率。

可能的瓶颈:

1. master 本身的性能瓶颈。mfs 系统 master 存在单点故障如何解决?

moosefs+drbd+heartbeat来保证 master 单点问题?不过在使用过程中不可能完全不关机和间歇性的网络中断!

2. 体系架构存储文件总数的可遇见的上限。(mfs 把文件系统的结构缓存到 master 的内存中,文件越多,master 的内存消耗越大,8g 对应 2500w 的文件数,2 亿文件就得 64GB 内存 )。

master 服务器 CPU 负载取决于操作的次数,内存的使用取决于文件和文件夹的个数。

二、MFS 文件系统结构:

包含 4 种角色:

管理服务器 managing server (master)

元数据日志服务器 Metalogger server(Metalogger)

数据存储服务器 data servers (chunkservers)

客户机挂载使用 client computers

各种角色作用:

1. 管理服务器:负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复,多节点拷

贝。

2. 元数据日志服务器: 负责备份 master 服务器的变化日志文件,文件类型为changelog_ml.*.mfs,以便于在 master server 出问题的时候接替其进行工作。

3. 数据存储服务器:负责连接管理服务器,听从管理服务器调度,提供存储空间,并为客户提供数据传输。

4. 客户端:通过 fuse 内核接口挂接远程管理服务器上所管理的数据存储服务器,看起来共享的文件系统和本地 unix 文件系统使用一样的效果。

原始的读/写速度很明显是主要取决于所使用的硬盘的性能、网络的容量和拓扑结构的,使用的硬

盘和网络的吞吐量越好,整个系统的性能也就会越好。

三.mfs的安装配置

1.配置环境

redhat6.5

servre1:master 172.25.50.1 mfsmaster

server2:chunk  172.25.50.2

server2:chunk  172.25.50.3

真机client:172.25.50.250

2.将mfs源码包变为rpm包安装

安装rpm-build软件

创建rpm包时需要的包依赖

3.在server1上安装mfsmaster

4.使用mfs分布式文件系统需要做好解析

master端 设置为mfsmaster

5.mfsmaster端无需配置,直接启动

master端三个端口正常启动,cgi web图形端口已经打开

6.在客户端做好解析,网页访问

四.server2和server3配置chunk

1.server2安装chunk

安装包依赖

2.server2配置解析

3.配置共享点chunk1

权限限制,在启动chunk server前,需确保用户mfs有权限读写将要被挂载的分区

4.启动chunk

查看数据

4.server3上的chunk配置和server2一样,共享点为chunk2

五.客户端连接

1.安装mfs 客户端软件,配置解析

2.创建挂载点并挂载mfsmount

3. 在/mnt/mfs创建两个目录,并设置其文件存储份数

将目录dir1的储存份数设置为1

4.测试

拷贝passwd文件,查看信息:

dir1一份 在server2上

dir2二份 在server2和server3上

浏览器查看server2和server3

注:关闭一个chunkserver2(172.25.50.2)后,dir1无法查看,因为只存了一份在sevrer2上,但dir2没有影响,因为存了2份,chunkserver2重新启动后,恢复正常。

5.恢复垃圾箱文件:

误删:

[root@foundtion50 mfs]# rm -fr /mnt/mfs/dir2/passwd

[root@foundtion50 mfs]# mfsgettrashtime dir2  #查看垃圾箱中文件的保留时间

dir2: 86400        ##86400s=1day

[root@foundtion50 mfs]# mkdir /mnt/mfsdeta  #创建目录

[root@foundtion50 ~]# ll -d /mnt/mfsdeta/

drwxr-xr-x 2 root root 4096 Sep 19 18:40 /mnt/mfsdeta/

[root@foundtion50 ~]# mfsmount -m /mnt/mfsdeta/#挂载

mfsmaster accepted connection with parameters: read-write,restricted_ip

[root@foundtion50 ~]# cd /mnt/mfsdeta/

[root@foundtion50 mfsdeta]# ls

sustained  trash

[root@foundtion50 mfsdeta]# cd trash/

[root@foundtion50 trash]# find -type f

./004/00000004|dir2|passwd

[root@foundtion50 trash]# mv ./004/00000004\|dir2\|fstab undel/    #恢复误删文件

[root@foundtion50 trash]# ls /mnt/mfs/dir2/

passwd

linux分布式文件部署,Linux的企业-分布式文件系统mfs(moosefs)搭建与配置相关推荐

  1. Linux系统之部署Linux管理面板1Panel

    Linux系统之部署Linux管理面板1Panel 一.1Panel介绍 1.1Panel简介 2.1Panel特点 二.本地环境规划 1.本此实践目的 2.本地环境规划 三.检查本地环境 1.检查操 ...

  2. 分布式文件系统MFS(moosefs)实现存储共享(一)

    分布式文件系统MFS(moosefs)实现存储共享 作者:田逸([email]sery@163.com[/email]) from: [url]http://net.it168.com/a2009/0 ...

  3. 分布式文件系统MFS(moosefs)实现存储共享

    分布式文件系统MFS(moosefs)实现存储共享(第二版) 作者:田逸( sery@163.com) 由于用户数量的不断攀升,我对访问量大的应用实现了可扩展.高可靠的集群部署(即lvs+keepal ...

  4. Linux找头文件规则,linux 头文件、库文件查找顺序

    linux 头文件.库文件查找顺序 默认分类 2009-11-14 01:24:28 阅读126 评论0 字号:大中小 linux 头文件.库文件查找顺序 2009-11-03 12:36 Inclu ...

  5. Linux 执行文件 path,linux可执行文件添加到PATH环境变量的方法

    linux命令行下面执行某个命令的时候,首先保证该命令是否存在,若存在,但输入命令的时候若仍提示:command not found 这个时候就的查看PATH环境变量的设置了,当前命令是否存在于PAT ...

  6. linux 音频文件长度,Linux下压缩音频文件

    安装工具 sudo apt-get install lame 具体用法可以查看帮助  lame --help 通过更改音频文件的帧数 可以让文件变小  但是音质也会随之下降 现在比较多的mp3文件是1 ...

  7. linux读文件整个过程,linux下文件资料传输实现全过程

    linux下文件资料传输实现全过程 (8页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 17.90 积分 实用标准文案/***************** ...

  8. Linux链接文件包括,Linux操作系统——系统各目录有什么作用、以及文件链接过程...

    三. Linux 系统目录结构 /bin - 用来贮存用户命令.目录 /usr/bin 也被用来贮存用户命令. /sbin - 许多系统命令(例如 shutdown)的贮存位置.目录 /usr/sbi ...

  9. linux history文件路径,Linux、Unix常用命令(文件和目录相关)

    mkdir dirname 建立子目录. 注意:用户不能在一个不存在的目录中建立子目录. mkdir data 在当前目录下建立子目录 data mkdir /usr/data 在/usr/目录下建立 ...

  10. linux生成文件清单,Linux 获取文件名称生成列表 txt - create_filelist

    Linux 获取文件名称生成列表 txt - create_filelist 1. find /home/strong/MOTChallenge/MOT16/MOT16/train/MOT16-04/ ...

最新文章

  1. 10月第1周中国.COM域名增1万个 涨幅环比缩小82%
  2. git如何利用分支进行多人开发
  3. js 封装经纬度成json_R实现地理位置与经纬度相互转换
  4. Shadow Properties之美(一)【Microsoft Entity Framework Core随笔】
  5. 绘制条形图python_小白学Python(13)——pyecharts 绘制 柱状图/条形图 Bar
  6. 【MySQL数据库开发之四】MySQL 处理模式/常用查询/模式匹配等(下)
  7. 是谁扼杀了员工的敬业度?[转]
  8. hdu 1710 Binary Tree Traversals (二叉树)
  9. SpringMVC中自定义类型转换器
  10. 生成订单30分钟未支付,则自动取消,该怎么实现?原来大公司的最有解是这样的!...
  11. 《深度学习-改善深层神经网络》-第二周-优化算法-Andrew Ng
  12. 数据治理——如何处理“脏数据”
  13. Modelsim添加中间变量
  14. C++ 设置字体颜色
  15. Linux磁盘配额教程,磁盘配额设置及使用
  16. linux运行mentohust,Linux中用mentohust设置联网环境
  17. 霍夫曼编码代码matlab,matlab 实现霍夫曼编码
  18. Boboniu Plays Chess (模拟构造)
  19. UML介绍(2)—— 用例图(use case diagram)
  20. 三相异步电动机的制动

热门文章

  1. 小技巧收集(10)-JS操作Cookie
  2. android平板电脑维修电路图,《图解windows10平板电脑电路原理和维修》大家可以读读看看...
  3. 树的遍历 (和) 玩转二叉树 的总结博客
  4. hadoop 开发环境设置以及可运行jar包生成
  5. mySQL中replace的用法
  6. 存储器火热 大陆厂商3倍薪水赴台挖人
  7. 想成为优秀的技术人员你必须做到的几件事情【转载】
  8. [翻译]MVP(SC),MVP(PV),PM,MVVM 和 MVC 表现模式架构对比
  9. 在Sun新解决方案中心亲历虚拟化(多图)
  10. 从现有数据创建 XML 架构和数据集