关于文件系统barrier

Linux文件系统包括EXT4，将文件系统barrier作为一个增强的安全特性。

常用的文件系统使用日志功能来保证文件系统的完整性。在写入新的数据块到磁盘之前，先将元数据写入日志。保证在写入真实数据前后发生错误，日志功能能很容易地回滚到更改之前的状态。这个方法确保了不会发生文件系统崩溃的情况。

做了文件写操作后，例如调用fsycn就能保证数据可靠地写入磁盘，大多数情况下，确实如此。但是由于缓存的存在，fsync这些同步操作，并不能保证存储设备把数据写入非易失性介质。如果此时存储设备发生掉电或者硬件错误，此时存储缓存中的数据将会丢失。对于像日志文件系统中的日志这样的数据，其后果可能是非常严重的。因为日志文件系统中，数据的写入和日志的写入存在先后顺序。如果顺序发生错乱，则可能破坏文件系统。

BarrierI/O的目的是使其之前的I/O在其之前写入存储介质，之后的I/O需要等到其写入完成后才能得到执行。

真实的数据块将在barrier被写入之前完全写入磁盘。使用barrier可以确保文件系统的完整性，barrier在EXT4文件系统中是默认启用。

可以通过/proc/mounts文件来监控文件系统barrier的当前状态;对于每一个挂载的文件系统，打开这个文件都能看到所有的挂载选项。如果你看到barrier=1，那么文件系统就正在使用barrier功能。

使用barrier的一个缺点是需要付出降低性能的代价。如果需要顶级的性能，可以用挂载选项-o barrier=0来关闭barrier功能，或者nobarrier。

在系统中断时，数据会留在缓存中，不会写入到文件系统。而一个带有电池备份的控制器可以避免这个问题。当服务器使用的这个控制器出故障了，磁盘控制器仍然能保证变更操作，可以排除barrier使用的需要。

所以可以尝试禁用barrier特性来测试。

关于EXT4文件系统

Linux kernel自2.6.28开始正式支持新的文件系统Ext4。 Ext4是Ext3的改进版，修改了Ext3中部分重要的数据结构，而不仅仅像Ext3对Ext2那样，只是增加了一个日志功能而已。Ext4 可以提供更佳的性能和可靠性，还有更为丰富的功能：

1. 与Ext3兼容,就能从Ext3在线迁移到Ext4，而无须重新格式化磁盘或重新安装系统。原有Ext3数据结构照样保留，Ext4作用于新数据，当然，整个文件系统因此也就获得了Ext4所支持的更大容量。

2. 更大的文件系统和更大的文件。较之Ext3目前所支持的最大16TB文件系统和最大2TB文件，Ext4分别支持1EB（1,048,576TB，1EB=1024PB，1PB=1024TB）的文件系统，以及16TB的文件.

3. 无限数量的子目录。Ext3目前只支持32,000个子目录，而Ext4支持无限数量的子目录。

4. Extents。Ext3 采用间接块映射，当操作大文件时，效率极其低下。比如一个 100MB 大小的文件，在Ext3中要建立25,600个数据块（每个数据块大小为 4KB）的映射表。而Ext4引入了现代文件系统中流行的extents概念，每个 extent 为一组连续的数据块，上述文件则表示为“该文件数据保存在接下来的25,600个数据块中”，提高了不少效率。

5. 多块分配。当写入数据到 Ext3 文件系统中时，Ext3的数据块分配器每次只能分配一个4KB 的块，写一个 100MB 文件就要调用 25,600 次数据块分配器，而 Ext4 的多块分配器“multiblock allocator”（mballoc）支持一次调用分配多个数据块。

6. 延迟分配。Ext3的数据块分配策略是尽快分配，而 Ext4 和其它现代文件操作系统的策略是尽可能地延迟分配，直到文件在 cache 中写完才开始分配数据块并写入磁盘，这样就能优化整个文件的数据块分配，与前两种特性搭配起来可以显著提升性能。

7. 快速 fsck。以前执行 fsck 第一步就会很慢，因为它要检查所有的 inode，现在 Ext4 给每个组的 inode 表中都添加了一份未使用 inode 的列表，今后 fsck Ext4 文件系统就可以跳过它们而只去检查那些在用的 inode 了。

8. 日志校验。日志是最常用的部分，也极易导致磁盘硬件故障，而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4的日志校验功能可以很方便地判断日志数据是否损坏，而且它将 Ext3 的两阶段日志机制合并成一个阶段，在增加安全性的同时提高了性能。

9. “无日志”（No Journaling）模式。日志总归有一些开销，Ext4允许关闭日志，以便某些有特殊需求的用户可以借此提升性能。

10. 10.在线碎片整理。尽管延迟分配、多块分配和extents能有效减少文件系统碎片，但碎片还是不可避免会产生。Ext4支持在线碎片整理，并将提供e4defrag工具进行个别文件或整个文件系统的碎片整理。

11. inode 相关特性。Ext4 支持更大的inode，较之Ext3默认的inode大小128字节，Ext4为了在 inode 中容纳更多的扩展属性（如纳秒时间戳或inode版本），默认inode大小为256字节。Ext4 还支持快速扩展属性（fastextended attributes）和inode保留（inodes reservation）。

12. 持久预分配（Persistent preallocation）。 P2P 软件为了保证下载文件有足够的空间存放，常常会预先创建一个与所下载文件大小相同的空文件，以免未来的数小时或数天之内磁盘空间不足导致下载失败。 Ext4在文件系统层面实现了持久预分配并提供相应的API（libc 中的 posix_fallocate()），比应用软件自己实现更有效率。

13. 默认启用 barrier。磁盘上配有内部缓存，以便重新调整批量数据的写操作顺序，优化写入性能，因此文件系统必须在日志数据写入磁盘之后才能写commit记录，若commit 记录写入在先，而日志有可能损坏，那么就会影响数据完整性。Ext4默认启用barrier，只有当barrier之前的数据全部写入磁盘，才能写 barrier之后的数据。（可通过“mount -o barrier=0″命令禁用该特性。）

关于jbd2的小延伸及-文件系统相关推荐

智能小程序档案馆——文件系统能力
新增接口新增了目录管理 . 文件操作等接口,将这些能力封装成文件系统. 提升存储能量文件系统为开发者提供了更加完善的能力来支撑小游戏中复杂的文件目录结构和文件读写操作,并且每个小游戏的本地用 ...
文件系统类型是ntfs无法确定卷版本和状态_硬盘写到一半时断电，文件系统里会发什么？...
断电时文件系统发生了什么?硬盘又发生了什么?下一次开机时写到一半的文件在系统层面还在吗?在底层还在吗? 更进一步的, 文件系统如何保证事务性, 会不会存在某种极端情况导致例如最后几个bit还没写完, ...
Linux 文件系统及 ext2 文件系统
linux 支持的文件系统类型 Ext2: 有点像 UNIX 文件系统.有 blocks,inodes,directories 的概念. Ext3: Ext2 的加强版,添加了日志的功 ...
深入理解ext4等Linux文件系统
了解 ext4 的历史,包括其与 ext3 和之前的其它文件系统之间的区别. 目前的大部分 Linux 文件系统都默认采用 ext4 文件系统,正如以前的 Linux 发行版默认使用 ext3.ext ...
linux 内核虚拟文件系统VFS 路径查找 path_lookup
路径查找是VFS的一个主要操作:给定一个文件名,获取该文件名的inode.路径查找是VFS中相当繁琐的一部分,主要是符号链接,文件系统装载点,以及. ..和//等奇怪路径引入了复杂性. nameid ...
在LINUX环境中，哪种文件系统存储更安全？
作者:张宇,北亚服务器数据恢复中心([url]http://www.datahf.net[/url]),转载请联系作者,如果实在不想联系作者,至少请保留版权,谢谢. [问题] 昨天我转载的一文中,提到 ...
嵌入式根文件系统制作
1:文件系统分类: 基于flash的文件系统:flash有两种,一种是NOR,另一种NAND.NOR型 FLASH主要用于存放程序.NAND型 FLASH主要用于存放数据.NOR的特点是可在芯片 ...
【移植Linux 3.4.2内核第三步】从0制作支持新内核的文件系统
学习交流加个人qq: 1126137994 个人微信: liu1126137994 学习交流资源分享qq群: 962535112 上一篇文章,我们修改了内核代码改了系统的分区,但是最后启动,发现虽然 ...
分布式文件系统对比与选型参考
一.分布式文件系统分布式文件系统(Distributed File System)是指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连.分布式文件系统的设计基于客户 ...

关于jbd2的小延伸及-文件系统

关于文件系统barrier

关于EXT4文件系统

关于jbd2的小延伸及-文件系统相关推荐

最新文章

热门文章