Linux优化大量文件读写,[Linux] 使用noatime属性优化文件系统读取性能
当文件被创建,修改和访问时,Linux系统会记录这些时间信息,当访问足够频繁将会是很大的开销,因为每次访问都会记录时间,所以 我们今天使用
# tar xf bonnie++-1.97.tgz
# cd bonnie++-1.97.1
# make
编译好之后就可以使用了
注:测试数据最好为内存的2倍
所以在没修改noatime之前,我们先测试文件系统的性能
./bonnie++ -s 31896 -d /export/ -u root -q >> file.csv
运行结果如下:
Version 1.97 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
localhost 31896M 458 99 189663 52 82909 21 2487 98 214994 26 823.4 56
Latency 32591us 566ms 705ms 11924us 252ms 122ms
Version 1.97 ------Sequential Create------ --------Random Create--------
localhost -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 16300 79 +++++ +++ +++++ +++ 14745 74 +++++ +++ 18007 32
Latency 10929us 478us 521us 493us 134us 374us
接下来我们修改挂载的/export,重新测试一遍
# vim /etc/fstab
UUID=d41182b5-5092-4f2f-88a3-be619feef512 /export ext4 defaults,noatime 1 2
设置立即生效
mount -o remount /export
执行命令:
./bonnie++ -s 31896 -d /export/ -u root -q >> file.csv
运行结果为:
Version 1.97 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
localhost 31896M 497 99 171760 35 93152 21 2276 97 240294 28 755.6 45
Latency 18716us 661ms 539ms 29368us 263ms 79468us
Version 1.97 ------Sequential Create------ --------Random Create--------
localhost -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
16 18605 93 +++++ +++ +++++ +++ 20520 96 +++++ +++ +++++ +++
Latency 1186us 379us 1297us 1288us 127us 1443us
可能这样的结果不直观,我们可以
cat file.csv | ./bon_csv2html > result.html
网页打开为:
可以看出214MBps提升到了240MBps,虽然这只是一次测试,但是理论上来说还是会有性能上的提升,在整体的集群环境下,还是有益提升集群性能的。
参考资料:
Linux优化大量文件读写,[Linux] 使用noatime属性优化文件系统读取性能相关推荐
- linux的八进制文件模式,linux od-输出文件的八进制、十六进制等格式编码的字节...
博主推荐:获取更多 linux文件内容查看命令 收藏:linux命令大全 od命令用于输出文件的八进制.十六进制或其它格式编码的字节,通常用于显示或查看文件中不能直接显示在终端的字符. 常见的文件为文 ...
- 外网访问arm嵌入式linux_嵌入式Linux系统编程——文件读写访问、属性、描述符、API
Linux 的文件模型是从 Unix 的继承而来,所以 Linux 继承了 UNIX 本身的大部分特性,然后加以扩展,本章从 UNIX 系统接口来描述 Linux 系统结构的特性. 操作系统是通过一系 ...
- [Linux] 使用noatime属性优化文件系统读取性能
博客原文: **hackershell** 当文件被创建,修改和访问时,Linux系统会记录这些时间信息,当访问足够频繁将会是很大的开销,因为每次访问都会记录时间,所以 我们今天使用bonnie++来 ...
- 4. linux调用文件计算阶乘前5项和_嵌入式Linux系统编程——文件读写访问、属性、描述符、API
Linux 的文件模型是从 Unix 的继承而来,所以 Linux 继承了 UNIX 本身的大部分特性,然后加以扩展,本章从 UNIX 系统接口来描述 Linux 系统结构的特性. 操作系统是通过一系 ...
- Linux下的文件读写
一.系统调用 应用程序(打开文件)->各种库(标准库fopen)->系统调用(open)->内核(驱动)->硬件(磁盘). 系统调用:内核提供给外界访问的接口函数,调用这些函数 ...
- php——在linux下的文件读写权限问题
在 linux 系统中在创建 文件/文件夹 时有一个默认权限,此权限受 umask 设置影响,linux 系统中默认的 umask 为 022,与 777 & 运算之后,就变成了 755. 如 ...
- Linux学习笔记 文件读写小细节
open 函数的flag int open(const *pathname, int falg, int parm) O_RDONLY //文件只读O_WRONLY //文件只写O_CREAT //不 ...
- linux自动挂载文件修复,Linux文件系统管理 开机自动挂载及fstab文件修复
概述 开机自动挂载及fstab文件修复 开机自动挂载 实现开机后自动挂载,就需要修改系统的自动挂载文件 /etc/fstab.因为系统就是依赖这个文件决定启动时加载的文件系统的. 通过vi 打开/et ...
- Linux什么是文件IO,linux中文件IO
一. linux常用文件IO接口 1.1. 文件描述符 1.1.1. 文件描述符的本质是一个数字,这个数字本质上是进程表中文件描述符表的一个表项,进程通过文件描述符作为index去索引查表得到文件表指 ...
最新文章
- PAT甲级1001.A+B Format(20)
- 虚拟机上无法运行Gazebo的问题?
- [源码和文档分享]基于FFMEPEG-MATLAB和C#-SQL SERVER构建的手机录音数据库及特征分析...
- Windows PowerShell:Windows PowerShell的简介、入门、使用方法之详细攻略
- 【深度强化学习】DQN训练超级玛丽闯关
- Asp.NET Core 轻松学-项目目录和文件作用介绍
- MyBatis的学习总结:调用存储过程【参考】
- Beyond Compare 4
- Advanced Graphics and Animations for iOS Apps
- 数据库, 数据仓库, 数据集市,数据湖,数据中台
- 正则表达式的例题分析
- 北京服务器托管的必要性浅析
- PAT 1010 月饼
- 程序员的我,为何来了大北京
- 3大类6种排序 插入排序 选择排序 冒泡排序 希尔排序 堆排序 快速排序 —————— 开开开山怪
- 刺猬乐队在唯品会工作过_Microsoft乐队是您从未听说过的出色智能手表和健身追踪器...
- STM32开发---F103系统时钟配置
- SystemVerilog与功能验证
- 用python画枫叶代码-Python自定义函数基础
- 航空总线1553B接口设计
热门文章
- 【排版】用Overleaf速成LaTeX代码(从入门到开门)
- java程序员的大数据之路(1):Hadoop安装
- Java 汉字转拼音 完整代码实例(包含多音字解决方案)
- 转载自wu496963386 cuda11.1 tensorflow1.15.4进行训练,亲测有效
- 正菱台体积在线计算机,立方米,升,立方码,加仑,盎司,桶等常见体积容积单位转换在线计算器_三贝计算网_23bei.com...
- 如何用WGDI进行共线性分析(一)
- debian安装计算器bc不成功
- 笔记本电脑怎么注销计算机,解密:如何取消联想笔记本电脑的开机密码?如何关闭开机密码?...
- 各国养育一个孩子的成本是多少呢
- Linux查看目录占用磁盘block,linux系统磁盘block、inode占满处理