FastDFS(提升磁盘IO性能的几个技巧 FastDFS 5.04之IO读事件)
提升磁盘IO性能的几个技巧
https://www.cnblogs.com/derekchen/archive/2012/04/04/2431573.html
目前磁盘都是机械方式运作的,主要体现在磁盘读写前寻找磁道的过程。磁盘自带的读写缓存大小,对于磁盘读写速度至关重要。读写速度快的 磁盘,通常都带有较大的读写缓存。磁盘的寻道过程是机械方式,决定了其随机读写速度将明显低于顺序读写。在我们做系统设计和实现时,需要考虑到磁盘的这一 特性。
FastDFS是一个开源的高效分布式文件系统,它最初的实现,文件是按hash方式随机分布到多个目录中的,后来增加了顺序存放的做法。通过对比测试,发现文件按目录顺序存储,写文件IO效率明显高于按目录随机存储。
目前磁盘顺序读取的速度并不差,比如普通硬盘的IO可以达到每秒40~60MB,好一些的硬盘可以达到每秒100MB左右。在多进程或多线程并 发读取磁盘的情况下,随着并发数的增加,磁盘IO效率将大大下降。主要是因为每次读写,磁道可能存在较大的偏移,磁道寻址时间加大,导致磁盘IO性能急剧 下降。对于这种场景,优化方案是尽可能减少并发读写的进程数或线程数。可以用锁的机制,也可以采用专门的磁盘IO线程来对磁盘进行读写。FastDFS 2.x版本,磁盘读写就采用了专门的线程来完成。
为了充分发挥多块磁盘的效率,不建议使用传统的RAID方式。比较好的做法是每块磁盘单独mount,通过程序来控制对多块磁盘进行并发读写。采用单盘mount,文件的备份和冗余可以通过多台机器实现。
文件数多了之后,比如达到上千万个文件,当随机访问众多文件时,文件系统的性能会急剧下降。业界流行的做法是将多个小文件合并存储到一个大文件 中的方式来降低文件数。FastDFS 3.0支持将多个小文件合并存储到一个较大文件中,目前开发进展比较顺利,预计5月份可以发布3.0版本。
提升磁盘IO的另外一个技巧,一次尽可能多写入或多读取。也就是说,将程序的读写buffer设置得尽可能大一些。例如日志或者redo log的写入,不是每次调用都直接写磁盘,而是先缓存到内存中,等buffer满了再写入磁盘,也可以定时写入磁盘。
操作系统和C库函数通常会对写入的文件内容做缓存,以减少实际写文件的次数。直接调用系统函数fsync或C函数fflush将使系统的缓存机制失效,此时将强制把内容刷到磁盘上。除非必需,否则不要执行强制刷盘操作。
注:如果没有特别说明,文中说的磁盘指的是硬盘。
FastDFS 5.04之IO读事件空转导致CPU空转
https://blog.csdn.net/hfty290/article/details/41257555
在与同事测试FastDFS过程中发现CPU有异常波动的情况,八核心CPU在系统使用同时达到%60以上,不免诧异,遂对代码进行排查,发现storage有如下两个问题:
1)CPU短暂地飙升
2)特定的情况下,可以导致CPU永久飙升,直到停止程序
这两个问题都是由于IO读事件空转导致。
IO读事件空转也就是epoll触发了一个读事件,调用相应地处理函数,而该处理函数什么事情也不干就返回了,由于事件触发条件还在,因此调用epoll_wait后再次触发,如此反复,CPU消耗在了系统调用上。
注:作者已经修改了第二个问题,第一个问题作者暂时还没有修改。关于第二个问题只要更新作者提供的最新libcommon代码即可。
一、CPU短暂地飙升
为了方便理解,此处载录少量关键代码。
1、读取网络数据处理函数 client_sock_read
FastDFS中每个连接对应一个任务,每个任务自带缓冲区,默认为256KB,当一个客户端Upload的文件的大小若为1MB,那么就需要分4次读到缓冲区,每次缓冲区读满需要将该任务提交给磁盘线程(DIO),由磁盘线程将缓冲区内容写入到文件之后,再次读取后面的内容,如此反复直到整个请求包读取完成。
此处定义package为一个缓冲区大小,256KB,request为一次请求大小,1MB。
void client_sock_read(int sock,short event, void* arg){
///从参数中提取任务
<span style="white-space:pre"> </span>struct fast_task_info *pTask = (structfast_task_info *)arg;
<span style="white-space:pre"> </span>StorageClientInfo*pClientInfo = (StorageClientInfo*)pTask->arg;
<span style="color:#cc0000;"> ///判断任务的状态,若状态非RECV则直接返回,不做任何处理,导致空转
</span><span style="white-space:pre"> </span>if(pClientInfo->stage!= FDFS_STORAGE_STAGE_NIO_RECV){return;}
///读取网络数据报
while(1){
bytes = recv(…)
if(bytes < =0){
……
break;
}
if(package recv done) ///一个缓冲区读取完成
<span style="white-space:pre"> </span>{
if(reqeust recv done){ ///一次请求读取完成,改变状态为SEND
pClientInfo->stage = FDFS_STORAGE_STAGE_NIO_SEND;
}
///push into dio thread queue
storage_dio_queue_push(pTask);
return;
<span style="white-space:pre"> </span>}
}
}
接着我们来看下任务添加到磁盘IO线程的代码,如下,注意在其中改变了任务状态。
intstorage_dio_queue_push(structfast_task_info *pTask){
<span style="color:#cc0000;"> ///设置任务状态为IO处理中
pClientInfo->stage|= FDFS_STORAGE_STAGE_DIO_THREAD;
</span>
///将任务添加到磁盘IO处理线程同步队列
result=task_queue_push(&(pContext->queue), pTask);
///使用条件变量通知磁盘IO线程有任务到达
result=pthread_cond_signal(&(pContext->cond));
}
让我们来分析下,epoll有两种工作方式,分别是水平触发与边缘触发。FastDFS中使用epoll的水平触发工作方式。
还是以客户端Upload一个1MB文件,缓冲区为256KB为例:
1)storage服务器通过client_sock_read函数不断从网络中读取数据,直到一个缓冲区读满了,这时候需要将任务交给磁盘线程处理。
2)调用storage_dio_queue_push函数将任务加入到磁盘处理队列,在其中会设置任务状态为 |= FDFS_STORAGE_STAGE_DIO_THREAD
3)client_sock_read函数返回(注意,代码中并没有将该FD从epoll事件监听列表中清除)
4)假如此时该socket之中还有数据,或者客户端关闭该socket,该socket都将会继续触发读事件,问题来了,读事件的处理函数中
只有任务状态为RECV才会处理,因此直接返回。再次调用epoll_wait时,马上又会触发该事件,如此反复,CPU都消耗在了epoll_wait的系统调用上。
同样地,当读取完成1MB的数据之后,client_sock_read函数先将任务状态设置成SEND,然后将任务提交给磁盘IO处理线程,在磁盘IO线程处理完成该任务之前,都存在读事件空转的可能。
改进方法:将任务提交给磁盘IO处理线程成功后,应该将该socket从epoll监听列表中清除,待磁盘处理完成后再添加到epoll监听列表之中。
2、网络写入函数,client_sock_write函数,该函数实现将数据发送给客户端,比如客户端要下载一个文件时。
根据之前的介绍,每个任务都自带缓冲区,默认256KB,若下载一个1MB的文件,那么每次只能读取256KB的内容到缓冲区,然后发送缓冲区内容给客户端,如此需要重复4次才能发送完成。
注意:在触发该函数之前任务的状态为FDFS_STORAGE_STAGE_NIO_SEND;
voidclient_sock_write(intsock,shortevent,void*arg){
///从参数中提取任务
<span style="white-space:pre"> </span>struct fast_task_info *pTask = (structfast_task_info *)arg;
StorageClientInfo*pClientInfo = (StorageClientInfo*)pTask->arg;
///读取网络数据报
while(1){
bytes = send(…)
if(bytes <= 0){
……..
break;
}
if(package send done) ///一个缓冲区写入完成
<span style="white-space:pre"> </span> {
set_recv_event(pTask); ///将当前监听写事件修改成监听读事件
if(reqeust send done){ ///一次请求写入完成,改变状态为RECV
pClientInfo->stage = FDFS_STORAGE_STAGE_NIO_RECV;
}
///push into dio thread queue
storage_dio_queue_push(pTask);
return;
<span style="white-space:pre"> </span> }
}
}
看出问题所在了么,write函数将一个缓冲区写入到socket之后,设置了读事件监听,然后将任务提交给磁盘IO处理线程。由于此时该任务的状态为SEND,而读事件的处理函数client_sock_read只有在任务状态为RECV才处理,这里又存在读事件空转的可能性了。那么这种可能性是什么呢?也就是什么时候会变成可读,那就是当客户端关闭时,该socket就变成可读。
上述说明的两点还不算太坏,因为空转是短暂的,只要磁盘线程处理完成任务,空转就会停止,但是我下面要说的一点是,空转永远不会停止的。由于FastDFS代码中的BUG,导致有些任务添加到磁盘处理队列后丢失,该任务永远不会被磁盘线程处理到,那么就会停留在空转上。只要这个条件触发,即使把所有客户端都关闭也不能停止CPU的空转。
二、关于磁盘处理队列任务丢失
1、在FastDFS之中,为每个客户端socket连接分配一个Task,每次分配一块大内存,然后在其中分割出多个Task。如下图:
全局的g_mpool是内存块的链表,由于当前只有一个内存块,因此head、tail都指向该块。
同时这些任务被分配使用后,每个client上有不同的请求,假定某一个时刻的磁盘处理线程任务队列如下图,T1->T4->T2->T3;
当有新的客户端连接上来时,由于已经分配的Task已经用完,就需要分配第二块大内存来构造出新的Task,此时程序分配了第二块内存,分割成T5、T6、T7、T8,此时作者将第一块内存的最后一个Task->next连接到第二块内存的第一个Task,也就是将T4->next = T5.
为何这么做是有问题的呢?请看当前状态的dio_queue,T4->next = T2; 当被执行了T4->next = T5之后,原本属于dio_queue中的T2、T3失联了,那么这两个任务就永远不会被磁盘线程处理到,接下来,不用我说了,只要在这两个socket上发生空转,就是永久的。
FastDFS(提升磁盘IO性能的几个技巧 FastDFS 5.04之IO读事件)相关推荐
- 提升磁盘IO性能的几个技巧
目前磁盘都是机械方式运作的,主要体现在磁盘读写前寻找磁道的过程.磁盘自带的读写缓存大小,对于磁盘读写速度至关重要.读写速度快的磁盘,通常 都带有较大的读写缓存.磁盘的寻道过程是机械方式,决定了其随机读 ...
- android平板提速,提升Android平板性能的十大技巧
不同的 Android 平板运行在不同厂商的不同设备.不同操作系统上.因此,Android 平板的性能提升就需要考虑各自的差异化特性以及他们的工作原理.此外,早期 3.0 版本以前的 android ...
- 提升Python代码性能的六个技巧
文章目录 前言 为什么要写本文? 1.代码性能检测 1.1.使用 timeit 库 1.2.使用 memory_profiler 库 1.3.使用 line_profiler 库 2.使用内置函数和库 ...
- 【ESSD技术解读】ESSD Auto PL规格,引领IO性能弹性新方向
简介:阿里云 ESSD 为云服务器 ECS 提供低时延.持久性和高可靠的块存储服务,成为云厂商全闪块存储的业界标杆.存储团队推出了 ESSD Auto PL 新的云盘规格,把性能与容量解耦,提供 IO ...
- 【ESSD技术解读-04】ESSD Auto PL规格,引领IO性能弹性新方向
简介: 阿里云 ESSD 为云服务器 ECS 提供低时延.持久性和高可靠的块存储服务,成为云厂商全闪块存储的业界标杆.存储团队推出了 ESSD Auto PL 新的云盘规格,把性能与容量解耦,提供 I ...
- 性能调优3:硬盘IO性能
数据库系统严重依赖服务器的资源:CPU,内存和硬盘IO,通常情况下,内存是数据的读写性能最高的存储介质,但是,内存的价格昂贵,这使得系统能够配置的内存容量受到限制,不能大规模用于数据存储:并且内存是易 ...
- 如何增强服务器io性能,云服务器磁盘io性能提升
云服务器磁盘io性能提升 内容精选 换一换 根据是否支持挂载至多台云服务器可以将磁盘分为非共享磁盘和共享磁盘.一个非共享磁盘只能挂载至一台云服务器,而一个共享磁盘可以同时挂载至多台云服务器.共享磁盘是 ...
- 测试服务器磁盘io性能,测试磁盘IO瓶颈
一.简介 由于最近压测kafka的吞吐量,发现优化kafka的时候并没有提升吞吐量.所以怀疑是服务器本身的瓶颈.于是做了服务器的IO瓶颈测试. 硬盘位正常SATA磁盘,做的raid1. 二.测试 1. ...
- linux+平均磁盘请求数量_SUSE LINUX下磁盘IO性能监测分析
这两天发现一台测试用的服务器经常负载很高,但cpu和内存消耗却很少,很是奇怪,经过诊断发现是由于大容量的测试数据导致高并发下的磁盘IO消耗比较大,由于缓存是小文件并且数量比较大,所以并发比较高的情况下 ...
最新文章
- 数据结构 栈的应用
- 机票预定系统类图_电商系统延时任务机制源码分享
- (Object-C)学习笔记(一)--开发环境配置和与c语言的区别
- think php excel,在thinkphp6中使用Excel
- 为什么说区块链是具有革命性意义的?
- 【iOS10】使用XCode8、Swift3. 操作SQLite3数据库的步骤(包括配置环境和SQLite语句)
- ftrace跟踪内核_用Ftrace跟踪内核模块
- jQuery 选择器 (基础恶补之二)
- 粤港澳湾区邮轮产业崛起 构建邮轮母港群尚需加强合作
- python文本处理
- linux qemu的使用教程,详解QEMU网络配置的方法
- 计算机绘图综合训练大题,工程制图与计算机绘图综合实训报告汇编.doc
- 联想V310笔记本装win7系统不能打开无线网卡 无线网卡一把红叉
- C++项目 GitHub Actions操作实例
- 风光互补——三段式充电
- spring框架:(二)bean标签中的scop、生命周期以及注入方式
- input text 默认值设置
- Linux集群 安全防御-iptables
- rapido-bootstrap响应式html后台管理模板,最值得拥有的免费Bootstrap后台管理模板
- AD/DA转换(XPT2046)
热门文章
- 怎么安装python环境和编译器_Python环境安装以及PyCharm编译器的安装
- ubuntu18.04虚拟机突然连不上网
- 如何获得onblur中的值_使用带有onBlur的输入字段和来自Reactjs JSX中的状态块输入的值?...
- mysql教程丿it教程网_1.0MySQL基础入门【DQL部分】
- ipv4改完保存不成功_win7系统没法保存修改后IP地址的解决方法
- Linux之find的使用
- 计算机双系统,自己在计算机上安装双系统
- android编译的tool版本有多少,android gradle tool版本从3.3升级到3.6.3问题记录
- java p8级别_JAVA程序员月入5000+很迷茫,如何能在一年内改变达到月入过万?
- 宝塔linux apache怎么部署证书,Linux+Apache部署SSL证书方法步骤