LOSF(Lots of small files)存储问题

1、影响I/O性能的关键因素

(1)诸如sys_open的系统调用开销

(2)数据寻址时间

(3)文件查询效率

(4)cache策略失效

(5)磁盘数据布局

(6)数据局部性

(7)CPU占用率高

2、针对关键因素的解决思路

(1)Big file或者raw block device作为大的存储容器

(2)SSD，增强数据局部性

(3)Hashtable, B+ tree, B* tree索引机制

(4)设计适合应用特征的cache管理策略

(5)Log结构，连续顺序存储

(6)挖掘数据局部性，优化设计on-disk layout及cache

(7)CPU占用率降低依赖于以上各项的改进

3、不同层次的解决思路

(1)存储系统

　　SSD、高端磁盘阵列、NAS、SAN、IPSAN，提高IOPS和读写速度，降低数据寻址时间。

(2)文件系统

　　选择适合应用特征的文件系统(reiserfs, ext4, reiser4)，磁盘与文件系统参数调优。

(3)操作系统

　　内核裁剪，内核参数优化，冗余进程清除，网络接口、内存管理、块通用驱动模块优化。

(4)应用系统

　　计算与数据拆分，作业并行化，数据处理流水化，应用层cache设计，数据预测与预取，数据访问模式挖掘。

LOSF(Lots of small files)存储问题相关推荐

海量小文件存储与Ceph实践
海量小文件存储(简称LOSF,lots of small files)出现后,就一直是业界的难题,众多博文(如[1])对此问题进行了阐述与分析,许多互联网公司也针对自己的具体场景研发了自己的存储方案( ...
Android中Shared Preferences、Files、Network、SQLite数据库编程总结及示例
Android数据存储前言 Android中提供了4中数据存储方式.但是存储的这些数据都是私有的,要想在其他应用程序中使用这些数据.就需要使用ContentProvider(数据共享).下面是对4种 ...
unity游戏开发(三)：游戏地图的制作及地图信息的存储(LitJson)
游戏地图的制作: ps:资源的获取自己定义格子图片: 在游戏物体格子上挂载脚本:GridPoint,创建一个空物体,挂载MapMaker脚本 using System.Collections; us ...
Lustre I/O性能特点与最佳实践
1 Lustre概述Lustre是面向集群的存储架构,它是基于Linux平台的开源集群(并行)文件系统,提供与POSIX兼容的文件系统接口.Lustre两个最大特征是高扩展性和高性能,能够支持数万客户 ...
常用oid节点_网络设备名的oid
理解并演示:SNMP简单网络管理协议(200-120新考点) SNMP(SimpleNetwork Management Protocol,简单网络管理协议),基于TCP/IP工作,能对企业网络中支持 ...
The Hadoop Distributed Filesystem
The Design of HDFS HDFS is a filesystem designed for storing very large files with streaming data ac ...
Google怎么用linux
今年的linux内核开发大会上,google的开发人员也上台做了名为"how google use linux"的演讲.我斗胆翻译注解一番――括号内为注解,欢迎读者斧正. 原文链接 ...
dbms系统 rdbms_DBMS与传统文件系统之间的区别
dbms系统 rdbms Introduction 介绍 DBMS and Traditional file system have some advantages, disadvantages, a ...
Linux文件系统选择
自己想做的,刘爱贵在2010年就做完了(⊙ω⊙) http://blog.csdn.net/liuaigui/article/details/5521024 通过综合使用多种标准文件系统Benchma ...

LOSF(Lots of small files)存储问题

LOSF(Lots of small files)存储问题相关推荐

最新文章

热门文章