海量数据存储面临的问题

2024-06-27 02:13:51

海量数据存储面临的问题

海量数据存储面临的问题
- 成本高
- 性能低
- 可扩展性差
如何实现分布式文件存储
- 如何支撑高效率的计算分析
- 如何解决海量数据存储的问题
- 如何解决海量数据文件查询便捷问题
- 如何解决大文件传输效率慢的问题
- 如何解决硬件故障数据丢失问题
- 如何解决用户查询视角统一规整问题
分布式存储应具备的特征

海量数据存储面临的问题

成本高

传统存储硬件通用性差，设备投资加上后期维护，升级扩容的成本非常高。

例如：盘位满了，要换更多盘位的机器。3

性能低

单节点I/O性能瓶颈无法逾越，难以支撑海量数据的高并发高吞吐场景。

可扩展性差

无法实现快速部署和弹性扩展，动态扩容、缩容成本高，技术实现难度大。

如何实现分布式文件存储

如何支撑高效率的计算分析

传统存储方式意味着数据存储是存储，计算是计算，当需要处理数据的时候把数据移动过来(存储不动，数据移动)。
程序和数据存储是属于不同的技术厂商实现无法有机统一整合在一起。

如何解决海量数据存储的问题

传统做法是单机存储，随着数据变多，会遇到存储瓶颈。

单机纵向扩展：
内存不够加内存，磁盘不够加磁盘，有上限限制，不能无限制加下去。
多机横向扩展：
采用多台机器存储，一台不够就加机器。理论上可以无限。
多台机器存储也意味着迈入了分布式存储。

如何解决海量数据文件查询便捷问题

当文件被分布式存储在多台机器之后，后续获取文件的时候如何能快速找到文件位于哪台机器上呢？

一台一台查询过来是不靠谱的。因此可以借助于元数据记录来解决这个问题。把文件和其存储的机器的位置信息记录下来，类似于图书馆查阅图书系统，这样就可以快速定位文件存储在哪一台机器上了。

如何解决大文件传输效率慢的问题

大数据使用场景下，GB、TP级别的大文件是常见的。当单个文件过大的时候，如何提高传输效率？

通常的做法是分块存储：

把大文件拆分成若干个小块(block简写blk)，分别存储在不同机器上，并行操作提高效率。

此外分块存储还可以解决数据存储负载均衡问题。此时元数据记录信息也应该更加详细：文件分了几块，分别位于哪些机器上。

如何解决硬件故障数据丢失问题

如何解决用户查询视角统一规整问题

namespace也可以理解为文件夹的目录

分布式存储应具备的特征

海量数据存储面临的问题相关推荐

海量数据的传统存储面临的挑战，主要体现在哪几方面？
随着大数据.云计算.物联网等新技术的发展,电信.互联网.政企等行业应用日新月异,数据呈爆炸式增长并成为战略性资源.全球数据量每年约30%的速度递增,2020年达到惊人的40ZB. 面对海量数据,传统存 ...
华为发布全新一代OceanStor存储Pacific系列，打造海量数据存储新标杆
今天,华为面向全球发布全新一代海量数据存储OceanStor存储Pacific系列,通过打破架构.服务和性能的边界,以多协议无损互通.下一代弹性EC算法和系列化硬件,灵活应对AI.HPC.视频等海量数 ...
微信后台基于时间序的新一代海量数据存储架构的设计实践
本文作者腾讯WXG后台开发工程师jeryyzhang,收录时有改动,感谢原作者的分享. 1.引言大约3年前,微信技术团队分享了<微信后台基于时间序的海量数据冷热分级架构设计实践>一文,文 ...
一起进阶学习JAVA：MySQL海量数据存储与优化
一起进阶学习JAVA:MySQL海量数据存储与优化第一部分分库分表实战及中间件 1.1 背景介绍 1.1.1 背景描述刚开始我们的系统只用了单机数据库随着用户的不断增多,考虑到系统的高可用和 ...
存储面临的问题及挑战
硬件和存储硬件发展的6个规律数据发展的规律图灵奖获得者Jim Gray提出经验定律:网络环境下每 18 个月产生的数据量等于有史以来数据量之和.(到目前为止,数据的增长基本满足这个规律) 结论: ...
【演讲实录】分布式数据库海量数据存储和实时查询实现与应用
节选自OSC深圳源创会演讲速记分享嘉宾:巨杉数据库技术总监乔国治巨杉数据库,核心产品是SequoiaDB巨杉数据库.是我们的团队完全从零开始研发的.巨杉数据库是商业数据库,同时我们本身也将 ...
vivo 云服务海量数据存储架构演进与实践
一.写在开头 vivo 云服务提供给用户备份手机上的联系人.短信.便签.书签等数据的能力,底层存储采用 MySQL 数据库进行数据存储. 随着 vivo 云服务业务发展,云服务用户量增长迅速,存储在云 ...
浅析MongoDB数据库的海量数据存储应用
[摘要]当今已进入大数据时代,特别是大规模互联网web2.0应用不断发展及云计算所需要的海量存储和海量计算发展,传统的关系型数据库已无法满足这方面的需求.随着NoSQL数据库的不断发展和成熟,可以较好 ...
[转载] 新兵训练营系列课程——海量数据存储基础
原文: http://weibo.com/p/1001643874615465508614 微博平台研发作为微博的底层数据及业务支撑部门,已经经历了5年的发展历程.伴随着从数据及业务暴发式增长,我们在 ...

最新文章

热门文章