HDFS的主要设计理念

一、HDFS的主要设计理念

1、存储超大文件

这里的“超大文件”是指几百MB、GB甚至TB级别的文件。

2、最高效的访问模式是一次写入、多次读取(流式数据访问)

HDFS存储的数据集作为hadoop的分析对象。在数据集生成后，长时间在此数据集上进行各种分析。每次分析都将设计该数据集的大部分数据甚至全部数据，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。

3、运行在普通廉价的服务器上

HDFS设计理念之一就是让它能运行在普通的硬件之上，即便硬件出现故障，也可以通过容错策略来保证数据的高可用。

HDFS的主要设计理念相关推荐

大数据入门基础教程系列
所谓大数据(Big Data),就是需要处理的数据量非常巨大,已经达到了 TB.PB 甚至 EB.ZB 级别,需要成千上万块硬盘才能存储.传统的技术手段在大数据面前不堪一击,只能探索一套新的解决方案. ...
大数据预处理之数据集成
数据处理常常涉及数据集成操作,即将来自多个数据源的数据,如数据库.数据立方.普通文件等,结合在一起并形成一个统一数据集合,以便为数据处理工作的顺利完成提供完整的数据基础. 在数据集成过程中,需要考虑解 ...
2020年整理的大数据基础入门教程总结和学习路线
所谓大数据(Big Data),就是需要处理的数据量非常巨大,已经达到了 TB.PB 甚至 EB.ZB 级别,需要成千上万块硬盘才能存储.传统的技术手段在大数据面前不堪一击,只能探索一套新的解决方案. ...
HDFS简单介绍及用C语言訪问HDFS接口操作实践
一.概述近年来,大数据技术如火如荼,怎样存储海量数据也成了当今的热点和难点问题,而HDFS分布式文件系统作为Hadoop项目的分布式存储基础,也为HBASE提供数据持久化功能,它在大数据项目中有很广 ...
hdfs 数据迁移_基于JindoFS+OSS构建高效数据湖
作者:孙大鹏,花名诚历,阿里巴巴计算平台事业部 EMR 技术专家,Apache Sentry PMC,Apache Commons Committer,目前从事开源大数据存储和优化方面的工作. 为什么 ...
Hadoop系列之六：分布式文件系统HDFS
1.MapReduce与分布式文件系统前面的讨论中,我们已经得知,Hadoop中实现的MapReduce是一个编程模型和运行框架,它能够通过JobTracker接收客户提交的作业而后将其分割为多个任 ...
hadoop基石HDFS
HDFS的设计理念是源于非常朴素的思想: 当数据集大小超过单台计算机的存储能力时,就有必要将其进行分区,并且存储到若干台单独的计算机上,而管理网络中跨多台计算机存储的文件系统称为分布式文件系统(dis ...
HDFS分布式文件系统设计原理
Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统.HDFS是一个高度容错性的系统,适合部署在廉价的机器上.它能提供高吞吐量的数据访问,非常适合大规模数据集上的应 ...
[zz]从HDFS看分布式文件系统的设计需求
分布式文件系统的设计目标大概是这么几个:透明性.并发控制.可伸缩性.容错以及安全需求等.我想试试从这几个角度去观察HDFS的设计和实现,可以更清楚地看出HDFS的应用场景和设计理念. 首先是透 ...

HDFS的主要设计理念

HDFS的主要设计理念相关推荐

最新文章

热门文章