读流程详述

以hadoop fs -get /a.txt /root为例，三副本，文件切成了三个block，分别存放在三台DataNode上。

1.客户端发起下载文件请求。

2.NameNode收到请求后，进行权限检查以及文件目录检查。

3.获取文件的block信息，由于block是三副本，所以会按网络情况进行排序获得主机列表。

4.将三个block的主机列表返回给客户端。之所以返回主机列表是担心只返回一台主机，万一网络出了故障就无法取数据了。

5.客户端同时和三个DataNode建立pipeline(这里只是为了说明过程，而假定的返回的最优主机是三台，实际有可能是一台或者两台，也就是说比如三个block都从DataNode1上取)

6.分别按package为单位读取block。

7.读取完成后，在本地进行合并。

面试问题

1.请简述HDFS读流程

客户端发起读请求，NameNode进行权限检查以及文件目录检查，之后获取block的主机列表返回给客户端。客户端和每个列表的第一台主机建立pipeline开始读数据。读完后在本地合并。

（面试经典问题）HDFS下载文件（读）流程相关推荐

HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo
26 集群使用初步 HDFS的设计思路 l 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式 ...
HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo...
26 集群使用初步 HDFS的设计思路 l 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式 ...
F2FS源码分析-2.3 [F2FS 读写部分] F2FS的一般文件读流程分析
F2FS源码分析系列文章主目录一.文件系统布局以及元数据结构二.文件数据的存储以及读写 F2FS文件数据组织方式一般文件写流程一般文件读流程目录文件读流程(未完成) 目录文件写流程(未完成 ...
客户端从服务端下载文件的流程分析
客户端从服务端下载文件的流程分析: 浏览器发送一个请求,请求访问服务器中的某个网页(如:down.php),该网页的代码如下. 服务器接受到该请求以后,马上运行该down.php文件运行该文件的时候 ...
快手Android上机面试：设计一个下载文件的框架
设计文件下载一个开放的上机面试题,快手第一面就问到这个,听起来很随意,让你能想到什么就写什么,但我觉得没那么简单,我总结面试官考的是以下几点吧: 第一:考文件下载功能的实现第二:考代码习惯,代码风 ...
使用 Xshell7 从远程服务器下载文件的流程【图示】
一.下载 Xshell7 如下Xshell的介绍来自于:Linux系列 -- XShell破解版安装教程 - Donner - 博客园下载地址: XShell - DownloadXShell, ...
hadoop 提高hdfs删文件效率----hadoop删除文件流程解析
前言这段时间在用hdfs,由于要处理的文件比较多,要及时产出旧文件,但是发现hdfs的blocks数一直在上涨,经分析是hdfs写入的速度较快,而block回收较慢,所以分心了一下hadoop删文件 ...
hdfs读写流程_深度探索Hadoop分布式文件系统（HDFS）数据读取流程
一.开篇 Hadoop分布式文件系统(HDFS)是Hadoop大数据生态最底层的数据存储设施.因其具备了海量数据分布式存储能力,针对不同批处理业务的大吞吐数据计算承载力,使其综合复杂度要远远高于其他数 ...
Hadoop 核心编程之 HDFS 的文件操作
前言本文并没有打算介绍 HDFS 的读写流程,虽然这是一块比较重要的内容.如果你感兴趣,可以去搜索相关资料.如果一遍没有看懂,请看第二遍. 本文还是以代码为主,并附以简短的说明,帮助你理解代码的逻辑 ...

（面试经典问题）HDFS下载文件（读）流程

读流程详述

面试问题

1.请简述HDFS读流程

（面试经典问题）HDFS下载文件（读）流程相关推荐

最新文章

热门文章