HDFS架构原理思想及各模块功能简述

1：架构原理

2 block(块)解析

块的大小128M
块的副本数3
<property><name>dfs.blocksize</name><value>134217728</value>
</property>
<property><name>dfs.replication</name><value>3</value>
</property>
blocksize和replication参数解读一个文件260M会按照128M的规格切分成:128+128+4的三块
这三块数据，每块数据都有3份，分布在不同的dn上
共计：9块数据，总大小260*3大小

3 namenode(nn) 详解:

nn(namenode): 文件系统的命名空间
文件名称
文件目录结构
文件属性 创建时间 权限 副本数
文件对应哪些数据块
-->数据块对应哪些datanode节点上- nn维护的blockmap:
nn节点不会持久化存储这种映射关系
dn定期发送blockreport 给nn,
以此nn在【内存】中动态维护这种映射关系！- 持久化数据
作用:
管理文件系统的命名空间，
维护文件系统树，以两种文件永久保存在磁盘上
命名空间镜像文件 fsimage
编辑日志  editlog
[root@hadoop001 current]# pwd
/tmp/hadoop-root/dfs/name/current
[root@hadoop001 current]# ll
total 1040
-rw-r--r--. 1 root root 1048576 Feb 17 20:23 edits_inprogress_0000000000000000001
-rw-r--r--. 1 root root     321 Feb 17 19:23 fsimage_0000000000000000000
-rw-r--r--. 1 root root      62 Feb 17 19:23 fsimage_0000000000000000000.md5
-rw-r--r--. 1 root root       2 Feb 17 19:23 seen_txid
-rw-r--r--. 1 root root     219 Feb 17 19:23 VERSION

3 datanode (dn) 详解:

存储: 数据块 和数据块的校验和
与nn通信:
- 每隔3秒发送一个心跳,hadoop001:50070上的datanode可以看到上次通信时间每3秒刷新一次
- 每10次心跳发送一次当前节点的blockreport
作用: 读写文件的数据块

HDFS架构原理思想及各模块功能简述相关推荐

HC-SR04超声波测距模块功能简述
HC-SR04是一款升级的超声波测距模块.新增加UART,IIC 及 1-WIRE(单总线)功能,模式可以通过外围电阻设置. 2CM 超小盲区,4M 典型最远测距,2mA 超低工作电流.采用自研超声波 ...
一文带你了解 Spark 架构设计与原理思想
卷友们,大家好 ~ 我是 Alex .之前已经陆续输出了 Hadoop三大核心组件的架构思想和原理和 Hive架构设计和原理 ,每篇都受到了读者小伙伴们的一致好评 ~ 感谢大家的支持.大家可能已 ...
Hadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理
<Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理> 基本信息作者: 蔡斌陈湘萍出版社:机械工业出版社 ISBN:9787111417668 上架 ...
前端如何实现网络速度测试功能_分析Web前端测试要点，从架构原理上进行分析，希望大家能够掌握...
基于Web前端分析过程,大概有十几个测试要点,我们今天主要来讲解结合前五个要点进行详细解说.前端测试点主要针对前端展开,什么叫前端分析呢?就是我们所有的分析和测试要点所站的视角都是针对客户端或者浏览器 ...
HDFS 分布式文件系统架构原理
HDFS 系统架构原理 1. 定义 HDFS(Hadoop Distributed File System)是 Hadoop 项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和 ...
HDFS原理 | 一文读懂HDFS架构与设计
1 前言 HDFS(Hadoop Distributed File System)是我们熟知的Hadoop分布式文件系统,是一个高容错的系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用.H ...
hadoop、hbase、hive、spark分布式系统架构原理
全栈工程师开发手册 (作者:栾鹏) 架构系列文章机器学习.数据挖掘等各种大数据处理都离不开各种开源分布式系统,hadoop用户分布式存储和map-reduce计算,spark用于分布式机器学习,hi ...
Elasticsearch 分布式架构原理
前言前面介绍了很多ES使用过程中的具体实战知识点,本文主要是谈谈ES分布式架构原理. 一.Elasticsearch特点 elasticsearch是近实时的分布式搜索分析引擎,底层实现基于Luce ...
Tomcat 架构原理解析到架构设计借鉴
‍ 点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试文章 Tomcat 架构原理解析到架构设计借鉴 Tomcat 发展这 ...

HDFS架构原理思想及各模块功能简述

HDFS架构原理思想及各模块功能简述相关推荐

最新文章

热门文章