【hadoop】NameNode和SceondaryNameNode的工作机制
一、 为什么会存在这样的工作机制？
1.NameNode中的元数据是存储在哪里的？
（1）若是存储在NN节点的磁盘中，因为经常需要进行随机访问，或者是不断的被访问，还有要响应客户请求，效率必然很低，所以元数据需要存放在内存中，但如果存在内存中。一旦遇到突发状况，比如断电，元数据信息丢失，会造成集群瘫痪。
因此产生在磁盘中备份元数据的FsImage。
（2）可是又有新的问题，就是在NN做对客户的访问和响应客户的请求，同时还要更新fsimage，就会导致效率极其低，但是不更新，又会回到原来的断电数据丢失的情况。
因此，引入Edits文件(只进行追加操作，效率很高)。每当元数据有更新或者添加元数据时，修改内存中的元数据并追加到Edits中。，这样一来，一旦NN节点突然挂掉，可以通过fsimage和edit的合并，合成元数据。
（3）但是，如果长时间添加数据道edits中，会导致该文件数据过于庞大，效率就会降低，而且断电后，恢复元数据需要时间就会很长很长(因为合并的过程时fsimage通过edits的操作数进行一步一步恢复，后面会讲)，因此需要定期进行fsimage和edits的合并，而且这个操作不能交给NN节点完成，不然效率会降低。
因此，引入一个新的节点SecondaryNamenode，专门用于FsImage和Edits的合并。
二、NameNode和SceondaryNameNode的工作机制图解析
第一阶段：NameNode启动
- 在对NN第一次启动服务后，会创建fsimage文件和edits文件(
做初始化-format的时候edits文件是不会生成，并不会初始化创建，只会创建一个fsimage)，如果不是第一次启动，则会加载NN节点中存在的fsimage和edits进行合并操作(CheckPoint)。 - 客户端对元数据进行增删改的请求。
- NN中的edits记录操作数，并在
2NN的请求是否需要CheckPoint后更新滚动日志 - NN在内存中对数据进行增删改
- 在对NN第一次启动服务后，会创建fsimage文件和edits文件(
第二阶段：Secondary NameNode工作
- 第一次启动的时候2NN的时候，
【hadoop】NameNode和SceondaryNameNode的工作机制相关推荐
- 深刻理解HDFS工作机制
深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径.对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节.在看这篇博文之前需 ...
- MapReduce1和Yarn的工作机制
Hadoop中的MapReduce的工作机制分为两种: MapReduce 1 也就是Hadoop 2.0之前的工作机制 YARN MapReduce 1 构成 MapReduce 1最主要的其实就是 ...
- Hadoop之NameNode和SecondaryNameNode工作机制详解
Hadoop之NameNode和SecondaryNameNode工作机制详解 NN和2NN工作机制 NN和2NN工作机制详解 Fsimage和Edits解析 checkpoint时间设置 1. NN ...
- Hadoop生态圈（十三）- Namenode元数据管理及各组件工作机制
目录 前言 1. Namenode元数据管理 1.1 元数据是什么 1.2 元数据管理概述 1.2.1 内存元数据 1.2.2 磁盘元数据 1.2.2.1 fsimage内存镜像文件 1.2.2.2 ...
- Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置
文章目录 9.NameNode和SecondaryNameNode 9.1NN和2NN工作机制 9.1.1第一阶段:NameNode启动 9.1.2第二阶段:Secondary NameNode工作 ...
- Hadoop大数据分布式文件系统hdfs的工作机制
HDFS集群分为两大角色:NameNode.DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 namenode工作机制 namenode职责: ...
- namenode和datanode工作机制_Hadoop的namenode的管理机制，工作机制和datanode的工作原理...
HDFS前言: 1) 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: 2)在大数据系统中作用: 为各类分布式运算框架(如:mapr ...
- NAMENODE工作机制，元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明（来自学习资料）
NAMENODE工作机制 学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中"性能调优"."nam ...
- 王家林 云计算分布式大数据Hadoop实战高手之路第七讲Hadoop图文训练课程：通过HDFS的心跳来测试replication具体的工作机制和流程...
这一讲主要深入使用HDFS命令行工具操作Hadoop分布式集群,主要是通过实验的配置hdfs-site.xml文件的心跳来测试replication具体的工作和流程. 通过HDFS的心跳来测试repl ...
最新文章
- A Beginner's Guide To btrfs
- Python 技巧篇 - 英文单词首字母大小写转换功能实例演示，字符串切片实现
- Apache Tomcat 5.5 Servlet/JSP 容器
- PHP程序员面试中经常被提问的问题【转载】
- LAMP架构mariadb/apache的安装及基本使用
- 5002.boost库之thread
- 60-60-020-API-Kafka Java consumer动态修改topic订阅
- Codeforces Round #459 (Div. 2)题解
- office插件开发_Office神插件，打开新世界的大门
- Java面试题系列（X）锁的原理
- RFID ACR-122U M1射频卡破解分析
- comsol和matlab如何连接,comsol与matlab连接
- 斐讯w2Android Wear,有人研究过W2的连接QRcode吗？
- 自建speedtest测速服务器教程，Linux/Windows/群晖
- codeforces 69A（Young Physicist） Java
- ACM MM 2022最佳论文奖出炉！哈工大聂礼强团队与快手合作斩获
- 平台+插件源代码最新地址
- H5架设新手小白搭建教程(适用于新手）
- MaxCompute_概念/使用
- 七夕情节人，适合给IT男朋友送什么专属礼物？