Secondary NameNode工作机制

2024-06-27 03:38:50

Secondary NameNode的作用

Secondary NameNode并不是NameNode的热备份，所以，当NameNode挂掉之后，它并不能替代NameNode工作，对外提供服务。
它的作用主要是：辅助NameNode，帮助NameNode对镜像文件和操作日志进行合并；在NameNode数据缺失的时候可以帮助NameNode恢复部分的数据（至于为什么不能恢复全部的数据，后面会有解释）

具体工作机制

Secondary NameNode向NameNode发出请求，看NameNode是否需要进行checkpoint活动。
NameNode返回自己是否需要checkpoint活动的结果，若需要则继续，若不需要就没有后面的了。
Secondary NameNode在接受到NameNode需要进行checkpoint 的请求之后，Secondary NameNode会向NameNode发起checkpoint请求。
NameNode接收到请求后，NameNode对edits日志进行回滚。
将编辑日志edits和镜像文件fsimage拷贝到SecondaryName Node中。
Secondary NameNode将NameNode拷贝过来的fsimage和edits加载到内存中。
Secondary NameNode将内存中的fsimage和edits合并，生成新的fsimage.ckkpoint。
Secondary NameNode集那个fsimage.chkpoint拷贝到NameNode中。
NameNode将fsimage.chkpoint重新命名为fsimage；

为什么只能恢复一部分的数据

当Secondary NameNode接收到NameNode的编辑日志edits和镜像文件image之后，NameNode之中的操作还会记录到NameNode的编辑日志edits中，不会同步到Secondary NameNode，所以，如果NameNode将checkpoint之后的数据丢失之后，Secondary NameNode只有checkpoint之前的数据，所以，只能恢复部分的数据，对于checkpoint之后的数据无法恢复。

既然无法恢复全部数据，则需要使用NameNode HA模式来保证NameNode数据存储的安全，NameNode HA模式的相关将在后续更新

欢迎各位指正交流
文章内容为作者学习过程中，查阅资料的自己总结，若有不当之处，还请联系作者改正，敬请不吝赐教

Secondary NameNode工作机制相关推荐

简明扼要的HDFS元数据管理机制描述（NameNode和Secondary NameNode工作机制）
目录一.思考: NameNode中的元数据是存储在哪里? 二.NameNode和Secondary NameNode工作机制三.Fsimage和Edits概念一.思考: NameNode中的元数 ...
大数据之-Hadoop之HDFS_NameNode和Secondary NameNode工作机制_通过文件的增删改查说明---大数据之hadoop工作笔记0070
然后我们再来说一下,hadoop的集群中的namenode节点的工作原理. 1.我们先来大体的了解一下,如果有客户端要来上传文件,这个过程,会先访问namenode,给namenode节点发送请求 2 ...
NameNode工作机制
一.NameNode和Secondary NameNode工作机制 1)第一阶段:namenode启动 (1)第一次启动namenode格式化后,创建fsimage和edits文件.如果不是第一次启动 ...
NAMENODE工作机制，元数据管理(元数据存储机制、元数据手动查看)、元数据的checkpoint、元数据目录说明（来自学习资料）
NAMENODE工作机制学习目标:理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理解,及培养hadoop集群运营中"性能调优"."nam ...
Hadoop框架：NameNode工作机制详解
本文源码:GitHub·点这里 || GitEE·点这里一.存储机制 1.基础描述 NameNode运行时元数据需要存放在内存中,同时在磁盘中备份元数据的fsImage,当元数据有更新或者添加元数据 ...
Hadoop之NameNode和SecondaryNameNode工作机制详解
Hadoop之NameNode和SecondaryNameNode工作机制详解 NN和2NN工作机制 NN和2NN工作机制详解 Fsimage和Edits解析 checkpoint时间设置 1. NN ...
HDFS（下）：NameNode和SecondaryNameNode、HDFS工作机制、故障处理、集群安全模式、服役退役节点、集群黑白名单、DataNode多目录详解、HDFS2.x新特性
接上篇,上篇文章传送门:HDFS(上):HDFS优缺点.HDFS操作.HDFS客户端操作.HDFS的API.HDFS数据流.HDFS的IO流.HDFS读写数据流程.HDFS文件处理详解.windows ...
Hadoop生态圈（十三）- Namenode元数据管理及各组件工作机制
目录前言 1. Namenode元数据管理 1.1 元数据是什么 1.2 元数据管理概述 1.2.1 内存元数据 1.2.2 磁盘元数据 1.2.2.1 fsimage内存镜像文件 1.2.2.2 ...
Hadoop中NameNode和SecondaryNameNode、NN和2NN工作机制、Fsimage和Edits解析、oiv查看Fsimage、oev查看Edits、CheckPoint时间设置
文章目录 9.NameNode和SecondaryNameNode 9.1NN和2NN工作机制 9.1.1第一阶段:NameNode启动 9.1.2第二阶段:Secondary NameNode工作 ...
【hadoop】NameNode和SceondaryNameNode的工作机制
一. 为什么会存在这样的工作机制? 1.NameNode中的元数据是存储在哪里的? (1)若是存储在NN节点的磁盘中,因为经常需要进行随机访问,或者是不断的被访问,还有要响应客户请求,效率必然很低,所 ...

最新文章

热门文章