HDFS系统如何实现高水平扩展

2024-07-04 05:57:14

HDFS三级模式：外模式，模式，内模式，采用Master/Slave设计模式，NameNode-DataNode;

NameNode完成外模式和模式之间的映像，DataNode完成模式和内模式的映像；

高水平扩展的高是指DataNode的透明添加和减少，以达到性能的伸缩；且不停机操作；实现1+1>2的目的；

首先：DataNode会向NameNode周期性发送心跳信息，报告自己的状态；

一：减少DataNode

1、如果DataNode减少，则不会给NameNode发送心跳信息。则NameNode会标记该DataNode为宕机；

2、标记宕机的DataNode上的数据块在其他节点上有副本，因此该DataNode的减少，不会导致全局数据丢失。

3、NameNode检查到这种情况，一旦发现该节点上的数据块小于冗余因子，会自动启动数据冗余复制，生成新的副本，以满足冗余因子。

二、增加DataNode

1、新增DataNode会周期性向NameNode发送心跳信息，NameNode收到该心跳信息，标记该DataNode为非“宕机”状态；

2、来自集群外部的写操作请求，从集群内部挑选一台磁盘不太满、CPU不太忙的数据节点，作为第一个副本的存放地

3、DataNode会根据客户端或NameNode的调度进行数据存储和检索，并且向NameNode定期发送自己所存储块的列表。

三、

HDFS集群只有一个名称节点，该节点负责所有数据的管理，这种设计大大简化了分布式文件系统的结构。可以保证数据不会脱离名称节点的控制；同时数据块数据不会经过名称节点，大大减轻中心服务器的负担，方便数据管理；并不会随着数据节点的扩展，性能下降；

HDFS系统如何实现高水平扩展相关推荐

高并发（水平扩展，垂直扩展）
转自:https://www.jianshu.com/p/be66a52d2b9b 一.什么是高并发高并发(High Concurrency)是互联网分布式系统架构设计中必须考虑的因素之一,它通常是 ...
MySQL复制与高可用水平扩展架构实战
前言一键获取MySQL核心数据结构.底层实现原理.索引.事务.锁机制.MySQL性能优化案例.美团MySQL中间件等. 一.什么是MySQL复制 1.什么是复制 MySQL的复制是构建大规模.高性能 ...
保证系统三高：高可用、高性能、高扩展
高性能包括高并发.低延迟. 高并发: 谷歌搜索:what is high concurrency 垂直扩展.水平扩展方向: https://topic.alibabacloud.com/a/high- ...
hdfs的学习和高可用部署
HDFS的数据迁移解决方案: 1,理解HDFS数据迁移方案及工具DistCp(分布式拷贝工具)的使用: 数据迁移的场景: 冷热集群数据同步,分类存储集群数据整体搬迁(业务增长,需要将数据整体迁移到新 ...
公有云环境下应用程序的自动化部署与水平扩展问题
先介绍了一下公有云计算环境下的一些特点,再根据这些特点探讨一下作为云计算用户而言,如何对应用程序做好自动化部署和水平扩展(弹性计算)的问题.阅读本文需要有一定的云计算知识.开发运维知识. 公有云环境的 ...
对于大数据大流量情况下微软架构的水平扩展的遐想（瞎想）
最近回顾SAAS的书籍,书中的扩展架构都有点让我痴迷,但书中介绍的都是以Java,Apache,JBoss,Hadloop等技术实现负载均衡,大数据处理,对于微软架构并未提及,所以让我陷入无限遐想,夜 ...
小米开源监控系统OpenFalcon应对高并发7种手段
2019独角兽企业重金招聘Python工程师标准>>> 小米开源监控系统OpenFalcon应对高并发7种手段原创 2016-04-01 秦晓辉高可用架构编者按:本文是秦晓辉在 ...
KubeVela 正式开源：一个高可扩展的云原生应用平台与核心引擎
[来源:阿里巴巴云原生公众号] 美国西部时间 2020 年 11 月 18 日,在云原生技术"最高盛宴"的 KubeCon 北美峰会 2020 上,CNCF 应用交付领域小组(CN ...
如何发表高水平论文(转载）
SCI/EI/ISTP/一级期刊的基本知识; 如何利用数据库和查找文献: 如何寻找领域前沿: 如何撰写高水平论文和投稿: 把握数量和质量的平衡. SCI索引 SCI(科学引文索引,英文全称Scienc ...

最新文章

热门文章