写在前面

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和文献引用请见1000个问题搞定大数据技术体系

解答

机架感知到底是什么？

通常大型 Hadoop集群是以机架的形式来组织的，同一个机架上的不同节点间的网络状况比不同机架之间的更为理想， NameNode 设法将数据块副本保存在不同的机架上以提高容错性。

HDFS不能够自动判断集群中各个 DataNode 的网络拓扑情况， Hadoop允许集群的管理员通过配置 dfs.network.script 参数来确定节点所处的机架，配置文件提供了ip 到 rackid 的翻译。

NameNode 通过这个配置知道集群中各个 DataNode 机器的 rackid。

如果 topology.script.file.name没有设定，则每个 ip 都会被翻译成 /default-rack。

举例说明

机架感知如图所示

图中 D 和 R 是交换机，H 是 DataNode。

则 H1 的 rackid=/DI/R1/H1，有了 rackid 信息(这些 racked信息可以通过 topology.script.file.name 配置)就可以计算出任意两台 DataNode 之间的距离。

distance(/D1/R1/H1,/D1/R1/H1)=0 # 相同的 DataNode
distance(/D1/R1/H1,/D1/R1/H2)=2 # 同 rack 下的不同 DataNode
distance(/D1/R1/H1,/D1/R1/H4)=4 # 同 IDC 下的不同 DataNode
distance(/D1/R1/H1,/D1/R1/H7)=6 # 不同 IDC 下的 DataNode

说明

当没有配置机架信息时，所有的机器 Hadoop都在同一个默认的机架下，名为“/default-rack”，这种情况的任何一台 DataNode 机器，不管物理上是否属于同一个机架，都会被认为是在同一个机架下。
一旦配置 topology.script.file.name，就按照网络拓扑结构来寻找 DataNode: topology.script.file.name 这个配置选项的 value指定为一个可执行程序，通常为一个脚本。

提到HDFS就会想到机架感知，那么机架感知你真的知道是什么吗？相关推荐

文化的影响：整体感知与分析感知
关天海译最近有证据表明,知觉过程受到文化的影响.西方人倾向于通过关注一个独立于语境的显著对象来进行语境无关和分析性知觉过程,而亚洲人则倾向于通过关注对象与对象所在语境之间的关系来进行语境相关和整 ...
为什么AI感知与人类感知无法直接比较？
来源丨TechTalks 作者丨Ben Dickson 编译丨科技行者人类级别的表现.人类级别的精度--在开发AI系统的企业中,我们经常会听到这类表述,其指向范围则涵盖人脸识别.物体检测,乃至问题解 ...
Apollo进阶课程⑲丨Apollo感知之旅——感知算法
目录点云感知启发式方法:NCut 深度学习方法:CNNSeg 视觉感知 CNN检测 CNN分割后处理红绿灯感知基于深度学习的红绿灯感知模块 Radar感知超声波感知原文链接:进阶课程⑲丨 ...
Apollo进阶课程⑯丨Apollo感知之旅——感知概貌
原文链接:进阶课程⑯丨Apollo感知之旅--感知概貌上周阿波君为大家详细介绍了「进阶课程⑮| Apollo无人车自定位技术入门」. 我们人类天生就配备多种传感器,眼睛可以看到周围的环境,耳朵可以用 ...
AI的神秘一面：它能感知到人类感知不到的维度吗
全文共2863字,预计学习时长6分钟插图:Robert Beatty 很多人和Siri聊天时,都期望的是一些"抖机灵"的回答.比如当你问她为什么回复这么慢时,也许你会期待她说&q ...
numpy随机生成01矩阵_Python数据分析Numpy库常用函数详解，提到循环就该想到的库...
Python进行数据分析的核心库肯定是Pandas,该库差不多可以解决结构化数据的绝大部分处理需求.在<Python数据分析常用函数及参数详解,可以留着以备不时之需 >一文中也已经对该库的 ...
单层感知器python_感知器及其在Python中的实现
本文涵盖以下主题: 什么是感知器?算法.Python实现.局限性. 什么是感知器? 生物神经元示意图感知器的概念类似于大脑基本处理单元神经元的工作原理.神经元由许多由树突携带的输入信号.胞体和轴突携 ...
android 情景感知 sdk,情景感知服务
在Manifest指定权限在调用情景感知能力时,开发者需要先在Manifest中指定相应的权限.使用不同情景感知能力需指定不同的权限,具体所需权限请参阅<开发指南>.例如,使用耳机状态感 ...
为什么AI感知与人类感知很难直接比较?
正文字数:3268 阅读时长:8分钟这篇文章是我们对人工智能研究论文的评论的一部分,这是一系列探索人工智能最新发现的文章. Posted by Ben Dickson url : https:// ...

提到HDFS就会想到机架感知，那么机架感知你真的知道是什么吗？

写在前面

解答

机架感知到底是什么？

举例说明

说明

提到HDFS就会想到机架感知，那么机架感知你真的知道是什么吗？相关推荐

最新文章

热门文章