分布式计算的基本概念

分布式系统的通信是关键。

0. 主从

主从分布式：
- 控制节点
- 工作节点
主从分布式的通信
- 工作节点之间没有通信；
- 控制节点与各个工作节点之间是双向通信；
  - 控制节点 ⇒ 工作节点，下发任务；
  - 工作节点 => 控制节点，生成新的任务统一交由控制节点管理；
缺陷：
- 控制节点会成为整个系统的瓶颈，容易导致整个分布式系统性能下降；

1. 计算核心数

长期以来，核心负责对处理器（processor）中的数据进行处理。共同运行的核心越多，计算机执行任务的速度越快。

CPU 核心专为效率型应用程序等串行任务而设计，
GPU 是为执行视频编辑、游戏和丰富的网页浏览等更多的并行和图形密集型任务而设计。

比如对于中国的天河二号，共 16,000 个运算节点，每节点配备两颗 Xeon E5 12 核心的中央处理器、三个 Xeon Phi 57 核心的协处理器（运算加速卡）。累计 32,000 颗 Xeon E5 主处理器和 48,000个Xeon Phi 协处理器，共？个计算核心。

32000*12 + 48000*57 = 3120000

分布式计算的基本概念相关推荐

关于分布式计算的一些概念
整理自<架构解密从分布式到微服务>第七章--聊聊分布式计算.做了相应补充和修改. [TOC] 前言不管是网络.内存.还是存储的分布式,它们最终目的都是为了实现计算的分布式:数据在各个计算 ...
2.2.1 hadoop体系之离线计算-mapreduce分布式计算-mapreduce架构概念
目录 1.写在前面 2.为什么需要MapReduce? 3.MapReduce具体细节 3.1 Hadoop MapReduce构思: 4.block,split,map,reduce关系 5.Shu ...
分布式入门，怎样用PyTorch实现多GPU分布式训练
这篇文章旨在阐述训练大规模深度学习模型时的分布式计算思想. 选自 Medium,作者:Ayan Das,机器之心编译,参与:Nurhachu Null.路. 具体来讲,本文首先介绍了分布式计算的基本概 ...
《大规模分布式系统架构与设计实战》
<大规模分布式系统架构与设计实战> 基本信息作者: 彭渊丛书名: 大数据技术丛书出版社:机械工业出版社 ISBN:9787111455035 上架时间:2014-2-21 出版日期: ...
Mysql锁机制简单了解一下
历史文章推荐: 可能是最漂亮的Spring事务管理详解面试中关于Java虚拟机(jvm)的问题看这篇就够了 Java NIO 概览关于分布式计算的一些概念一锁分类(按照锁的粒度分类) Mysq ...
NCCL、OpenMPI、Gloo对比
Open MPI 的Allreduce 算法实现比较丰富,并且与 MPI 接口完全一致,比较适合做 MPI 研究的同学 NCCL 可以轻松与 MPI结合使用.将MPI用于CPU到CPU的通信,将NCC ...
big data-data mining 学习地图
1.数据挖掘介绍 1.1 数据挖掘概述 1.2 数据挖掘流程 1.3 数据.属性和度量 1.4 数据挖掘开发工具 1.5 数据挖掘学习路径 2.预备知识-数学 2.1 矩阵和线性代数 2.2 概率论和 ...
计算机在未来应用,浅谈未来计算机计算技术的应用与发展
在可扩展性上,集群计算对物理临近与网络延时的要求往往限制了地域分布的能力:而网格计算在设计之初往往就已提供了动态性增强的可扩展性,且由此可提供很好的高可扩展性. 尽管网格计算与集群计算之间存在很多差别 ...
黑马2023新版《大数据入门到实战》教程上线啦~
划重点!划重点!划重点! 2023新版<大数据入门到实战>教程上线了!!! 本套教程一网打尽了大数据必学的 Hadoop.Hive,云平台实战项目让零基础同学一站式入门直通大数据核心 ...

分布式计算的基本概念

0. 主从

1. 计算核心数

分布式计算的基本概念相关推荐

最新文章

热门文章