MPP架构分布式架构

MPP架构 && 分布式架构

MPP
1.传统数仓中常见的技术架构，将单机数据库组成集群，提高整体性能
2.节点间为非共享架构（Sharing Nothing），每个节点都有独立的磁盘存储系统和内存系统（独立存储+独立计算），独立运行时不需要关心其他节点的情况和数据，如果需要用到其他节点的数据，各个节点之间通过专用网络或者商用网络，进行点对点交换，完成协同运算的过程
3.设计上先考虑C(一致性)，其次考虑A（可用性），尽量做好p（分区容错性）

架构优点
1.运算方式精细，延迟低，吞吐量低
2.适合中等规模的结构化数据处理

架构缺点
1.存储位置不透明，通过Hash确定数据所在的物理节点，查询任务在所有节点均会执行
2.并行计算时，单节点瓶颈会成为整个系统的短板，容错性差
3.分布式事务的实现会导致扩展性降低

分布式架构
1.大数据中较为常见的技术架构，也成为Hadoop架构/批处理架构
2.各节点实现场地自治（单独运行局部应用），数据在集群中全局透明共享
3.每台节点通过局域网或者广域网相连，节点间的通信开销较大，在运算时致力减少数据移动
4.优先考虑的时P（分区容错性），然后是A（可用性），最后再考虑C（一致性）

MPP+分布式架构
1.数据存储采用分布式架构中的公共存储，提高分区容错性
2.上层架构采用MPP，减少运算延迟

适用场景
1.MPP更适合中等规模的数据处理，延迟低，SQL支持率高
2.分布式更适合海量数据的批处理计算，吞吐较高，运算速度快，扩展性强

MPP架构分布式架构相关推荐

分布式架构——分布式架构的演进过程（下）
上一篇博客简单介绍了分布式的发展历史和基本概念本篇博客则将以电商系统为例,详细介绍分布式发展的过程假设我们的电商系统中只有三个模块:用户模块,交易模块和商品模块阶段一:单应用架构在网站创建初期 ...
单体应用架构——垂直应用架构———分布式架构———SOA架构———微服务架构
2020，分布式架构会给传统数据库运维带来哪些变化？
摘要:分布式架构可能是近几年最火的话题.从集中式.SOA到分布式架构,本文回顾了这些年金融行业经历的架构演变:结合当下一些较典型的分布式数据库的实现原理,分析了分布式数据库的三个发展阶段.分布式数据库 ...
一文看懂Java微服务架构，WEB2.0，垂直架构，分布式架构，微服务架构
Java微服务架构目录: 了解开发环境&生成环境 WEB1.0 & WEB2.0 垂直架构分布式架构微服务架构 1.了解开发环境&生产环境 1.1 开发环境平时在写代码 ...
阿里架构师，讲述分布式架构云平台解决方案（附学习路线）...
技术架构分布式架构云平台在充分分析IT技术发展趋势,遵循集中化.标准化.集成化.可靠化和可扩展化的设计原则,以价值创造为使命,以规范化.一体化.智能化的云平台为支撑,实现信息的透明共享.业务的敏捷协 ...
分布式架构和集群架构的区别
目录 1.分布式架构 2.集群架构 1.分布式架构分布式架构是每个服务器都是运行不同的程序,提供的功能不一样,相互协作形成一个完整的生态,再对外提供服务,各个服务器之间有存在相互通信调用的情况,架构 ...
万字长文解析：分布式架构、SOA、微服务架构、API网关、ESB服务总线架构之间的关联及演进
1架构演进架构十五年:改变的是形态,不变的是目的业务驱动架构形态变化过去十几年,随着互联网发展以及业务的多样化,系统的架构也在不断发生变化,总体上来说大体经历了从单体应用架构-垂直应用架构-分布 ...
单体架构、分布式架构、微服务概述
单体架构.分布式架构.微服务概述一.单体架构二.分布式架构三.微服务总结集群:同一个应用,部署在不同的服务器服务:业务功能拆分独立成一个模块(业务模块) 一.单体架构单体架构:将业务的所 ...
集中式架构vs分布式架构
个人博客原文链接历史自从20世纪60年代大型主机被发明出来以后,凭借其超强的计算和I/O处理能力以及在稳定性和安全性方面的卓越表现,在很长一段时间内,大型主机引领了计算机行业以及商业计算领域的发展 ...

MPP架构分布式架构

MPP架构分布式架构相关推荐

最新文章

热门文章

MPP架构 分布式架构

MPP架构 分布式架构相关推荐

最新文章

热门文章

MPP架构分布式架构

MPP架构分布式架构相关推荐