Hadoop MapReduce概念学习系列之MPI和MapReduce（十三）
在当前最流行的高性能并行体系结构中比较常用的并行编程环境分为两类:消息传递和共享存储。MPI是基于消息传递的经典代表，是消息传递井行程序设计的标准，用于构建高可靠的、可伸缩的、灵活的分布式应用程消息传递井行处理开销比较大，适合于大粒度的进程级并行计算，相对其他并行编程环境，它具有很好的可移植性，几乎能被所有的并行环境支持;还具有很好的可扩展性，具有完备的异步通信功能，能按照用户的要求很好地分解问题，组织不同进程之间进行数据交换，适合大规模可扩展性的并行算法。
MPI模式在学术研究领域应用较多，而在商业领域，云计算系统大多采用的是Google云计算系统中的MapReduce并行编程模型。云计算强调的就是简单的编程模型，而MapReduce就是一种高效的、简单的并行编程模式，也是一种高效的任务调度器。MapReduce这种编程模型不仅适用于云计算，在多核和多处理器、Cell processor以及异构机群上同样有良好的性能。利用MapReduce ,程序员能够轻松地编写紧耦合的程序，在运行时能高效地调度和执行任务，在实现时，在Map函数中指定对各分块数据的处理过程，在Reduce函数中指定如何对分块数据处理的中问结果进行归约。用户只需要指定Map和Reduce函数来编写分布式的并行程序，不需要关心如何将输人的数据分块、分配和调度，同时系统还将处理集群内节点失败及节点间通信的管理等。而MPI仅仅是一个并行计算标准，没有相应的分布式文件系统的支撑，在大数据场景下大文件的存储及访问都会成为一个问题，同时用户还需要考虑集群节点之间的通信协调、容错等问题，这些使得MPI的编程难度比较大，集群本身的规模也很难做到像MapReduce那样的超大规模。
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5080596.html，如需转载请自行联系原作者
Hadoop MapReduce概念学习系列之MPI和MapReduce（十三）相关推荐
- Hadoop HDFS概念学习系列之熟练掌握HDFS的Shell访问（十五）
调用文件系统(FS)Shell命令应使用 $HADOOP_HOME/bin/hadoop fs *** 的形式!!! 所有的FS Shell命令使用URI路径作为参数. URI格式是scheme:/ ...
- Hadoop MapReduce概念学习系列之map并发任务数和reduce并发任务数的原理和代码实现（十八）...
首先,来说的是,reduce并发任务数,默认是1. 即,在jps后,出现一个yarnchild.之后又消失. 这里,我控制reduce并发任务数6. 有多少个reduce的并发任务数可以在程序里控制 ...
- Hadoop MapReduce概念学习系列之mr程序详谈（二十三）
不多说,直接上干货! 这个暂时,没写好. K1,v1 这是增强的for循环. for(Sting w : words) { } 迭代器里,前面,放的是什么类型,后面,迭代的是谁. 欢迎大家,加入我的微 ...
- Hadoop HDFS概念学习系列之shell命令使用HDFS的一些其他命令（十九）
其他相关命令还包括以下这些: NameNode -format : 格式化DFS文件系统 secondaryNameNode : 运行DFS的SecndaryNameNode进程 NameNo ...
- Hadoop Hive概念学习系列之hive的正则表达式初步（六）
说在前面的话 hive的正则表达式,是非常重要!作为大数据开发人员,用好hive,正则表达式,是必须品! Hive中的正则表达式还是很强大的.数据工作者平时也离不开正则表达式.对此,特意做了个hive ...
- Hadoop Hive概念学习系列之HiveQL编译基础（十）
由客户端提交的HiveQL语句将最终被转换为一个或多个MapReduce任务并提交由Hadoop执行.不包含聚合和连接的简单SELECT语句可以使用一个单独的只包含Map阶段的任务实现.使用GROUP ...
- Hadoop HBase概念学习系列之HRegion服务器（三）
所有的数据库数据一般是保存在Hadoop分布式系统上面的,用户通过一系列HRegion服务器获取这些数据.一台机器上一般只运行一个HRegion服务器,而且每一分区段的HRegion也只会被一个HRe ...
- Hadoop HDFS概念学习系列之HDFS升级和回滚机制（十二）
不多说,直接上干货! HDFS升级和回滚机制 作为一个大型的分布式系统,Hadoop内部实现了一套升级机制,当在一个集群上升级Hadoop时,像其他的软件升级一样,可能会有新的bug或一些会影响现有应 ...
- Hadoop Hive概念学习系列之hive的数据压缩（七）
Hive文件存储格式包括以下几类: 1.TEXTFILE 2.SEQUENCEFILE 3.RCFILE 4.ORCFILE 其中TEXTFILE为默认格式,建表时不指定默认为这个格式,导入数据时会直 ...
最新文章
- Windows Server2016 安装及配置DFS实现数据复制
- shell基础之if语句
- PHP基于数组的分页函数(核心函数array_slice())
- zookeeper集群部署（分布式）
- E：Modular Stability（组合数）
- 最全Java锁详解：独享锁/共享锁+公平锁/非公平锁+乐观锁/悲观锁
- 解决Linux出现“cannot create temp file for here-document: No space left on device”的问题
- python 批量打开网页并截图_如何实现批量截取整个网页完整长截图,批量将网页保存成图片web2pic/webshot/screencapture/html2picture...
- 方舟服务器伤害怎么显示,方舟单机模式下怎么显示伤害数值啊 | 手游网游页游攻略大全...
- Python 使用OpenCV计算机视觉（一篇文章从零毕业）【附带OCR文字识别项目、停车场车位智能识别项目】
- Keil MDK编译后生产的.axf文件用什么打开？
- 特效行者软件app怎么制作抖音特效和快手特效视频？
- 【个人学习文章收集】
- 高频故障-桌面图标变成白纸图标的恢复方案
- linux环境变量LIBRARY_PATH和LD_LIBRARY_PATH
- 支付宝 android 指纹支付,支付宝更新，小米5终于用上了指纹支付
- 癸酉本石头记后二十八回
- Incarnation概念
- #学习笔记#模板语法
- python数据可视化图表_python数据可视化之pandas基础图表(一)