MapReduce源码分析_李孟

job.waitForCompletion(true);进入源码

submit()-> connect();连接，客户端获取服务端的代理对象

connect()->new Cluster(getConfiguration());

Cluster(jobTrackAddr,conf)->initialize->clientProtocol RPC通信versionID

submit() ->submitter.submitJobInternal(Job.this, cluster):

checkSpecs(job);检查路径

copyAndConfigureFiles(job, submitJobDir);拷贝并且将文件写入到hfds

printTokens(jobId, job.getCredentials());

submitJob（jobId, submitJobDir.toString(), job.getCredentials()）提交job

int maps = writeSplits(job, submitJobDir);job分割切片

writeSplits（）-》maps = writeNewSplits(job, jobSubmitDir);-》 List splits = input.getSplits(job);//FileInputFormat获取切片

List getSplits(JobContext job)-》long minSize = Math.max(getFormatMinSplitSize(), getMinSplitSize(job));

getMinSplitSize(job)获取mapreduce.input.fileinputformat.split.minsize的值（hadoop-mapreduce-client-core-》mapred-default.xml）

List getSplits(JobContext job)-》long minSize 最终为1

List getSplits(JobContext job)-》long maxSize = getMaxSplitSize(job);-》在mapred-default.xml没有获取到值，得long的最大值

返切片文件列表splits

MapReduce源码分析_李孟_新浪博客相关推荐

2.2.2 胸腰差和胸臀差的应用_米人NOONE_新浪博客
2.2.2 胸腰差和胸臀差的应用_米人NOONE_新浪博客 2.2.2 胸腰差和胸臀差的应用_米人NOONE_新浪博客腰差和胸臀差的应用 (2009-06-16 19:24:57) 转载▼ 标签: ...
v05.05 鸿蒙内核源码分析(任务管理) | 如何管理任务池 | 百篇博客分析HarmonyOS源码
曾子曰:"吾日三省吾身:为人谋而不忠乎?与朋友交而不信乎?传不习乎?"<论语>:学而篇百篇博客系列篇.本篇为: v05.xx 鸿蒙内核源码分析(任务管理篇) | 如何 ...
ArcGIS MPK的两种打包方式_陈焜浩Arain_新浪博客
最近发现用ArcGIS打包的MPK文件,如果数据的来源不一样:从shapefile源数据或者是从SDE源数据进行打包,能够引起打包文件的大小不一样已经在代码中引用文件的效率不一样的差异.开始发现这种差 ...
MODIS MOD11A2地温产品_江仔91_新浪博客
注意事项: 1.经MRT转换后的数据需要进一步处理,如:LST产品需经公式:NG*0.02-273.15运算后才可转换为设施温度.
动画说明李明杰新浪博客
http://blog.csdn.net/liuting5521826/article/details/51121957 http://www.cnblogs.com/mjios/archive/20 ...
MapReduce 源码分析（一）准备阶段
MapReduce 源码分析本篇博客根据wordCount代码进行分析底层源码的.以下称它为WC类. package com.henu;import org.apache.hadoop.conf.C ...
普度网络营销策划_普度网络营销策划-齐宁_新浪博客
标签: 杂谈自媒体的盛行,让我们知道了文案的重要性.一条好的文案,可以让你的广告如虎添翼.一篇好的内容可以瞬间刷爆朋友圈.今天我要总结的就是如何做一个打动人内心心智的好文案. 文案最主要的目的是让消 ...
邓文迪撑杆跳，甩开老公要独立？_富杂志_新浪博客
邓文迪撑杆跳,甩开老公要独立?_富杂志_新浪博客邓文迪撑杆跳,甩开老公要独立? (2010-01-11 10:55:22) 转载▼
cadence spb 16.5 破解过程实例和使用感受_赤松子耶_新浪博客
cadence spb 16.5 破解过程实例和使用感受_赤松子耶_新浪博客 Cadence Allegro16.5详细安装具体的步骤 1.下载SPB16.5下来后,点setup.exe,先安装第一项 ...
关于幂律分布的一个笔记_哈克_新浪博客
关于幂律分布的一个笔记_哈克_新浪博客关于幂律分布的一个笔记 (2011-03-02 18:12:27) 转载▼ 标签: 幂律二八法则杂谈 ...

MapReduce源码分析_李孟_新浪博客

MapReduce源码分析_李孟_新浪博客相关推荐

最新文章

热门文章