Hadoop系列之ToolRunner与GenericOptionsParser用法

首先给一个ToolRunner类的实例

package hadoop.study;/*** Created by denglinjie on 2017/3/7.*/
import java.util.Map.Entry;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;public class ToolRunnerDemo extends Configured implements Tool {static {//Configuration.addDefaultResource("hdfs-default.xml");//Configuration.addDefaultResource("hdfs-site.xml");//Configuration.addDefaultResource("mapred-default.xml");//Configuration.addDefaultResource("mapred-site.xml");}public int run(String[] args) throws Exception {Configuration conf = getConf();for (Entry<String, String> entry : conf) {System.out.printf("%s=%s\n", entry.getKey(), entry.getValue());}return 0;}public static void main(String[] args) throws Exception {int exitCode = ToolRunner.run(new ToolRunnerDemo(), args);System.exit(exitCode);}
}

我们可以看下ToolRunner的run方法代码

public static int run(Configuration conf, Tool tool, String[] args) throws Exception {if(conf == null) {conf = new Configuration();}GenericOptionsParser parser = new GenericOptionsParser(conf, args);tool.setConf(conf);String[] toolArgs = parser.getRemainingArgs();return tool.run(toolArgs);}

可以看到ToolRunner对象会创建一个Configuration对象，Configuration对象会加载hadoop的相关配置文件，默认情况下回加载core-default.xml和core-site.xml文件

核心代码如下：

static {ClassLoader cL = Thread.currentThread().getContextClassLoader();if(cL == null) {cL = Configuration.class.getClassLoader();}if(cL.getResource("hadoop-site.xml") != null) {LOG.warn("DEPRECATED: hadoop-site.xml found in the classpath. Usage of hadoop-site.xml is deprecated. Instead use core-site.xml, mapred-site.xml and hdfs-site.xml to override properties of core-default.xml, mapred-default.xml and hdfs-default.xml respectively");}addDefaultResource("core-default.xml");addDefaultResource("core-site.xml");varPat = Pattern.compile("\\$\\{[^\\}\\$ ]+\\}");MAX_SUBST = 20;}

可在ToolRunnerDemo类的run方法中通过如下方法拿到配置文件中的参数

Configuration conf = getConf();

上述代码还可以看到如下逻辑

GenericOptionsParser parser = new GenericOptionsParser(conf, args);String[] toolArgs = parser.getRemainingArgs();
return tool.run(toolArgs);

args是hadoop执行jar包代码时传入的命令行参数，所以可以看出：

GenericOptionParser类的目的就是对命令行的输入参数进行处理，并传入Demo类的run方法中使用

可通过-D在命令行传入参数

# hadoop jar tool_runer_class/toolrunnerdemo.jar ToolRunnerDemo -D key=value

实验发现，该参数也会出现在conf中，即如下代码也可以拿到命令行传入的参数

Configuration conf = getConf()

可通过-conf在命令行增加新的配置文件

# hadoop jar tool_runer_class/toolrunnerdemo.jar ToolRunnerDemo -conf /home/xx/hadoop-1.2.1/conf/mapred-site.xml

也可以通过在代码中添加如下代码，即把上述代码中的注释代开，来传入配置文件

static {Configuration.addDefaultResource("hdfs-default.xml");Configuration.addDefaultResource("hdfs-site.xml");Configuration.addDefaultResource("mapred-default.xml");Configuration.addDefaultResource("mapred-site.xml");}

这些方式，最终都能够在下面的conf中拿到参数

Configuration conf = getConf()

Hadoop系列之ToolRunner与GenericOptionsParser用法相关推荐

Hadoop中通过ToolRunner和Configured实现直接读取命令行动态出入reduce task数量，jar文件等...
一个典型的实现Tool的程序: /** MyApp 需要从命令行读取参数,用户输入命令如, $bin/hadoop jar MyApp.jar -archives test.tgz arg1 arg ...
Hadoop中通过ToolRunner和Configured实现直接读取命令行动态出入reduce task数量，jar文件等
一个典型的实现Tool的程序: /** MyApp 需要从命令行读取参数,用户输入命令如, $bin/hadoop jar MyApp.jar -archives test.tgz arg1 arg ...
微软BI 之SSAS 系列 - 多维数据集维度用法之二事实维度(退化维度 Degenerate Dimension)...
这篇文章是基于上一篇 SSAS 系列 - 多维数据集维度用法之一引用维度 Referenced Dimension 继续讲解多维数据集维度用法中的事实维度. 事实维度,顾名思义就是把事实表 Fact ...
[js高手之路]深入浅出webpack教程系列9-打包图片(file-loader)用法
[js高手之路]深入浅出webpack教程系列索引目录: [js高手之路]深入浅出webpack教程系列1-安装与基本打包用法和命令参数 [js高手之路]深入浅出webpack教程系列2-配置文件we ...
Hadoop 系列之 Hive
Hadoop 系列之 Hive Hive 的官网:http://hive.apache.org/ Hive versions 1.2 onward require Java 1.7 or newer. ...
Hadoop 系列之 HDFS
Hadoop 系列之 HDFS 花絮上一篇文章 Hadoop 系列之 1.0和2.0架构中,提到了 Google 的三驾马车,关于分布式存储,计算以及列式存储的论文,分别对应开源的 HDFS,Ma ...
Hadoop 系列之 1.0 和2.0 架构
Hadoop 系列之 1.0 和2.0 架构自学大数据有一段时间了,找工作历时一周,找到一家大厂,下周入职,薪资待遇还不错,公司的业务背景自己也很喜欢.趁着还没有入职,给大家争取先把 Hadoop ...
Hadoop 基础系列一Hadoop 系列之 1.0 和2.0 架构
精选30+云产品,助力企业轻松上云!>>> Hadoop 系列之 1.0 和2.0 架构自学大数据有一段时间了,找工作历时一周,找到一家大厂,下周入职,薪资待遇还不错,公司的业务背 ...
hadoop系列三:mapreduce的使用(一)
一:说明此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6.4 上一篇:hadoop系列二: ...

Hadoop系列之ToolRunner与GenericOptionsParser用法

Hadoop系列之ToolRunner与GenericOptionsParser用法相关推荐

最新文章

热门文章