java多个mapreduce_java – 在hadoop中运行多个MapReduce作业
我想运行一系列map reduce工作,所以最简单的解决方案似乎是jobcontroller.说我有两个工作,job1和job2.我想在job1之后运行job2.嗯,它遇到了一些问题.经过几个小时的调试后,我将代码缩小到以下几行:
JobConf jobConf1 = new JobConf();
JobConf jobConf2 = new JobConf();
System.out.println("*** Point 1");
Job job1 = new Job(jobConf1);
System.out.println("*** Point 2");
Job job2 = new Job(jobConf2);
System.out.println("*** Point 3");
我在运行代码时不断获得此输出:
*** Point 1
10/12/06 17:19:30 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=
*** Point 2
10/12/06 17:19:30 INFO jvm.JvmMetrics: Cannot initialize JVM Metrics with processName=JobTracker, sessionId= - already initialized
*** Point 3
我想我的问题是以某种方式与“无法初始化JMV ……”相关联.那是什么?以及如何实例化多个作业,以便将它们传递给JobController.
当我在初始化第二个作业之前添加job1.waitForTheCompletion(true)时,它给了我这个错误:
10/12/07 11:28:21 INFO jvm.JvmMetrics: Cannot initialize JVM Metrics with processName=JobTracker, sessionId= - already initialized
Exception in thread "main" org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: file:/home/workspace/WikipediaSearch/__TEMP1
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus(FileInputFormat.java:224)
at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.getSplits(FileInputFormat.java:241)
at org.apache.hadoop.mapred.JobClient.writeNewSplits(JobClient.java:885)
at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:779)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:432)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:447)
at ch.ethz.nis.query.HadoopQuery.run(HadoopQuery.java:353)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at ch.ethz.nis.query.HadoopQuery.main(HadoopQuery.java:308)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.apache.hadoop.util.RunJar.main(RunJar.java:156)
__Temp1是第一个作业的输出文件夹,我希望它是第二个作业的输入.即使我的代码中有这个waitForCompletion行,它仍然抱怨这条路径不存在.
java多个mapreduce_java – 在hadoop中运行多个MapReduce作业相关推荐
- python hadoop streaming_如何在Hadoop中使用Streaming编写MapReduce(转帖)
作者:马士华 发表于:2008-03-05 12:51 最后更新于:2008-03-25 11:18 版权声明:可以任意转载,转载时请务必以超链接形式标明文章原始出处和作者信息. http://www ...
- Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
网友分享,拿来共享一下 这是Hadoop学习全程记录第2篇,在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序. 新说明一下我的开发环境: 操作系统:在windows下使用wub ...
- Submarine:在 Apache Hadoop 中运行深度学习框架
\u003cp\u003e作者: \u003ca href=\"https://hortonworks.com/blog/author/wtan/\"\u003eWangda Ta ...
- docker 运行java程序_Docker:在容器中运行Java应用程序
您可以使用Docker在特定的运行时环境中运行容器中的Java应用程序.本教程介绍如何创建Dockerfile,以便在OpenJDK 8的容器中运行简单的Java应用程序. 示例应用程序由一个Main ...
- scala java funtion1_当我在ScalaIDE中运行代码时,为什么要获取`java.lang.NoClassDefFoundError:scala / Function1`?...
这是一个简单的测试,我用来从 Java调用Scala方法: public static void main(String args[]) { java.util.Map> rec = news. ...
- java对docker_如何在docker中运行java程序
吃鸡游戏 创建一个redis docker容器首先,我们先为redis创建一个DockerfileFROM ubuntu:12.10RUN apt-get updateRUN apt-get -y i ...
- 用控制台怎么编译java程序_怎么在cmd中运行java控制台程序?
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 2010-08-07 17:00 1,111 SendGift.java 2010-08-09 17:40 ...
- 如果遇到Hadoop集群正常,MapReduce作业运行出现错误,如何来查看作业运行日志(图文详解)...
这个时候我们可以进入logs下的userlogs 备注:userlogs目录下有很多个以往运行的作业,我选择最新的最大编号的作业,就是我们当前运行作业的日志.然后找到stderr stdout sys ...
- 在Apache Hadoop(多节点群集)中运行Map-Reduce作业
我们将在这里描述在多节点集群中的Apache Hadoop中运行MapReduce Job的过程. 要在多节点群集中设置Apache Hadoop ,可以阅读设置Apache Hadoop多节点群集 ...
最新文章
- Java堆栈功能_【ThinkingInJava】35、用java实现堆栈功能
- 重磅丨国家发改委公布56个AI支持项目名单
- 转 openssl 建立服务器证书
- 深入理解分布式技术 - 先更新数据库,还是先更新缓存
- ocp 042 第六章:管理用户安全性
- 图论--双连通分量--点双连通模板
- hdu2553 N皇后问题-dfs回溯剪枝+打表
- 潜在狄利克雷分配(Latent Dirichlet Allocation,LDA)
- 搭载“可信隐私沙盒”技术 蚂蚁集团联合荣耀手机从源头防范电信诈骗
- C++实现系统性能检测工具
- Linux系统安装完成后创建交换空间
- 安又琪 -《Angela安又琪》
- python迭代器_Python迭代器
- windows 2003 迁移域控制器到 windows 2008
- 音频3A测试 AGC自动增益测试
- win10任务栏怎么还原到下面_如何让你的Win10桌面变得更好看?
- matlab中3乘4魔方阵,小代码3 魔方矩阵
- 搜狗推送工具之泛站程序实现泛收录
- 金蝶迷你版所有数据引出excel没有反应,如何处理
- 什么第一台多媒体电子计算机诞生,第一台多媒体电计算机是哪一年诞生的
热门文章
- golang获取程序运行路径
- 【Matlab】根据图生成带权邻接矩阵,并求出最短路径
- JDBC(Java语言连接数据库)
- Linux debian安装Typora教程
- Windows 10 搭建Python3 安装使用 protobuf
- 使用ffmpeg 将mp4文件转化未hls文件
- nginx 监听同一端口
- java重定向cookie_response请求转发和重定向,cookie
- php http_user_agent 微信浏览器改变为其他浏览器,微信内置浏览器HTTP_USER_AGENT
- 线程中如何使用对象_在 Flink 算子中使用多线程如何保证不丢数据?