mapreduce引用第三方jar

要想让mapreduce程序引用第三方jar文件, 可以采用如下方式:

通过命令行参数传递jar文件, 如-libjars等;
直接在conf中设置, 如conf.set(“tmpjars”,*.jar), jar文件用逗号隔开;
利用分布式缓存, 如DistributedCache.addArchiveToClassPath(path, job), 此处的path必须是hdfs, 即自己讲jar上传到hdfs上, 然后将路径加入到分布式缓存中;
第三方jar文件和自己的程序打包到一个jar文件中, 程序通过job.getJar()将获得整个文件并将其传至hdfs上. (很笨重)
在每台机器的$HADOOP_HOME/lib目录中加入jar文件. (不推荐)
在工程目录下新建lib文件，把第三方jar包拷贝进去。

p.s. 如果通过上面方法1.或2., 需要注意Configuration问题, 需要通过getConf()函数获得, 而不要自己new一个对象.

转载于:https://www.cnblogs.com/arbitrary/p/4837339.html

mapreduce引用第三方jar相关推荐

Android Studio 在项目中引用第三方jar包
在Android Studio项目中引用第三方jar包的方法: 步骤: 1.在build.gradle文件中添加如下代码: 备注:要添加在Android作用域下 sourceSets {main {j ...
maven引用第三方jar包的解决方法
目录一.指定路径引用二.先安装再引用 maven有两种引用第三方jar包的形式:一种是scope为system,直接指定jar路径引用:另一种是先安装到本地仓库再引用. 一.指定路径引用要想直接 ...
Eclipse安装低版本4.3并安装FatJar打包插件来打包引用第三方jar包的项目成jar包
场景 Eclipse中打包引用了第三方jar包的Java Application项目,除了添加MANIFESE.MF文件,还可以使用 Fat Jar插件打成jar包. 但是Eclipse的版本在4.3 ...
[ANE for Android]Java接口部分引用第三方JAR的解决办法
来自:http://bbs.9ria.com/thread-160445-1-1.html 前几天在做Android AIR 游戏时,集成国外支付平台的接口时候遇到了这样的问题. 详细描述: 平台的支 ...
idea 使用Maven 打包本地jar包及引用第三方jar包
一.使用本地mvn 环境编译本地jar包 mvn install:install-file -Dfile=E:\Bank\lib\Envelope.jar (jar包的全称,还可以使用全路径这样可以直 ...
Eclipse中要导出jar包中引用了第三方jar包怎么办
Eclipse中要导出jar包中引用了第三方jar包怎么办 (2009-07-20 15:28:44) 转载▼ 标签: it 分类: Eclipse 今天做个小的java程序,想要先将其导出成 ...
java调用jar并传参,Java项目导出为jar包+导出第三方jar包+使用命令行调用+传参
Java项目导出为jar包+导出第三方jar包+使用命令行调用+传参一.打包情况1:不需要向程序传参数,并且程序没有使用第三方jar包 Eclipse上导出jar: 然后选择一个java文件作为入 ...
android支持第三方jar包，以及Eclipse如何导入jar包
2019独角兽企业重金招聘Python工程师标准>>> 通常我们进行android开发的时候运用到了两种格式的jar包文件. 1.在eclipse环境下,引入第三方jar包,指的是通 ...
maven 多模块项目如何导入其他模块的第三方 jar 包
背景写了半年的 Vue 前端,今天对整个前后端项目结构进行了一下梳理,在打包项目时,碰到一个 maven 多模块依赖的问题,本文将记录一下这个问题及其解决办法. 问题描述整个工程是基于 maven ...

mapreduce引用第三方jar

mapreduce引用第三方jar相关推荐

最新文章

热门文章