hadoop2.6.0的eclipse插件编译和设置

编译hadoop2.6.0的eclipse插件

下载源码：
git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git
编译源码：

[html] view plaincopy

cd src/contrib/eclipse-plugin

ant jar -Dversion=2.6.0 -Declipse.home=/usr/local/eclipse -Dhadoop.home=/usr/local/hadoop-2.6.0 //需要手动安装的eclipse，通过命令行一键安装的不行

eclipse.home 和 hadoop.home 设置成你自己的环境路径

生成位置：

[html] view plaincopy

[jar] Building jar: /home/hunter/hadoop2x-eclipse-plugin/build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.6.0.jar

安装插件

登录桌面后面要打开eclipse的用户最好是hadoop的管理员，也就是hadoop安装时设置的那个用户，否则会出现拒绝读写权限问题。

复制编译好的jar到eclipse插件目录，重启eclipse

配置 hadoop 安装目录

window ->preference -> hadoop Map/Reduce -> Hadoop installation directory

配置Map/Reduce 视图

window ->Open Perspective -> other->Map/Reduce -> 点击“OK”

windows → show view → other->Map/Reduce Locations-> 点击“OK”

控制台会多出一个“Map/Reduce Locations”的Tab页

在“Map/Reduce Locations” Tab页点击图标<大象+>或者在空白的地方右键，选择“New Hadoop location…”，弹出对话框“New hadoop location…”，配置如下内容：将ha1改为自己的hadoop用户

注意：MR Master和DFS Master配置必须和mapred-site.xml和core-site.xml等配置文件一致

打开Project Explorer,查看HDFS文件系统。

新建Map/Reduce任务

File->New->project->Map/Reduce Project->Next

编写WordCount类：记得先把服务都起来

[java] view plaincopy

import java.io.IOException;

import java.util.*;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.conf.*;

import org.apache.hadoop.io.*;

import org.apache.hadoop.mapred.*;

import org.apache.hadoop.util.*;

public class WordCount {

public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {

private final static IntWritable one = new IntWritable(1);

private Text word = new Text();

public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {

String line = value.toString();

StringTokenizer tokenizer = new StringTokenizer(line);

while (tokenizer.hasMoreTokens()) {

word.set(tokenizer.nextToken());

output.collect(word, one);

}

}

}

public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {

public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {

int sum = 0;

while (values.hasNext()) {

sum += values.next().get();

}

output.collect(key, new IntWritable(sum));

}

}

public static void main(String[] args) throws Exception {

JobConf conf = new JobConf(WordCount.class);

conf.setJobName("wordcount");

conf.setOutputKeyClass(Text.class);

conf.setOutputValueClass(IntWritable.class);

conf.setMapperClass(Map.class);

conf.setReducerClass(Reduce.class);

conf.setInputFormat(TextInputFormat.class);

conf.setOutputFormat(TextOutputFormat.class);

FileInputFormat.setInputPaths(conf, new Path(args[0]));

FileOutputFormat.setOutputPath(conf, new Path(args[1]));

JobClient.runJob(conf);

}

}

配置运行时参数:右键-->Run as-->Run Confiugrations

user/ha1/input/hadoop是你上传在hdfs的文件夹（自己创建），里面放要处理的文件。ouput4放输出结果

将程序放在hadoop集群上运行：右键-->Runas -->Run on Hadoop,最终的输出结果会在HDFS相应的文件夹下显示。至此，ubuntu下hadoop-2.6.0 eclipse插件配置完成。

配置过程中出先的问题：

在eclipse中无法向文件HDFS文件系统写入的问题，这将直接导致eclipse下编写的程序不能在hadoop上运行。

打开conf/hdfs-site.xml，找到dfs.permissions属性修改为false（默认为true）OK了。
      <property>
         <name>dfs.permissions</name>
         <value>false</value>
      </property>
改完需要重启HDFS；

最简单的就是刚才说的登录桌面启动eclipse的用户本身就是hadoop的管理员

hadoop2.6.0的eclipse插件编译和设置相关推荐

【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse插件
目标: 编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件环境: win7x64家庭普通版 eclipse-jee-kepler-SR1-win32-x86_64.z ...
【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse小工具
目标: 编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件环境: win7x64家庭普通版 eclipse-jee-kepler-SR1-win32-x86_64.z ...
Hadoop1.1.2 Eclipse 插件编译
可以直接下载我编译好的插件 hadoop-eclipse-plugin-1.1.2 http://download.csdn.net/detail/wind520/5784389 1:方法一: cop ...
Hadoop2.2.0伪分布式环境搭建（附：64位下编译Hadoop-2.2.0过程）
Hadoop2.2.0伪分布式环境搭建: 写在前面:Hadoop2.2.0默认是支持32位的OS,如果想要在64位OS下运行的话,可以通过在64位OS下面编译Hadoop2.2.0来实现,编译的操作步 ...
Eclipse插件列表
1.MyEclipse J2EE开发插件,支持SERVLET/JSP/EJB/数据库操纵等 www.myeclipseide.com 2.Properties Editor 编辑java的属性 ...
ubuntu14.04安装hadoop2.6.0（伪分布模式）
版本:虚拟机下安装的ubuntu14.04(64位),hadoop-2.6.0 下面是hadoop2.6.0的官方英文教程: http://hadoop.apache.org/docs/r2.6.0/ ...
使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu
上篇介绍了使用命令行编译打包运行自己的MapReduce程序,使用 Eclipse 更加方便.要在 Eclipse 上编译和运行 MapReduce 程序,需要安装 hadoop-eclipse-pl ...
Hadoop2 自己动手编译Hadoop的eclipse插件
前言: 毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环 ...
Eclipse反编译工具Jad及插件JadClipse配置
Jad是一个Java的一个反编译工具,是用命令行执行,和通常JDK自带的java,javac命令是一样的.不过因为是控制台运行,所以用起来不太方便.不过幸好有一个eclipse的插件JadClip ...
eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务
转自:http://my.oschina.net/mkh/blog/340112 1 eclipse中hadoop环境部署概览 eclipse中部署hadoop包括两大部分:hdfs环境部署和mapr ...

hadoop2.6.0的eclipse插件编译和设置

编译hadoop2.6.0的eclipse插件

安装插件

hadoop2.6.0的eclipse插件编译和设置相关推荐

最新文章

热门文章