win10 + hadoop2.7.3 + idea 运行第一个MapReduce项目：WordCount

一、启动Hadoop

如果还没有安装可以参考文章：Win10下安装Hadoop2.7.3
切换到 ……\hadoop-2.7.3\sbin 下，运行命令 .\start-dfs.cmd
没有报错一般就是正常启动，也可以在浏览器中输入 http://localhost:50070 查看Hadoop 的相关信息。

二、在IDEA中运行程序

新建Maven项目

GroupId 是项目唯一标识符，一般分为三段，域名.公司/组织.子项目名 ，域名一般有cn(china)，org(非营利组织)，com(商业组织)，ArtifacrId 即项目名。

点击 Next ，这里一般不需要做改动。

之后点击 Next，新建项目一般会询问是否自动导入包，可以选择 Enable Auto-Import。
导入项目依赖库，在 pom.xml 中导入以下依赖，会自动进行下载导入。

 <dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-common</artifactId><version>2.7.3</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-hdfs</artifactId><version>2.7.3</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>2.7.3</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-common</artifactId><version>2.7.3</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-yarn-client</artifactId><version>2.7.3</version></dependency><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-mapreduce-client-core</artifactId><version>2.7.3</version></dependency></dependencies><build><finalName>${project.artifactId}</finalName></build>

导入项目，WordCount源代码在官网(http://hadoop.apache.org/docs/current/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Example:_WordCount_v1.0)有，可以直接复制。
在 src/main/java 下新建Package WordCount，再建class ，命名 WordCount，复制代码，因为源码是中输入输出文件路径是以 args 参数给出的，如果需要直接运行可以更改 args[0]为自定义的输入文件路径、args[1]为输出文件路径。最后点击右键选择 Run ‘WordCount.main()’ 即可。

package WordCount;import java.io.IOException;
import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;public class WordCount {public static class TokenizerMapperextends Mapper<Object, Text, Text, IntWritable>{private final static IntWritable one = new IntWritable(1);private Text word = new Text();public void map(Object key, Text value, Context context) throws IOException, InterruptedException {StringTokenizer itr = new StringTokenizer(value.toString());while (itr.hasMoreTokens()) {word.set(itr.nextToken());context.write(word, one);}}}public static class IntSumReducerextends Reducer<Text,IntWritable,Text,IntWritable> {private IntWritable result = new IntWritable();public void reduce(Text key, Iterable<IntWritable> values,Context context) throws IOException, InterruptedException {int sum = 0;for (IntWritable val : values) {sum += val.get();}result.set(sum);context.write(key, result);}}public static void main(String[] args) throws Exception {Configuration conf = new Configuration();Job job = Job.getInstance(conf, "word count");job.setJarByClass(WordCount.class);job.setMapperClass(TokenizerMapper.class);job.setCombinerClass(IntSumReducer.class);job.setReducerClass(IntSumReducer.class);job.setOutputKeyClass(Text.class);job.setOutputValueClass(IntWritable.class);
//        FileInputFormat.addInputPath(job, new Path(args[0]));
//        FileOutputFormat.setOutputPath(job, new Path(args[1]));FileInputFormat.addInputPath(job, new Path("F:\\data\\input\\countword.txt"));FileOutputFormat.setOutputPath(job, new Path("F:\\data\\output\\countword"));System.exit(job.waitForCompletion(true) ? 0 : 1);}
}

输入数据

Hello    World   Bye World   Summer  Summer

输出数据

Bye  1
Hello   1
Summer  2
World   2

参考文章：【1】第一个MapReduce程序——WordCount | 神奕的博客
【2】Win10+hadoop+idea 运行wordcount - Fasdfg12的博客
【3】【Hadoop】Windows 10 在Intellij IEDA本地运行Hadoop MapReduce实例 - m0_37324825的博客
【4】Apache Hadoop 3.2.1 – MapReduce Tutorial

win10 + hadoop2.7.3 + idea 运行第一个MapReduce项目：WordCount相关推荐

Hadoop学习全程记录——在Eclipse中运行第一个MapReduce程序
网友分享,拿来共享一下这是Hadoop学习全程记录第2篇,在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序. 新说明一下我的开发环境: 操作系统:在windows下使用wub ...
Docker Desktop 如何运行第一个 Docker 项目
Docker Desktop 安装后的界面是这样的. 你可能会有点困惑,如何运行第一个 Docker 项目. 其实上面的界面中已经告诉你运行的命令行工具了: docker run -d -p 80:8 ...
第一个MapReduce程序-------WordCount
本关任务词频统计是最能体现MapReduce思想的程序,结构简单,上手容易. 词频统计的大致功能是:统计单个或者多个文本文件中每个单词出现的次数,并将每个单词及其出现频率按照<k,v>键 ...
菜鸟运行第一个vue项目记录
近期打算着手重构现有的测试平台,由于现在用的平台是layui+flask+uwsgi+nginx框架大家都已经比较熟悉了.所以在新平台选型时本着让大家多接触新东西.新挑战的原则.平台重构选用的框架为v ...
IDEA-第一个Javaweb项目
配置Tomcat服务器: 下载(略,附地址) 地址:https://tomcat.apache.org/ 以apache-tomcat-7.0.73为例启动Tomcat 找到apache-tomca ...
【python爬虫】Pycharm+Scrapy+win10搭建scrapy开发环境+运行一个Demo
准备工作基础环境准备 win10 pycharm python3(同时保证有pip环境) scrapy环境准备打开网址https://www.lfd.uci.edu/~gohlke/pythonl ...
HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo
26 集群使用初步 HDFS的设计思路 l 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式 ...
HDFS设计思路，HDFS使用，查看集群状态，HDFS，HDFS上传文件，HDFS下载文件，yarn web管理界面信息查看，运行一个mapreduce程序，mapreduce的demo...
26 集群使用初步 HDFS的设计思路 l 设计思想分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式 ...
关于华为DevEco studio2.0的安装和运行第一个hello world的文章
华为鸿蒙操作系统与2020年9月,将其源代码公开后,就学习了如何下载开发工具DevEco Studio2.0和安装,运行第一个hell worl!,这也是每一个程序员在熟悉新的技术所必须经历的过程. ...

win10 + hadoop2.7.3 + idea 运行第一个MapReduce项目：WordCount

一、启动Hadoop

二、在IDEA中运行程序

win10 + hadoop2.7.3 + idea 运行第一个MapReduce项目：WordCount相关推荐

最新文章

热门文章