hadoop订单项目实战

1.到https://github.com/rathboma/hadoop-framework-examples#readme网址下载该项目文件

2.删除test文件夹

修改RawMapducer.java文件的路径地址

3.修改pom.xml文件
删除该文件的一下内容：

<dependency><groupId>org.apache.commons</groupId><artifactId>commons-io</artifactId><version>1.3.2</version><scope>test</scope>
</dependency>
<dependency><groupId>commons-httpclient</groupId><artifactId>commons-httpclient</artifactId><version>3.1</version><scope>test</scope>
</dependency>
<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-test</artifactId><version>2.0.0-mr1-cdh4.3.1</version><scope>test</scope>
</dependency>
<dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.8.2</version><scope>test</scope>
</dependency>

并修改如下：

<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.3.1</version>
</dependency>

4.将windows系统下的文件上传到服务器的hadoop系统上，使用sftp工具在windows系统下找到hadoop项目文件和老师所给的transactions.txt和users.txt文件通过拖拽到服务器上的hadoop文件系统即可，也可以通过复制粘贴方法。

5.通过putty工具远程连接服务器主机

6.格式化配置的HDFS文件系统：hadoop namenode -format

7.进入hadoop文件系统：cd /usr/local/hadoop

8.依次创建对应的数据所在文件夹
注意：新建目录集/user/path/users与/users/path/transactions/ 请注意，目录需要一层层创建，否则会出错。

9.把hadoop系统中的transactions.txt和users.txt文件放到users与transactions文件夹中。

10.进入到该项目的target目录下启动分布式文件系统：start-dfs.sh和start-yarn.sh

10.执行该命令运行该项目：

hadoop jar java-mapreduce-1.0-SNAPSHOT-jar-with-dependencies.jar

Transactions的路径：

/home/hadoop/Hadoop_3/hive/data/transactions

Users的路径：
/home/hadoop/Hadoop_3/hive/data/users

/home/hadoop/Hadoop_3/java-mapreduce/target

11.在网页输入主机IP+:9870地址,查看运行结果输出的文件

三、中间遇到的问题

1.在网页没有查看到output文件
需要把staging文件夹通过命令行删除：
bin/hadoop fs -rm -r /user/path/staging
错误显示界面如下：

正确显示界面如下；

2.点击Download无法下载问题，浏览器显示访问的网页无法访问问题
在自己windows-》System32-》drivers-》etc-》hosts文件使用记事本软件打开最后添加上自己服务器主机的：IP+主机名称（中间用一个英文空格隔开）。修改完成即可通过浏览器访问下载文件

下载的结果文件使用记事本打开如下：

四、实验总结：
虽然本次实验画了一些时间，去摸索查资料如何运行hadoop项目。在操作过程中也踩了不少的坑，但是到最后还是成功解决，在解决过程中需要内心去查资料，参考别人的解决方法。等自己把该项目运行成功就很有成就感，感觉并没有那么高深莫测也没有那么难，就是那样而已。

hadoop订单项目实战相关推荐

小象学院—hadoop进阶项目实战(完整)
课程简介: <Hadoop进阶>:本课程面向Hadoop高阶学习者,具有一定Hadoop系统使用经验,结合大规模使用Hadoop的实践经验,了解和掌握HDFS构建.Hadoop工具使用.调 ...
Hadoop项目实战－用户行为分析之应用概述（二）
1.概述本课程的视频教程地址:<项目整体概述> 本节给大家分享的主题如下图所示: 下面我开始为大家分享第二节的内容--<项目整体概述>,下面开始今天的分享内容. 2.内容从 ...
《Hadoop海量数据处理：技术详解与项目实战（第2版）》一2.8　小结
本节书摘来异步社区<Hadoop海量数据处理:技术详解与项目实战(第2版)>一书中的第2章,第2.8节,作者: 范东来责编: 杨海玲,更多章节内容可以访问云栖社区"异步社区&q ...
《Hadoop海量数据处理：技术详解与项目实战（第2版）》一第2章　环境准备
本节书摘来异步社区<Hadoop海量数据处理:技术详解与项目实战(第2版)>一书中的第2章,第2.1节,作者: 范东来责编: 杨海玲,更多章节内容可以访问云栖社区"异步社区&q ...
hadoop+Spark实战基于大数据技术之电视收视率企业项目实战
课程简介本课程将通过一个电视收视率项目实战驱动讲解,项目案例是国内的一家广电企业作为非洲国家的一个运营商,以用户收视行为数据作为基础数据,通过对频道和节目的分析,采用多维度统计分析的方法挖掘用户的收 ...
基于大数据技术之电视收视率企业项目实战（hadoop+Spark）
基于大数据技术之电视收视率企业项目实战(hadoop+Spark) 网盘地址:https://pan.baidu.com/s/1bEeSB1Y9nmjzctnbJMcBkg 密码:dohg 备用地址( ...
Vue.js-Day08【项目实战(附带完整项目源码)-day03：订单确认页面、美团支付页面、flex弹性盒子布局】
Vue.js实训[基础理论(5天)+项目实战(5天)]博客汇总表[详细笔记] 实战项目源码[链接:https://pan.baidu.com/s/1r0Mje3Xnh8x4F1HyG4aQTA 提 ...
【VUE项目实战】59、订单的物流信息查询功能
接上篇<58.订单修改收货地址的功能> 上一篇我们完成了订单列表的修改收货地址功能,本篇我们来实现订单的物流信息查询功能. 一.要实现的效果我们要实现点击操作列的"物流进度&q ...
JAVA项目实战开发电商项目案例（十）订单与支付模块
文章目录 1项目架构 2项目采用技术 3订单与支付模块功能演示 4如何开发支付宝的支付模块以及订单模块 4.1首先需要编写前端页面以及JS文件 4.2其次需要编写JAVA后台接口 4.3支付模块分析 ...

hadoop订单项目实战

hadoop订单项目实战相关推荐

最新文章

热门文章