【Hadoop】MapReduce的配置 ---配置历史服务器

下面介绍MapReduce的配置

相关介绍：并行计算框架（2.X），思想：分而治之

核心： Map：并行处理数据，将数据分割，一部分一部分的处理

Reduce：将Map的处理结果进行合并。

配置

cd {Hadoop_home}/etc/hadoop

cp mapred-site.xml.template mapred-site.xml

因为Hadoop里面没有mapred-site.xml文件，所以这里需要复制一个mapred-site.xml.template将名字改为

mapred-site.xml即可配置

配置

内容

<name>mapreduce.framework.name</name>

</property>

网站：

http://hadoop.apache.org/docs/r2.7.6/hadoop-project-dist/hadoop-common/SingleCluster.html （配置文件）

mapreduce程序运行在YARN上

通过经典程序案例，wordcount，Hadoop测试案例，就需要查看是否存在下面这个jar包

/opt/modules/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar

-》准备数据，数据是放到hdfs上

-》提交运行

bin/yarn jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /datas/input.data /output1

执行这个命令需要传两个参数，一个需要要统计的文件/目录一个是统计之后需要输出的目录/文件

修改mapred-site.xml

查看Hadoop的jar包

统计单词数

配置历史服务器

查看监听已经运行完成的MapReduce任务的执行情况

配置的文件	配置内容
配置 mapred-site.xml	<!--配置历史服务器--> <property> <name>mapreduce.jobhistory.address</name> <value>bigdata-hpsk01.huadian.com:10020</value> </property>
启动	sbin/mr-jobhistory-daemon.sh start historyserver
注意	在启动historyServer服务之前运行的job相关信息已经没了，只有后面运行的才有。

日志集聚功能

当MapReduce程序在YARN上运行完成之后，将产生日志文件上传到HDFS目录中，以便后续查看。

需配置的文件

配置的内容

配置：

yarn-site.xml

<name>yarn.log-aggregation-enable</name>

</property>

<name>yarn.log-aggregation.retain-seconds</name>

</property>

重启YARN和jobHistoryServer

--快照，克隆

日志文件信息的查看

{Hadoop_home}/logs 组件名称-用户名-服务名称-主机名 hadoop-huadian-datanode-bigdata-hpsk01.huadian.com.log
命令（根据后缀名）	解释
.log	程序启动相关信息会在里面，进程启动失败
.out	程序运行相关的输出 system.out.print system.out.error
查看	tail -100f name

查看日志

查看具体的日志

以上是具体的配置过程，下一张将会介绍在配置过程中出现的问题。

【Hadoop】MapReduce的配置 ---配置历史服务器相关推荐

Hadoop——MapReduce相关eclipse配置及Api调用(图文超详细版)(内含遇到错误的解决方法)
一.前情提要前面两篇文章我们已经成功搭建了Hadoop以及安装了Hive,Sqoop和Mysql数据库,现在我们就来利用Hadoop尝试做一个小实战,实现单词统计! 还没有搭建Hadoop成功的同学 ...
Hadoop学习笔记-基本操作、历史服务器和log汇总
接上篇基本操作上传文件首先创建目录 [zyi@h102 sbin]$ hadoop fs -mkdir /input 在Hadoop:http://h102:9870查看上传文件: [zyi@ ...
Hadoop mapreduce课程设计-全球历史平均气温数据分析
文章目录前言一.工具介绍二.mapreduce数据处理 1.数据集准备 2.要求:对不同洲的平均温度处理--得到各大洲的平均温度 2.1 mapper阶段 2.2 reduce阶段 2.3 分区 ...
Hadoop + MapReduce 端口自定义配置
2019独角兽企业重金招聘Python工程师标准>>> 查看端口占用: netstat –apn | grep 8080 core-site.xml <?xml-stylesh ...
hadoop—集群配置历史服务器及访问历史服务器日志
Hadoop历史服务器 Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map.用了多少个Reduce.作业提交时间.作业启动时间.作业 ...
Hadoop基础-配置历史服务器
Hadoop基础-配置历史服务器作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比 ...
Hadoop配置历史服务器、日志聚集、常用端口号(2.x/3.x)
历史服务器为了查看程序的历史运行情况,需要配置一下历史服务器. 首先在NameNode配置mapred-site.xml <property> <name>mapreduce ...
Hadoop jobhistory历史服务器
2019独角兽企业重金招聘Python工程师标准>>> Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map.用了多少 ...
大数据之-Hadoop伪分布式_配置日志聚集---大数据之hadoop工作笔记0028
上一节我们配置了执行MapReduce程序后的,我们希望显示我们执行的MapReduce程序的详细信息, 所以我们配置了,历史服务器,接下来为了显示我们MapReduce程序执行中的,更详细的信息,我 ...

【Hadoop】MapReduce的配置 ---配置历史服务器

【Hadoop】MapReduce的配置 ---配置历史服务器相关推荐

最新文章

热门文章