阿里云搭建大数据平台（4）：Yarn配置以及日志聚合以及优化

2024-05-18 16:54:49

一、Yarn基本配置和测试

1.Yarn环境变量

（1）yarn-env.sh

export HADOOP_YARN_USER=/opt/modules/jdk1.8.0_151

（2）mapred-env.sh

export JAVA_HOME=/opt/modules/jdk1.8.0_151

2.修改hadoop/etc/hadoop/mapred-site.xml

指定mapreduce计算模型运行在yarn上

    <property><name>mapreduce.framework.name</name><value>yarn</value></property>

3.修改hadoop/etc/hadoop/yarn-site.xml

（1）指定启动运行mapreduce上的nodemanager的运行服务

 <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

（2）指定resourcemanager主节点机器。可选项，不一定要配置，默认是本机，但是指定了之后在其他机器上启动，就会报错

 <property><name>yarn.resourcemanager.hostname</name><value>hadoop</value></property>

4.启动yarn

 sbin/yarn-daemon.sh start resourcemanagersbin/yarn-daemon.sh start nodemanager

5.测试

（1）web端口

http://hadoop:8088/

（2）运行一个mapreduce的wordcount单词统计案例

先上传文件

bin/hdfs dfs -put /opt/modules/hadoop-2.6.0-cdh5.15.0/etc/hadoop/core-site.xml /

再运行wordcount实例

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.0.jar wordcount /core-site.xml /output

二、日志聚合

1.历史服务器

(1)功能：查看已经运行完成的应用记录

(2)修改mapred-site.xml
指定historyserver的地址，内部和外部通信端口号，如果不指定默认是本机
historyserver是一个轻量级的服务，可以部署在任意一台节点上

 <property><name>mapreduce.jobhistory.address</name><value>hadoop:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop:19888</value>      </property>

2.修改yarn-site.xml

指定开启聚合功能;指定日志存放在HDFS上的时间期限，一般建议3-7天左右，存放在HDFS的/tmp/用户之下

 <property><name>yarn.log-aggregation-enable</name><value>true</value></property><property><name>yarn.log-aggregation.retain-seconds</name><value>106800</value></property>

3.开启jobhistory

sbin/mr-jobhistory-daemon.sh start historyserver

4.开启测试

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh5.15.0.jar wordcount /core-site.xml /output

点击history

结果

三、优化

1.关闭hdfs权限检测

（1）功能：取消HDFS权限检测功能
（2）修改hdfs-site.xml

    <property><name>dfs.permissions.enabled</name><value>false</value></property>

阿里云搭建大数据平台（4）：Yarn配置以及日志聚合以及优化相关推荐

golang 大数据平台_大数据平台是什么？有哪些功能？如何搭建大数据平台？
大数据平台是为了满足企业对于数据的各种要求而产生的. 大数据平台: 是指以处理海量数据存储.计算及不间断流数据实时计算等场景为主的一套基础设施.典型的包括Hadoop系列.Spark.Storm.Fl ...
在阿里云中搭建大数据实验环境
云计算是和自来水一样的商业模式.有了自来水,我们可以不用自己挖井,就可以快速.便捷.廉价地获得水资源.而有了云计算,我们就可以不用自己建机房.买设备.维护系统,就可以快速.便捷.廉价地获得IT资源(C ...
【Workshshop No.3 | Kyligence X 青云QingCloud Workshop】零基础搭建云上大数据平台
7月13日Kyligence 与青云QingCloud 联合举办的"零基础搭建云上大数据平台" Workshop诚邀您参加. Kyligence Cloud 是 Kyligence ...
阿里云发布大数据产品ODPS 6小时处理100PB数据
阿里云发布大数据产品ODPS 6小时处理100PB数据阿里云发布ODPS 可分析PB级海量数据新浪科技讯 7月8日下午消息,阿里云计算发布大数据产品--ODPS.通过ODPS在线服务,小型公 ...
网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。...
免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的 ...
网鱼网咖-利用数加快速搭建大数据平台，极致洞察，为客户带来从所未有的体验。
免费开通大数据服务:https://www.aliyun.com/product/odps "令人惊喜的是,利用阿里云的数加平台,我们差不多一个多月就搭建好了大数据平台,并且可以通过图形化的 ...
数梦工场联手阿里云推出大数据一体机
本文讲的是数梦工场联手阿里云推出大数据一体机[IT168 云计算]8月19日消息,作为全球领先的云计算和大数据场景化开发与服务提供商,数梦工场依托阿里云"飞天"大规模分布式计算系 ...
离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进
简介:阿里云智能研究员林伟 :阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考,使得湖的灵活性.数据种类丰富与仓的可成长性和企业级管理得到有机融合,这是阿里巴巴最佳实践的宝贵资产,是大数据的新一代架 ...
自拍会不会被大数据_不会搭建大数据平台，我被老板优化了...
[51CTO.com原创稿件]随着业务的飞速发展,信息化作为业务的支撑,各个企业都建立了自己的信息化系统. 图片来自 Pexels 在业务增涨过程中,每个企业不知不觉积累积累了一些数据.无论数据是多是 ...
CloudEon云原生大数据平台
文章目录 @[toc] 1. CloudEon是什么? 2. gitHub地址和官网地址 3. 官网教程 4. 特性 5. 架构 6. 支持组件版本 7. 安装部署 7.1 部署前提 7.1.1 Ku ...

最新文章

热门文章