问题分析报告--压力环境下运行缓慢
1、问题描述
1.1 基本信息[Basic Information]
- 集群规模:37+3台物理机,每台128G内存;CPU:2*16C;SATA磁盘,2T*12
- hadoop社区版本:**
- 商业版本:FusionInsight_HD_V100R002C60U10
- MetaStore:高斯数据库(Postgresql)
1.2 问题描述[Problem Description]
- 10月26号出现大规模任务积压。跑批任务执行缓慢;
2、问题分析[Problem Analysis]
2.1 问题背景
出现运行慢包含如下两个问题:
1. 打开Yarn的任务日志页面,发现有大量的任务启动,但无法执行。每个任务使用的container均是1个。
2. 运行中的部分任务,比平时多消耗大约一到两分钟。
2.2 日志分析
问题1:
出现该现象,是因为AM配置的资源百分比为0.6,导致每个队列的百分之六十的资源都消耗在AM启动上。
关于AM配置资源百分比参数(maximum-am-resource-percent)的说明:
该参数是指,AM可以使用队列的资源配比。在mapreduce架构中。如果需要启动一个任务,就需要启动一个AM(Application Master)负责该任务的管理。 然后AM向ResourceManager申请队列资源,将任务拆分成多个执行子任务map和reduce。AM并不负责任务的计算,只负责子任务的分配、监控,调度。
从问题的情况来看,由于该参数配置值为0.6。在大规模任务执行时,将出现多个任务均处于AM启动状态(百分之60资源),但是由于剩余执行子任务计算的资源只剩余40%。整体任务计算缓慢。
该参数在出厂设置值是0.1,修改成出厂默认值之后,大规模任务下整体时间有显著减少。
问题二:从日志分析,发现部分map、reduce任务启动时间较长。但执行时间短。通过jstack线程栈分析,发现执行操作系统命令执行缓慢。通过检查发现,在redhat6.5下触发了操作系统的bug。
详情请参看<XXXX>
3、根本原因[Root Cause]
本问题主要包括两个方面:
- AM可以使用队列的资源配比参数配置不合理;
- 操作系统问题导致性能下降。
4、解决措施[Corrective Action]
4.1 最终解决措施[Solution]
- 修改参数maximum-am-resource-percent 为0.1。
- 修改操作系统参数
- 步骤1. echo "vm.zone_reclaim_mode = 0" >> /etc/sysctl.conf
- 步骤2. sysctl -p
问题分析报告--压力环境下运行缓慢相关推荐
- 突破效率边界,深度分析新医疗环境下医美机构智能化营销之道
一.什么是智能化营销? 快商通认为,智能化营销是通过智能工具.以及大数据.人工智能等新技术,将机构各营销环节效率推动至最大化边界.具体是将智能化手段和技术赋能到机构营销的四大环节中:[管理节点设置]. ...
- linux如何运行java程序,Linux环境下运行简单java程序
一.安装java 1.下载jdk8 选择对应jdk版本下载.(Tips:可在Windows下载完成后,通过FTP或者SSH到发送到Linux上) 2. 登录Linux,切换到root用户 su roo ...
- win10环境下 运行debug程序
百度网盘:链接:https://pan.baidu.com/s/1y6omgW6fI-gT3Dp-0hutOg 提取码:iw4l CSDN0积分下载:https://download.csdn. ...
- sublime text3 怎么配置、运行python_【IT专家】Sublime Text3配置在可交互环境下运行python快捷键...
本文由我司收集整编,推荐下载,如有疑问,请与我司联系 Sublime Text3 配置在可交互环境下运行 python 快捷键 2015/06/04 19131 安装插件 在 Sublime Text ...
- 成功解决Windows10环境下运行Linux系统下的.sh文件
成功解决Windows10环境下运行Linux系统下的.sh文件 目录 解决问题 解决方法 解决问题 Windows10环境下运行Linux系统下的.sh文件 解决方法 .sh是shell scrip ...
- KDE应用如何在GNOME环境下运行?
KDE应用如何在GNOME环境下运行? 2014/03/19 | 分类: IT技术 | 0 条评论 | 标签: GNOME, KDE 分享到:1 本文由 伯乐在线 - honpey 翻译自 howto ...
- 关于Fiori MyAccount无法在standalone环境下运行的问题
Sent: Tuesday, 8 September, 2015 7:35 PM 首先说昨天遇到的offlineInterface.js在standalone下运行无法加载的问题.我们在本地run a ...
- 关于MyAccount无法在standalone环境下运行的问题
Sent: Tuesday, 8 September, 2015 7:35 PM 首先说昨天遇到的offlineInterface.js在standalone下运行无法加载的问题.我们在本地run a ...
- MySQL在Docker环境下运行基础
墨墨导读:MySQL在Docker环境下运行的基础操作,本文从Docker介绍.安装Docker.MySQL安装部署几个方面展开介绍. 另:墨天轮邀请到原厂专家直播解析MySQL的性能管理,欢迎大家报 ...
最新文章
- 计算机网络:分组交换
- zabbix安装与使用
- Laravel 中的环境与配置
- html超链接点不了_HTML、CSS、JS都有哪些区别?不看必悔
- [转]2020年4月github上最热门项目-python
- Metasequoia 4 for Mac(3D建模)
- 高性能的MySQL(8)优化服务器配置一安全与稳定
- 手机mstsc远程工具_手机远程连接服务器工具:RD client远程桌面使用教程
- 台达b3伺服参数设置方法_台达B2系列伺服电机的调试方法和注意事项
- 基础面试题:JSP和Servlet
- iOS 多媒体(一)音频播放
- 南开100题C语言(001-010)
- 高校创新英语挑战活动策划方案
- java 文件 上传 下载
- 简单几步设置电脑动态换ip
- 20本必读的用户体验书目
- mysql授权连接_MySQL 连接认证授权步骤
- 网易免费企业邮箱找回密码(翻山越岭)
- docker container的操作
- ACRush 楼天成回忆录 (与所有ACMer共勉!!)
热门文章
- 推荐算法(四)——经典模型 DeepFM 模型详解及代码实践
- 优盘不认,无法识别的情况下,如何修复问题
- 今生愿托乔木,伴你长青
- 零度之下代码输入不了_鸿图之下礼包码领取方法 新手开荒攻略保护器详解
- 使用midjourney搞出一套三国人物画像!
- sql_递归sql_explan详情
- 升级ingress-nginx-controller的nginx版本
- python库的作用与用途_Python 中 absl 库的用途
- 【SQL】 delete update中使用inner join
- linux+vi+打开指定行,vim技巧:打开文件跳转到指定行,关闭所有文件,记住打开的文件...