Lost executor 原因分析及解决方案-记录

Lost executor

node丢失原因：

1、有时候是物理机导致的node暂时丢失，物理机恢复后容器也自己恢复。如io过高

2、另一种就是物理机故障了容器真丢了

异常信息：

1、ERROR cluster.YarnScheduler: Lost executor

2、ERROR client.TransportClient: Failed to send RPC

3、WARN storage.BlockManagerMaster: Failed to remove RDD

4、ERROR cluster.YarnScheduler: Lost executor 1 on 172.18.13.24: Slave lost

原因分析：

1、yarn 资源不够导致

2、节点内存分配少，yarn kill 了spark application

3、RDD太大，导致内存不够

4、网络太差导致

5、Lost executor

解决方案：

1、spark.executor.extraJavaOptions=-XX:MaxPermSize=1024M" --driver-java-options -XX:MaxPermSize=1024m

2、增加executor内存

3、-Dspark.akka.frameSize=10000

Lost executor 原因分析及解决方案-记录相关推荐

我说CMMI 2.0 之：原因分析与解决方案
原因分析与解决方案(CAR)是对选中的现象识别原因,并采取纠正措施或预防措施. 基本的思想: 组织内的好事和坏事都可以做CAR,并非仅仅是对坏事做CAR.可以在计划阶段做CAR,也可以在事情发生后再做 ...
原因分析与解决方案的实战演练
原文地址:案例:原因分析与解决方案的实战演练 2011年12月15日,笔者作为外部咨询顾问参与了客户的一次原因分析与解决方案的分析会议,对整个过程进行了记录: 参与的人员: 外部的咨询顾问 1名 QA ...
oracle 包被锁,Oracle包被锁定的原因分析及解决方案
Oracle包被锁定的原因分析及解决方案在数据库的开发过程中,经常碰到包.存储过程.函数无法编译或编译时会导致PL/SQL 无法响应的问题.碰到这种问题,基本上都要重启数据库解决,严重浪费开发时间. ...
server sql top速度变慢解决方案_SQL查询速度慢的原因分析和解决方案
SQL查询速度慢的原因分析和解决方案查询速度慢的原因很多,常见如下几种: 1.没有索引或者没有用到索引(这是查询慢最常见的问题,是程序设计的缺陷) 2.I/O吞吐量小,形成了瓶颈效应. 3.没有创建 ...
AppStore IPv6-only审核被拒原因分析及解决方案-b
AppStore IPv6-only审核被拒原因分析及解决方案-b 参考文章: (1)AppStore IPv6-only审核被拒原因分析及解决方案-b (2)https://www.cnblogs. ...
linux系统脚本安装失败,ubuntu16.04下vim安装失败的原因分析及解决方案
先给大家说下问题描述? 重装了ubuntu系统,安装vim出现了以下问题: sudo apt-get install vim 正在读取软件包列表... 完成正在分析软件包的依赖关系树正在读取状态信 ...
本机未装Oracle数据库时Navicat for Oracle 报错：Cannot create oci environment 原因分析及解决方案
本机未装Oracle数据库时Navicat for Oracle 报错:Cannot create oci environment 原因分析及解决方案参考文章: (1)本机未装Oracle数据库时N ...
Connection reset原因分析和解决方案
Connection reset原因分析和解决方案参考文章: (1)Connection reset原因分析和解决方案 (2)https://www.cnblogs.com/exmyth/p/820 ...
为什么换了硬盘计算机无法启动,完美的解决方案：更换固态硬盘后无法打开计算机的原因分析和解决方案...
更换SSD固态驱动器后,无法打开计算机的原因分析和解决方案.一些网民首先对自己的计算机反应较慢,然后用SSD固态驱动器代替了硬盘驱动器.他们使用Win8.1系统并正常重启计算机,但是在系统更新之后,打 ...

Lost executor 原因分析及解决方案-记录

Lost executor 原因分析及解决方案-记录相关推荐

最新文章

热门文章