spark集群启动正常，但是提交任务后只有一个节点(slave/worker)参与集群计算

#-----------------------------环境如下----------------------------------------------------

台式机hostname:Desktop

笔记本hostname:Laptop

#---------------------------------------------------------------------------------

台式机jps:

13698 JobHistoryServer
11043 HistoryServer
22436 ExecutorLauncher
10789 Master
8392 NameNode
18602 SparkSubmit
10954 Worker
8571 DataNode
8795 SecondaryNameNode
17275 ResourceManager
24140 Jps
17550 NodeManager

笔记本jps

17668 DataNode
24279 Worker
1149 Jps
909 CoarseGrainedExecutorBackend
910 CoarseGrainedExecutorBackend
28991 NodeManager

注意首先确保上面加粗的全部启动，非加粗的有些是提交任务后出现的，在启动检查这一部分可以忽略

#---------------------------------------------------------------------------------

问题如下:

启动集群log中没有报错，

提交spark任务没有报错。

但是web UI只有Desktop在工作，Laptop不工作，这是咋回事呢？

#--------------------------------------------------------------------------------

经过网友的指点:

打开master:8088/cluster/scheduler,下面的图形不准确哈，看下绿条是否是100%了，

如果是的话，表明资源耗尽,解决方案:

$HADOOP_HOME/etc/hadoop/yarn-site.xml中

<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>1500</value>
</property>

上面这个绿色进度条所表示的队列的总长度是Memory Total

绿色进度条所表示的每个节点占据的内存可以在http://master:8088/cluster/nodes中看到,如下:

当上图中的Desktop(master)超过Memory Total时，就会发生"所有节点都启动，但是只有一个节点实际参与计算"的现象。

同理可以扩展到:

当上图中的少量节点的Mem Used之和超过Memory Total时，就会发生"所有节点都启动，但是只有部分节点实际参与计算"的现象。

Reference:

[1]Yarn的WEB UI的详细说明

spark集群启动正常，但是提交任务后只有一个节点(slave/worker)参与集群计算相关推荐

GBase8s Informix Dodker 高可用集群自恢复集群启动命令oninitdb的设计与实现
自恢复集群启动命令oninitdb的设计与实现: 出发点解决gbase8s集群在莫节点宕机后,拉起数据库不能自动恢复集群的问题. 解题思路用oninitdb命令替代oninit命令创建gbase ...
spark源码分析之Executor启动与任务提交篇
任务提交流程概述在阐明了Spark的Master的启动流程与Worker启动流程.接下继续执行的就是Worker上的Executor进程了,本文继续分析整个Executor的启动与任务提交流程 S ...
真实HDFS集群启动后master的jps没有DataNode
环境: 台式机和笔记本搭建的真实分布式HDFS集群(因为是两台,所以对于Spark集群而言是伪分布式) 故障: 笔记本和台式机组建的集群,在仔细核对各种教程后,发现master的jps中总是没有dat ...
Spark集群 + Akka + Kafka + Scala 开发(2) : 开发一个Spark应用
前言在Spark集群 + Akka + Kafka + Scala 开发(1) : 配置开发环境,我们已经部署好了一个Spark的开发环境. 本文的目标是写一个Spark应用,并可以在集群中测试. ...
Flink 集群启动流程
MiniCluster的启动流程: 首先来看最简单的本地模式MiniCluster的启动流程,以此来分析Flink的具体启动流程以及内部各组件之间的交互形式.MiniCluster可以看做是内嵌的Fl ...
转载：oracle RAC集群启动和关闭
http://www.cnblogs.com/yhfssp/p/8184761.html oracle 11G RAC集群启动和关闭: 1.停止数据库 $srvctl stop database –d ...
[异常笔记] zookeeper集群启动异常： Cannot open channel to 2 at election address ……
[异常笔记] zookeeper集群启动异常: Cannot open channel to 2 at election address -- 参考文章: (1)[异常笔记] zookeeper集群启 ...
已解决：k8s集群启动后，默认创建哪些namespace?
1.k8s集群启动后会创建如下namespace [root@master ~]# kubectl get namespace NAME STATUS AGE default Active 45h # ...
学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控
五.Hadoop配置参数介绍 Hadoop集群配置文件主要有: 它们的默认参数配置可以看: core-default.xml :https://hadoop.apache.org/docs/stabl ...

spark集群启动正常，但是提交任务后只有一个节点(slave/worker)参与集群计算

spark集群启动正常，但是提交任务后只有一个节点(slave/worker)参与集群计算相关推荐

最新文章

热门文章