spark debug远程调试

1.修改spark-env.sh

export SPARK_MASTER_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=10000"

插入以上代码

2.启动spark集群，此时输入jps会出现

[root@master sbin]# jps

17394 Jps

16956 -- main class information unavailable

这是正常的

3.配置idea远程调试

由于配置文件中配置的10000端口，所以这里也是10000端口

4.double click shift

搜索Master（spark包中）类，在Master类中打断点，然后debug spark，

就自动到断点处，此时jps在服务器上的显示为

[root@master ~]# jps

17962 Jps

16956 Master

以上是master调试过程，worker调试过程类似

转载于:https://www.cnblogs.com/zhangweilun/p/6616874.html

spark debug远程调试相关推荐

Spark远程调试+页面监控--用最熟悉的方式开发Spark应用
大家好. 我是楼兰,持续分享最纯粹的技术内容. 大数据技术已经大行其道,但是很多人对大数据组件依然会觉得很陌生,很不顺手.对大部分人来说,环境部署.API使用其实问题都不大,技术人员最不欠缺的 ...
vscode 调试python 无法连接远程服务器_vscode 远程调试python的方法
此文介绍了vscode 远程调试python的方法,分享给大伙,具有如下: 实验环境远程服务器:京东云,1核2G,centos7.3 64bit 本地环境配置安装vscode,实验用的版本是1.1 ...
vscode python 远程调试_vscode 远程调试python的方法
vscode 远程调试python的方法发布时间:2019-10-14 15:32 来源:互联网当前栏目:web技术类本文介绍了vscode 远程调试python的方法,分享给大家,具有如下: ...
idea远程调试 spark
本地调试远端集群运行的spark项目,当spark项目在集群上报错,但是本地又查不出问题时,最好的方式就是调试一步一步跟踪代码.但是在集群上的代码又不能像本地一样的调试.那么就试试这个调试方法吧. 远 ...
Linux下Debug模式启动Tomcat进行远程调试
J2EE开发各类资源下载清单, 史上最全IT资源,点击进入! 一．应用场景在实际的测试过程中,可能会遇到由于程序执行的不间断性,我们无法构造测试场景来验证某个功能的正确性,只有通过代码 ...
Java Remote Debug（远程调试）
Java Remote Debug(远程调试) 作者: ytfei 日期: 2011 年 05 月 08 日发表评论 (0) 查看评论新接手的项目采用的是Maven作为编译管理工具,项目内容则是按 ...
Spark远程调试配置，在IDEA中的配置
关于Spark集群部署参考:http://blog.csdn.net/tototuzuoquan/article/details/74481570 一.Spark远程调试配置: #调试Master,在 ...
Pycharm远程调试之ssh remote debug(二）
Pycharm远程调试之ssh remote debug (一) 上一篇我们讲了怎么去初步创建一个远程debug的工程,这篇我们来更深一下,讲一下当我们要修改Interperter时要怎么做. 1.创 ...
tomcat远程调试_docker容器远程debug（Tomcat）
前言在部署tomcat项目时,项目部署好一会出现问题,我们只能通过日志的方式查看错误信息,很难找到真正错误的地方.docker对这个问题做了解决,通过docker部署tomcat项目,随后添加命令开 ...

spark debug远程调试

spark debug远程调试相关推荐

最新文章

热门文章