Eclipse远程调试Spark Eclipse远程调试Spark

修改配置文件修改${spark_home}/bin/spark-class文件：

"$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888 "$@"

文章图片
这里写图片描述参数说明：

-Xdebug 启用调试特性
-Xrunjdwp 启用JDWP实现，包含若干子选项：
transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8888 JVM在8888端口上监听请求，这个设定为一个不冲突的端口即可。
server=y
y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。
suspend=y y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。suspend=n，则JVM不会暂停等待。

启动Spark Application 用eclipse将项目export出jar包，传到集群上使用spark-submit提交Application，可以看到在等待：

文章图片
这里写图片描述注意，传到集群上的代码要和本地一样！
在Eclipse设置远程调试的ip和port

Debug as
Debug Configurations
Remote Java Application
【Eclipse远程调试Spark】配置ip和port

文章图片
这里写图片描述

Eclipse远程调试Spark

推荐阅读

直通车恶意点击怎么办？直通车恶意点击器

绿萝使用什么花肥

小臂肌肉怎样锻炼呢？

2018年3月26日，星期一，伍哥读报时间

全身灰色的猫是什么猫

oppor7手机nfc功能在哪里 oppor7手机分屏怎么弄出来

圆条和正圈有什么区别

2023年南宁市清华园幼儿园招生简章图片 2023年南宁市清华园幼儿园招生简章

学习的名言名句学习的名言名句有哪些

VVC防晒帽（防晒喷雾逼停列车（真相原来是这样））

党参不适合哪些人吃

厕所的水和厨房的水是一个水吗

高中信息技术会考python，浙江高中今年下半年开始信息技术有用新教材python吗

佳能200d像素怎么样佳能200d相机本身照片质量

肺活量低的人怎么长跑长跑如何加量，肺活量低和长跑的关系

realmex是谁家的（realmex是哪家的）

佳能5d3用配闪光灯吗怎么设置佳能5d3用配闪光灯吗

荣耀8xmax三指下滑截屏怎么弄？具体设置操作教程分享

主成分分析适用情况,煤的成分分析基数及适用条件

白茶隔夜能喝吗