Eclipse远程调试Spark Eclipse远程调试Spark

修改配置文件修改${spark_home}/bin/spark-class文件：

"$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888 "$@"

文章图片
这里写图片描述参数说明：

-Xdebug 启用调试特性
-Xrunjdwp 启用JDWP实现，包含若干子选项：
transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
address=8888 JVM在8888端口上监听请求，这个设定为一个不冲突的端口即可。
server=y
y表示启动的JVM是被调试者。如果为n，则表示启动的JVM是调试器。
suspend=y y表示启动的JVM会暂停等待，直到调试器连接上才继续执行。suspend=n，则JVM不会暂停等待。

启动Spark Application 用eclipse将项目export出jar包，传到集群上使用spark-submit提交Application，可以看到在等待：

文章图片
这里写图片描述注意，传到集群上的代码要和本地一样！
在Eclipse设置远程调试的ip和port

Debug as
Debug Configurations
Remote Java Application
【Eclipse远程调试Spark】配置ip和port

文章图片
这里写图片描述

Eclipse远程调试Spark

推荐阅读

什么是职场？

百日练，一百天读一百本书，打卡第9天，《你只是看上去很努力》35分钟，理解50%，2000/分钟

空调主机跟遥控器显示温度不同步是怎么回事新科柜机空调不制冷调节温度显示不同步

等闲识得东风面中的东风是什么意思等闲识得东风面释义

redis 集合的底层实现 redis集合存bean

Java中关于Collections集合工具类的详细介绍

福州贵安水世界好玩吗 2023福州贵安水世界门票多少钱一张

蜗居背景音乐歌词蜗居背景音乐歌词翻译

甘肃所有大学名单甘肃省大学排名

雷殿生名字打分99分雷王姓取名

python|python 的生产者和消费者模式

quiet怎么读 quiet怎么造句

龙眼肉罐头做法新鲜的龙眼肉怎么做罐头

海藻面膜敷多长时间好

mysql my.cnf配置模板参考

苹果扣费怎么退 iPhone扣费怎么退款

你认为孤独的根源是什么？

减肥期间,有哪些做起来简单又好吃的减肥食谱？

创维55寸4k智能电视多少钱一台哪个电视牌子好

二甲双胍|糖尿病天天吃二甲双胍，请花5分钟弄清这6个注意事项，很重要