Spark - Spark Submit使用 spark

Spark Submit用于启动集群中的应用程序，他的运行命令跟Spark Shell差不多。

./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments]

--class：应用程序的入口
--master：master URL，这个同Spark Shell
application-jar：jar包地址
application-arguments：应用程序入口的参数

其他参数也和Spark Shell差不多，可以通过$SPARK_HOME/bin/spark-submit --help查看。
下面我们用Spark自带的程序来计算Pi。类似的例子可以参考官网

$SPARK_HOME/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://bigdata01:7077,bigdata03:7077 \ --executor-memory 512m \ --total-executor-cores 2 \ $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar \ 100

【Spark - Spark Submit使用】运行过程中的web界面，运行时通过http://bigdata01:4040/jobs 访问：

文章图片

运行结果如下：

文章图片

http://bigdata01:8080/可以看到，已经完成了两次Applications，在Completed Applications中还可以看到运行的信息

文章图片

Spark - Spark Submit使用

推荐阅读

哪里有最新搞笑图片和视频素材,有没有什么好的原创工具？

多给家人吃的营养菜，健康美味，开胃健脾，营养价值非常高

方差分析的p值范围

八仙指的是谁八仙指的是谁有哪些人物

描写夏天的诗句

运动会加油稿最新怎么写运动会加油稿

吉林省敦化市经济排名敦化市好吗

家庭变故一般指什么

青岛暖气几月开始几月结束青岛暖气开始结束的时间

藏红花最佳饮用时间

云上的

弗朗西斯全明星首发约基奇几次全明星首发

直播带货传播学分析，网络带货直播的传播现象

明天695特点特征，附简介

茶叶蛋能一直泡着吗怎么泡茶叶蛋能一直泡着吗

u盘系统没有鼠标怎么，u盘启动没有鼠标键盘

兔波氏杆菌病症状寒冬养兔谨防波氏杆菌病

鄄城的名胜古迹

马铃薯表皮龟裂的原因及预防措施有哪些马铃薯表皮龟裂的原因及预防措施

哪些相机用蔡司镜头佳能用蔡司镜头