Spark - Spark Submit使用 spark

Spark Submit用于启动集群中的应用程序，他的运行命令跟Spark Shell差不多。

./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments]

--class：应用程序的入口
--master：master URL，这个同Spark Shell
application-jar：jar包地址
application-arguments：应用程序入口的参数

其他参数也和Spark Shell差不多，可以通过$SPARK_HOME/bin/spark-submit --help查看。
下面我们用Spark自带的程序来计算Pi。类似的例子可以参考官网

$SPARK_HOME/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://bigdata01:7077,bigdata03:7077 \ --executor-memory 512m \ --total-executor-cores 2 \ $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar \ 100

【Spark - Spark Submit使用】运行过程中的web界面，运行时通过http://bigdata01:4040/jobs 访问：

文章图片

运行结果如下：

文章图片

http://bigdata01:8080/可以看到，已经完成了两次Applications，在Completed Applications中还可以看到运行的信息

文章图片

Spark - Spark Submit使用

推荐阅读

脚趾甲砸了一个月可以洗澡吗

C++|C++ std::shared_mutex读写锁的使用

轮胎怎么看正反面

介绍予盾是什么意思

京津冀拼音京津冀怎么读

m三款高配低价的手机，既好看又实用，坚持几年没问题

回避的方式及法定事由有哪些？

黑啤是黑色的吗为什么？黑啤与普通啤酒的区别？

芦荟掰下来怎么生根芦荟小芽没根还能活不

炕羊排的制作方法

三车追尾最后一辆车有没有责任

四川大学华西医院|以色列舍巴医学中心与华西医院签署谅解备忘录，将建姊妹医院

历史上孙策厉害吗，东汉诸侯孙策的简介生平介绍

打底衫和毛衣的区别是什么

年假一般什么时候放拼多多电商什么时候放年假，电商公司年假一般是几天

最新发布的5G旗舰手机荣耀V30值不值得买？

左手中指戴戒指啥意思呢左手中指戴戒指啥意思呢男

违反诫命者的刑罚(三)

火焰山取暖炉售后电话,火焰山取暖炉售后电话是多少

DD13是什么材质 dd13是什么材质