Spark - Spark Submit使用 spark

Spark Submit用于启动集群中的应用程序，他的运行命令跟Spark Shell差不多。

./bin/spark-submit \ --class \ --master \ --deploy-mode \ --conf = \ ... # other options \ [application-arguments]

--class：应用程序的入口
--master：master URL，这个同Spark Shell
application-jar：jar包地址
application-arguments：应用程序入口的参数

其他参数也和Spark Shell差不多，可以通过$SPARK_HOME/bin/spark-submit --help查看。
下面我们用Spark自带的程序来计算Pi。类似的例子可以参考官网

$SPARK_HOME/bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master spark://bigdata01:7077,bigdata03:7077 \ --executor-memory 512m \ --total-executor-cores 2 \ $SPARK_HOME/examples/jars/spark-examples_2.11-2.4.5.jar \ 100

【Spark - Spark Submit使用】运行过程中的web界面，运行时通过http://bigdata01:4040/jobs 访问：

文章图片

运行结果如下：

文章图片

http://bigdata01:8080/可以看到，已经完成了两次Applications，在Completed Applications中还可以看到运行的信息

文章图片

Spark - Spark Submit使用

推荐阅读

凉拌鸡爪——促进骨骼预防高血压

写在静心手触上海课程前

2345智能浏览器怎么更改主页 2345智能浏览器主页如何更改

原来是这些原因为什么有时候手机收不到验证码

吃荔枝上火吗？

西门子新款冰箱系列：科技与品质的好融合，让您的厨房更智能

再见2018，活出精彩2019

清明何止雨纷纷

JS|深拷贝浅拷贝的区别（如何实现一个深拷贝？）

excel2019怎么提供声音反馈

上夜班不可以吃芒果和火龙果芒果不能和什么一起吃

如何设置新买的服务器的映射？新买的服务器怎么映射

图文虞姬是自刎还是被人杀死的，揭秘虞姬死亡的真相

三国志战略版卧薪尝胆战法攻略 S级战法卧薪尝胆简评

机动车怎么审车机动车怎么审

边刑法关于放行偷越国境人员法定量刑档次是怎样

mongodb的坑 mongodb凉了吗

怎么蒸豆包蒸豆包的方法如何蒸酥皮豆包，酥皮包子的做法窍门

2023年10月份重庆多雨吗

违章代码46131是什么意思