sparklaunch提交任务自定义控制台输出 【sparklaunch提交任务自定义控制台输出】SparkLauncher是spark用于提交spark作业的一个api，SparkLauncher提交作业也是根据输入的参数创建相应的spark-submit命令来提交作业
文章图片
SparkLauncher默认使用OutputRedirector输出命令执行情况，该类是一个私有类，SparkLauncher并没有提供相应的支持接口来重定向打印信息。所以要先把OutputRedirector定义为共有得，然后继承该类，重写方法
文章图片
我创建一个websocket用来发送日志得，可以用作bs架构和cs架构中，多源推送打印信息。
文章图片
然后把输出结果重定向到自定义得类，在启动SparkLauncher之前设置一下
文章图片
修改一下SparkLauncher得代码，打包即可使用
推荐阅读
- spark|spark UDAF根据某列去重求合 distinct sum
- 大数据|spark UDAF 自定义聚合函数 UserDefinedAggregateFunction 带条件的去重操作
- Spark 写入 MySQL 乱码问题
- SCD|一种基于SparkSQL的Hive数据仓库拉链表缓慢变化维（SCD2+SCD1）的示例实现
- spark算子--action篇
- 大数据|Spark调优解决方案（一）之提交任务时合理分配资源
- spark|spark2.1 新特性
- Spark Aggregate算子