项目中的那些事|Spark SQL执行多次join后越来越慢,最后出现OOM

目录
背景
项目简介
出现的问题
分析
解决
参考
背景 项目简介 【项目中的那些事|Spark SQL执行多次join后越来越慢,最后出现OOM】Spark 2.4.8版本,主要使用Spark SQL的功能。简单的来说,就是使用sparkSession.sql(sql)来实现的。大致的示例代码如下:

// 1、通过SQL查询待核对的数据,并创建临时视图 Dataset checkDataset = sparkSession.sql(sql); String checkView = "xxx_check_view"; checkDataset.createOrReplaceTempView(checkView); // 2、执行join SQL来关联得到想要的数据 String joinSql =

    推荐阅读