sparksql代码执行过于缓慢
最近服务器状态不佳,oracle有时性能较差,运行sparksql向oracle中存数据时运行超级缓慢,开始还特意排查代码找错,最终换了一个oracle数据库做实验发现整个流程在几秒内非常顺利的完成了,可见oracle性能对sparksql执行速度影响巨大,特此记录此次事件。
以下是运行时部分日志,可以看到每执行1/200的进度要30000ms,整个预计要200*30=6000秒才能完毕。。。。。。
2019-03-15 15:11:51 INFOTaskSetManager:54 - Finished task 2.0 in stage 1.0 (TID 3) in 30618 ms on localhost (executor driver) (3/200)
2019-03-15 15:11:51 INFOShuffleBlockFetcherIterator:54 - Getting 0 non-empty blocks out of 1 blocks
2019-03-15 15:11:51 INFOShuffleBlockFetcherIterator:54 - Started 0 remote fetches in 1 ms
2019-03-15 15:12:22 WARNJdbcUtils:66 - Requested isolation level 1 is not supported;
falling back to default isolation level 2
2019-03-15 15:12:22 INFOExecutor:54 - Finished task 3.0 in stage 1.0 (TID 4). 2524 bytes result sent to driver
2019-03-15 15:12:22 INFOTaskSetManager:54 - Starting task 4.0 in stage 1.0 (TID 5, localhost, executor driver, partition 4, PROCESS_LOCAL, 7754 bytes)
2019-03-15 15:12:22 INFOExecutor:54 - Running task 4.0 in stage 1.0 (TID 5)
【sparksql代码执行过于缓慢】
推荐阅读
- CVE-2020-16898|CVE-2020-16898 TCP/IP远程代码执行漏洞
- 不废话,代码实践带你掌握|不废话,代码实践带你掌握 强缓存、协商缓存!
- 工具|后天就是七夕节,你准备好了吗(送上几个七夕代码,展示你技能的时候到了!)
- 字符串拼接成段落,换行符(\n)如何只执行n-1次
- 《机器学习实战》高清中文版PDF英文版PDF+源代码下载
- 霍兰德职业代码对照表
- Hexo代码块前后空白行问题
- 前端代码|前端代码 返回顶部 backToTop
- 11-代码注入
- 代码不规范容易造成的bug