spark|spark 2.3 structured streaming 长时间运行内存溢出排查
structured streaming运行一段时间后，就会出现OOM异常，虽然task会重新执行一次，但会导致系统内存监控报警，经过dump线上堆内存，用mat分析后发现一个占用大量内存的HashMap
文章图片
image.png
搜索得知是spark2.3的一个bug，升级到2.4可解决
参考 https://www.cnblogs.com/yy3b2007com/p/10177774.html
【spark|spark 2.3 structured streaming 长时间运行内存溢出排查】
推荐阅读
- Spark|Spark 数据倾斜及其解决方案
- 2017.12.3|2017.12.3 深圳湾看海
- 晨间日记|晨间日记 12.30日
- 1.28-2.3周复盘（1/52）
- Spark--java.util.NoSuchElementException:|Spark--java.util.NoSuchElementException: None.get at at
- 亲子日记第330天
- 12.30日精进
- spark|spark 资源动态释放
- 跨年随想
- 庞大的2.3k补丁系列将缩短|庞大的2.3k补丁系列将缩短 Linux 内核构建时间和解决依赖地狱