RDD依赖关系
【RDD依赖关系】RDD和它依赖的父RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。
一般有shuffle过程即宽依赖,无shuffle过程就窄依赖但是窄依赖也有可能产生数据在网络传输。
文章图片
2.1、窄依赖 窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用任务可以在本地执行,不需要shuffle。
文章图片
常见算子:map flatmap filter union sample
2.2、宽依赖 宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition;除非父RDD是hash-partitioned, 需要shuffle。
文章图片
常见算子:groupByKey reduceByKey sortByKey join cartesian
推荐阅读
- 装聋作哑,关系融洽
- 带有Hilt的Android上的依赖注入
- 关系问句
- 异性同事关系再好,一旦做了这5件事,就是想0距离接触
- 一般模型化关系——从模型是什么到如何起作用的基本答案
- R语言迹检验协整关系式_使用R语言进行协整关系检验
- Vue源码分析—响应式原理(二)
- 只要你不停止,走慢一点没关系――我的2018
- 家是怎么伤害人的!
- 不会PS没关系,用Word更换证件照背景色只要30秒!