丈夫志四海,万里犹比邻。这篇文章主要讲述scala mapPartitionsWithIndex函数的使用相关的知识,希望能为你提供帮助。
var rdd1=sc.makeRDD(Array((1,"A"),(2,"B"),(3,"C"),(4,"D")),2)
rdd1.partitions.size
res20:int=2
rdd1.mapPartitionsWithIndex{
(partIdx,iter)=>
{
var part_map=scala.collection.mutable.Map[string,List[(Int,String)]]()
while(iter.hasNext)
{
var part_name="part_"+partIdx;
var elem=iter.next();
【scala mapPartitionsWithIndex函数的使用】
if(part_map.contains(part_name)){
var elems=part_map(part_name)
elems::=elem
part_map(part_name)=elems
} else{
part_map(part_name)=List[(Int,String)]{elem}
}
}
part_map.iterator
}}.collect
推荐阅读
- 通用 mapper
- 你听说过这么简便的APP开发平台吗?
- G1 GC日志:Application time: 0.8766273 seconds
- android 欢迎界面的制作
- Android Studio版本间区别
- new AnnotationConfigApplicationContext(MyBean.class)时,发生了什么()
- 愉快的管理你的虚拟环境(virtualenvwrapper)
- Mac下布置appium环境
- [转组第2天] | baby_mips和android xss的调研