sparkSQL行转列，列转行 spark

【sparkSQL行转列，列转行】在用spark进行数据处理过程中，避免不了行转列和列传行的操作，特此记录：
1.列传行：这里举的例子是certificate_id,telephone_number 每个身份证号可能对应多个手机号码

df.createTempView("tmp")val result = sparkSession.sql( """ | select certificate_id,concat_ws(",",collect_set(telephone_num)) as |telephone_num |from tmp |group by certificate_id |""".stripMargin)

这里是把同一个身份证号对应的多条电话号码记录转为一条，电话号码用逗号分隔

2.行转列

//一条数据有多个电话号码转换成多行记录 val row2columnStr = """ |select * from temp_view |lateral view explode(split(telephone_num, ',')) tmpTable as temp_view_new """.stripMargin

这里是把telephone_num字段中有多个用逗号分隔的号码分割，转成多条记录