Spark读取kudu，将Row类型Rdd转成其它类型
import org.apache.kudu.spark.kudu.KuduContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSessionimport scala.collection.mutable.ArrayBufferobject Spark_kudu {val kuduMasters = "192.168.1.102:7051"
val tableName = "people"def main(args: Array[String]): Unit = {
val conf = new SparkConf()
val option = Map("kudu.master" -> kuduMasters, "kudu.table" -> tableName)
val spark = SparkSession.builder().appName("KuduApp").master("local[*]").config(conf).getOrCreate()
val kc = new KuduContext(kuduMasters, spark.sparkContext)
val buffer: ArrayBuffer[String] = ArrayBuffer()
val peerinfoDF = spark.read.options(option).format("kudu")
.load().select("id", "gender"，"name")
.where("gender = 1")
.rdd
.map(row=>{
row.getAs[String]("id")//将本来获取到的Row类型转成了String类型
row.getAs[Int]("gender")//将本来获取到的Row类型转成了int类型
row.getAs("name")//没有指定获取的类型，所以得到Row类型
}).collect()spark.close()
}
}
【Spark读取kudu，将Row类型Rdd转成其它类型】
推荐阅读
- Spark|Spark 数据倾斜及其解决方案
- ExcelPackage读取写入
- springboot中.yml文件的值无法读取的问题及解决
- C#（App.config读取自定义节点，未能加载文件或程序集）
- python|读取多个子文件夹中的多张图片
- iOS读取各种设备信息
- Spark--java.util.NoSuchElementException:|Spark--java.util.NoSuchElementException: None.get at at
- Pandas批量读取csv文件数据存入到Mysql中
- spark|spark 资源动态释放
- 用 logstash 从 kafka 读取数据写入 Elasticsearch（qbit）