spark读写kudu
package sparkUtilimport org.apache.kudu.spark.kudu.KuduContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSessionobject SparkKudu {
//kuduMasters and tableName
val kuduMasters = "node1:7051"
val tableName = "person"def main(args: Array[String]): Unit = {
val conf = new SparkConf()
conf.setAppName("SparkKudu ")
conf.setMaster("local")
val option = Map("kudu.master" -> kuduMasters, "kudu.table" -> tableName)
val sparkSession = SparkSession.builder().config(conf).getOrCreate()
val kc = new KuduContext(kuduMasters, sparkSession.sparkContext)//write and read kudu
val DataFrame = sparkSession.read.format("org.apache.kudu.spark.kudu").options(option).load()
kc.updateRows(DataFrame, tableName)sparkSession.close()
}
}
【spark读写kudu】
推荐阅读
- Spark|Spark 数据倾斜及其解决方案
- 我用我的坚持来推动读写
- HDFS读写数据流
- 2018年6月25日+06号蒋昕妍+《卓有成效的管理者》第五章+21天阅读写作自律计划
- 2018年7月10日+20号water+最美的教育最简单+21天阅读写作自律计划
- 鲤鱼跃龙门&心灵读写(第260天)
- java文件读写操作实例详解
- python文件读写(二)-rar|python文件读写(二)-rar, zip,tar, gz压缩,解压缩文件
- Spark--java.util.NoSuchElementException:|Spark--java.util.NoSuchElementException: None.get at at
- Java|图解四大IO模型与原理