Spark之wordcount程序原理深度剖析
wordCount源码：
/**
*
*
* @author Sunny
* @version 1.0
* @CreateDate 2018-03-03 10:19
* @see com.spark.ruizhe
*/
object WordCount {
def main(args: Array[String]): Unit = {
val sparkConf = new SparkConf().setAppName("WorldCount").setMaster("local")
val sparkContext = new SparkContext(sparkConf)
val lines = sparkContext.textFile("E:\\workspace\\workspace_spark\\workspace_spark_scala\\test.txt")
val words = lines.flatMap(line => line.split(" "))
val pairs = words.map(word => (word, 1))
val wordsCount = pairs.reduceByKey(_ + _)
wordsCount.foreach(tuple => println(tuple._1 + " appears " + tuple._2 + " times"))
println("finished!!")
}
}
【Spark之wordcount程序原理深度剖析】深度分析如图：
文章图片
image.png
推荐阅读
- PMSJ寻平面设计师之现代(Hyundai）
- 太平之莲
- 闲杂“细雨”
- 七年之痒之后
- 深入理解Go之generate
- 由浅入深理解AOP
- 期刊|期刊 | 国内核心期刊之（北大核心）
- 生活随笔｜好天气下的意外之喜
- 感恩之旅第75天
- python学习之|python学习之 实现QQ自动发送消息