1.Master注册机制原理剖析（图解）
【spark|Spark内核源码深度剖析（Master注册机制原理剖析与源码分析）】
文章图片
2.部分源码分析
master.scala中的Application注册原理代码分析：
case RegisterApplication(description) => {
//如果master的状态是standby，就是当前的这个master，是standby master，
//而不是Active Master，那么，当Application来请求注册时，会忽略请求。
if (state == RecoveryState.STANDBY) {
// ignore, don't send response
} else {
logInfo("Registering app " + description.name)
//用ApplicationDescription信息，创建ApplicationInfo
val app = createApplication(description, sender)
//注册Application
//将Application加入缓存中，并将Application加入等待调度的队列中-waitingApps
registerApplication(app)
logInfo("Registered app " + description.name + " with ID " + app.id)
//使用持久化引擎，将Application进行持久化
persistenceEngine.addApplication(app)
//反向，向SparkDeploySchedulerBackend的APPClient的ClientActor，发送消息，也就是RegisterApplication
sender ! RegisteredApplication(app.id, masterUrl)
schedule()
}
推荐阅读
- spark|Spark内核源码深度剖析（Master主备切换机制原理剖析与源码分析）
- spark|Spark内核源码深度剖析（SparkContext原理剖析与源码分析）
- spark|spark的基本工作原理和RDD
- Spark|基于Spark封装的二次开发工程edata-base，介绍
- spark|spark学习笔记（七）——sparkcore核心编程-RDD序列化/依赖关系/持久化/分区器/累加器/广播变量
- 技术干货|推荐系统-协同过滤在Spark中的实现
- mysql|大数据处理与开发课程设计——纽约出租车大数据分析
- pyspark_mllib_classifier—(SVM)
- 大数据|SPARK Parquet嵌套类型的向量化支持以及列索引(column index)