Spark - Master和Worker
之前在分布式高可用集群安装中，可以看到这个集群是主从架构，在Spark集群方式中，叫做Standalone集群。
主节点叫做Master，Master除了对Worker、Application、Driver等管理外，还要负责对整个集群中所有资源的统一管理和分配。这篇主要还是讲对Worker的管理。
Worker是工作节点，他会把自身的资源信息，比如CPU、内存大小等提供给Master，由Master对Worker的资源进行调度。
流程
集群启动的时候，只有Master节点，为了能够对各个Worker进行管理，Worker启动的时候需要向Master进行注册，把自己的信息，包括Ip信息、端口、CPU、内存大小等，注册到Master，这样Master就可以知道这个Worker的具体情况。
文章图片
Master接收到Worker的注册请求后，就会把Worker的信息放入内存中，便于资源的分配以及调度，并且为了容灾考虑，把Worker的信息进行了持久化，这样新选举出来的Master能够从持久化中读取Worker的数据，而不用担心上一个Master节点中的内存数据丢失。
文章图片
Master处理完Worker请求后，就会发信息告知Worker已经注册，Worker就会把Master的信息保存在内存中。
文章图片
为了保证Master知道自己是存活的，于是worker每隔15秒开始发送心跳给Master。这个Master的信息就是上面一步保存在内存的信息。Master收到心跳信息后，就会更新Worker的最后心跳时间。
文章图片
除了Worker主动发送心跳告知Master自己的状态是存活的，Master也会每隔60秒去检查内存中Worker的集合，把最后心跳时间超过60秒的筛选出来，把这些Worker从内存以及持久化中移除。
文章图片
源码思维导图
【Spark - Master和Worker】master启动
worker启动并注册到master
master-处理消息
Worker-处理信息
推荐阅读
- 急于表达——往往欲速则不达
- 第三节|第三节 快乐和幸福（12）
- 20170612时间和注意力开销记录
- 2.6|2.6 Photoshop操作步骤的撤消和重做 [Ps教程]
- 对称加密和非对称加密的区别
- 眼光要放高远
- 樱花雨
- 前任
- 2020-04-07vue中Axios的封装和API接口的管理
- 烦恼和幸福