一卷旌收千骑虏,万全身出百重围。这篇文章主要讲述YARN调度架构中的AppMaster相关的知识,希望能为你提供帮助。
YARN调度架构
文章图片
- esourceScheduler是YARN的调度器,负责Container的分配。
- AsyncDispatcher是单线程的事件分发器,负责向调度器发送调度事件。
- ResourceTrackerService是资源跟踪服务,主要负责接收处理NodeManager的心跳信息。
- ApplicationMasterService是作业的RPC服务,主要负责接收处理作业的心跳信息。
- AppMaster是作业的程序控制器,负责跟YARN交互获取/释放资源。
AppMaster
是一个yarn任务运行时第一个由RM启动的container,然后负责整个任务的运行,包括container的申请、启动、kill、状态检查等。ApplicationMaster属于应用程序级,其实现不是由Yarn框架提供(历史原因,yarn提供了MapReduce的AppMaster的实现),需要用户自己实现AppMaster进程的具体实现。参考1万台 Hadoop 集群 YARN 的调优之路
yarn任务提交过程源码分析
【YARN调度架构中的AppMaster】Spark之Yarn Cluster运行机制
推荐阅读
- Androidx RecyclerView基本使用
- web测试与app测试的区别
- CSAPP:BOMB LAB
- Android GraphicBuffer-Fence
- Android应用中如何创建并使用Surface
- android surface to bitmap
- app专项测试(app弱网测试)
- app专项测试(app弱网测试(网络测试流程))
- app专项测试(测试内容)