本文概述
- yarn的组成
- yarn的好处
yarn的组成
- 客户端:用于提交MapReduce作业。
- 资源管理器:管理整个集群中资源的使用
- 节点管理器:用于启动和监视集群中计算机上的计算机容器。
- Map Reduce Application Master:检查运行MapReduce作业的任务。应用程序主服务器和MapReduce任务在由资源管理器安排并由节点管理器管理的容器中运行。
yarn的好处
- 可伸缩性:Map Reduce 1达到了4000个节点和40000个任务时的可伸缩性瓶颈, 但是Yarn设计用于10, 000个节点和10万个任务。
- 用途:节点管理器管理资源池, 而不是管理固定数量的指定插槽, 从而提高了利用率。
- 多租户:不同版本的MapReduce可以在YARN上运行, 这使MapReduce的升级过程更易于管理。