锐客网

  1. 首页 > 睿知 > >

yarn fifo 代码分析

经验分享睿知

fifo什么意思？Yarn资源调度器思维:(1)如何管理集群资源(2)如何合理分配资源给任务Yarn是一个资源调度平台，负责为计算程序提供服务器计算资源，相当于一个分布式操作系统平台 。MapReduce程序相当于运行在操作系统上的应用程序Yarn，主要由ResourceManager、NodeManager、ApplicationMaster、Container等组件组成，Hadoop有三个主要的调度器:FIFO、CapacityScheduler和FairScheduler，Hadoop3.x的默认调度器是CapacityScheduler，具体配置位置为yarndefault . XML info scheduler(FirstInFirstOut):单队列 。按照提交作业的顺序，先到先得CapacitySecheduler是雅虎开发的多用户调度器 ， FariScheduler是脸书开发的多用户调度程序DRF(DominantResourceFairness) 。

1、YARN工作原理YARN调度器旧的MapReduce架构 。在Hadoop2.0中 ， YARN负责管理资源(内存、CPU等 。)并打包到容器中 。这样可以简化MapReduce，让它专注于自己擅长的数据处理任务，不用考虑资源调度 。YARN将管理集群中所有机器的可用计算资源 。基于这些资源，YARN将调度应用程序发送的资源(如MapReduce) 。

2、Yarn资源调度过程详细在MapReduce1.0中，我们都知道有和HDFS一样的单点故障，主要是因为JobTracker同时负责资源管理和任务分配 。Yarn可以添加多种计算框架，如Hadoop、Spark和MapReduce 。当不同的计算框架处理不同的任务时，资源利用率可能处于互补阶段，有利于提高整个集群的资源利用率 。同时，Yarn提供了共享的集群模式 。随着数据的爆炸式增长，在集群之间移动数据需要更长的时间，硬件成本也会增加 。共享集群模式允许多个框架共享数据和硬件资源 。

3、Yarn资源调度器【yarn fifo 代码分析】思维:(1)如何管理集群资源(2)如何合理分配资源给任务Yarn是一个资源调度平台，负责为计算程序提供服务器计算资源，相当于一个分布式操作系统平台 。MapReduce程序相当于运行在操作系统上的应用程序Yarn ， 主要由ResourceManager、NodeManager、ApplicationMaster、Container等组件组成 。Hadoop有三个主要的调度器:FIFO、CapacityScheduler和FairScheduler 。Hadoop3.x的默认调度器是CapacityScheduler 。具体配置位置为yarndefault . XML info scheduler(FirstInFirstOut):单队列 。按照提交作业的顺序 ， 先到先得CapacitySecheduler是雅虎开发的多用户调度器 。FariScheduler是脸书开发的多用户调度程序DRF(DominantResourceFairness) 。

    推荐阅读


    上一篇：系统分析与设计 名词解释

    下一篇：excel销售业绩比例分析,用excel计算第一名销售业绩