锐客网

  1. 首页 > 生活百科 > >

yarn任务阻塞分析

经验分享生活百科

注意:sparkon yarn不需要启动spark集群，只需要在提交任务的机器上配置spark即可 ， 因为任务是由hadoop执行的，spark只负责提交任务 。Sparkon yarn遇到的问题sparkon yarn ACCEPTED提交任务时总是显示，一小时后任务失败，但提交时shell终端上显示的日志没有报错，logs文件夹中也没有生成日志 。

1、大数据hadoop生态体系之YARN配置和使用(13 1 。YARN框架简介YARN:又一个资源协商者的通用资源管理系统 。在上层为mapreduce、spark等任务服务提供统一的资源管理和调度 。YARN是一个资源管理和任务调度的框架，主要包括三个模块:ResourceManager(RM)、NodeManager(NM)和ApplicationMaster(AM) 。

对于所有的应用程序，RM都有绝对的控制权和资源分配权 。每个AM将与RM协商资源，并与NodeManager通信以执行和监控任务 。纱是主/从主从结构 。通过主从管理关系 ， 所有计算框架运行在一个集群中，共享一个集群的资源进行按需分配，从而提高资源的利用率 。

2、Hadoop生态圈中的调度组件-YARN 1 。Yarn:同一个资源调度系统YARN:Hadoop集群 。Hadoop2.0是在2.0之后推出的 ， 主要功能有:负责集群中资源的统一调度 ， 响应客户端的请求 。优缺点2 。纱芯组件和结构1 。ResourceManger(RM):一个全局资源管理器，集群中只有一个活动的RM 。它的具体功能包括:处理客户端请求；开始监视ApplicationMaster；监控节点管理器；；资源的分配和调度 。

具体功能包括:(1)计算作业资源使用量，与RM协商申请作业资源；(2)与NodeManger通信 ， 启动/停止容器执行/终止任务的具体执行；(3)监控任务的运行状态和故障处理 。3.节点管理器(NM):节点的资源管理器 。每个节点启动一个 ， 一般与DataNode一一对应 。

3、简述 yarn编程过程,再简述mr编程过程,说明二者有何关系?Yarn和MapReduce(MR)都是Hadoop的组件 ， 其中Yarn是资源管理器，MR是分布式计算框架 。下面分别介绍它们的编程过程和关系:纱线编程过程:1 .编写Yarn应用的客户端代码，通常由一个提交Yarn应用的命令和一些相关的配置参数组成 。2.在客户端代码中，你需要定义资源(如CPU、内存、磁盘等 。)以及要执行的任务数量 。

MR编程流程:1 。写Map函数和Reduce函数 。2.将数据分成多个块 ， 在多个计算节点上启动Map任务 ， 处理每个块的数据 。3.Reduce任务将Map生成的中间输出结果组合起来，生成最终结果 。Yarn与MR的关系:Yarn提供了一个资源管理器和调度器，可以将多个MR任务分配给不同的计算节点执行，从而实现分布式计算的功能 。

4、Hadoop的资源管理系统——YarnYarn是Hadoop的一个资源管理系统 ， 用来替代MapReduce1的资源调度，完善MapReduce的实现，并且足够通用 ， 可以支持其他分布式计算模式 。一般来说，应用并不直接使用Yarn的API，而是通过一些分布式计算框架(MapReduce、Spark等)间接实现资源调度管理 。) ， 使用这些框架的Yarn应用程序运行在集群计算层(Yarn)和集群中 。
【yarn任务阻塞分析】
resourcemanager管理集群中资源的使用，nodemanager运行在集群中的所有节点上，可以启动和监视容器 。容器用于执行特定应用程序的进程，每个容器都有资源限制(内存、CPU) 。在Yarn上运行应用程序的步骤如下所示:在MapReduce1中，有两种类型的守护进程控制着作业的执行过程:jobtracker和tasktracker 。

5、 yarn和mapreduce资源调优YARN允许用户在每个节点上配置可用的物理内存资源 。请注意，这是“可用”的，因为一个节点上的内存将由几个服务共享，例如一些用于YARN，一些用于HDFS ， 一些用于HBase，等等 。Yarn只配置给自己使用 。配置参数如下:(1)yarn. node manager . resource . memory MB表示该节点上可供YARN使用的总物理内存，默认值为8192(MB) 。注意，如果你的节点内存资源小于8GB，你需要减少这个值，YARN不会智能检测节点的总物理内存 。

6、如何通过Java程序提交 yarn的MapReduce计算任务1 。在程序中，我将文件读取格式设置为整体，即不拆分文件 。2.为了控制reduce过程，map输出键的格式为组合键格式 。与常规的不同，这里变成了 ， TextPair的格式是 。3.为了适应按键组合，分组功能，即GroupComparator ， 被重置 。
提交任务时，始终显示7、Sparkon yarn遇到的问题spark onyarnACCEPTED 。一个小时后，任务失败 ， 但是提交时shell终端上显示的日志中没有错误，logs文件夹中也没有生成日志，注意:sparkon yarn不需要启动spark集群 ， 只需要在提交任务的机器上配置spark即可，因为任务是由hadoop执行的，spark只负责提交任务 。

    推荐阅读


    上一篇：抓包分析apk

    下一篇：网易运