锐客网

  1. 首页 > it技术 > >

小白学习Flink系列--第五篇(任务提交流程简述)

回顾 在开始讲本篇内容之前，先回忆一下上篇文章讲了什么，主要讲了以下几点

  • Runtime架构组件介绍
  • Task operator chain、slot的介绍，理清了TaskManager、task slot 、task operator chain之间的关系
那么自然而然的事情，讲完了基本组成，就要抛出一个主要的问题了，用村上春树的书名来表达的话就是----当你提交任务后，Flink做了什么？
部署方式 引子
? 重要的事情说三遍。Flink架构主要做的是什么呢？
? 资源和任务的匹配，即算子本地化！
? 资源和任务的匹配，即算子本地化！
? 资源和任务的匹配，即算子本地化！
? Flink Runtime可以作为yarn的应用程序运行，也可以在Mesos集群上运行，也可以在单机上运行(本地调试相当方便)
? 本文主要以standalone和yarn两种方式进行探讨
小白学习Flink系列--第五篇(任务提交流程简述)
文章图片

Yarn
  • 八股文流程
    1. FlinK任务提交前，client向HDFS上传Flink的jar包和配置
    2. 提交任务给RM，RM接受到请求后，分配AM的container资源并启动AM
    3. AM启动后加载jar包后启动JobManager，之后AM向RM申请资源
    4. RM分配资源container
    5. AM通知节点所在的nodemanager启动TaskManager
    6. NodeManager加载配置环境后启动TM
    7. TM启动后向JobManager发送心跳，等待JM向其分配任务
?
?
? 小白学习Flink系列--第五篇(任务提交流程简述)
文章图片

?
Standalone
【小白学习Flink系列--第五篇(任务提交流程简述)】? 流程：
  1. 用户提交任务，Client负责作业的编译和提交
  2. client产生jobGraph提交到集群中执行
  3. AM预先启动，client直接与Dispatcher建立连接提交作业
  4. Dispatcher启动JobManager，由其向RM申请资源执行任务
  5. RM向外部资源申请资源启动Task Executor,等待task executor启动后向RM注册
  6. RM选择合适的slot通知TM 进行分配(类似银行大厅叫号，请xx号到几号柜台)
  7. TM拿个小本本记下来，去找柜员(JobManager)注册
  8. JobManager收到注册上来的slot后，提交Task
  9. TaskExecutor收到JM提交的Task后，埋头干活(启线程，也就是task执行任务)
    小白学习Flink系列--第五篇(任务提交流程简述)
    文章图片

    推荐阅读


    上一篇：感谢炒我鱿鱼的老板

    下一篇：JVM之垃圾收集器与内存分配策略