作者| 冯一博
编辑&校对| 王晨、筱姜
?
任务，是互联网服务的一种常见场景。在诸如 AI 训练、直播（视频转码）、数据清洗（ETL）、定时巡检等场景下，任务平台能否支持快速的高并发任务启动性能、提供较高的离线计算资源利用率以及丰富的上下游生态是这类场景的核心痛点。函数计算作为事件驱动的全托管计算服务，其执行模式天生就与这类 Job 场景非常契合，对上述痛点进行了全方面的支持，助力“任务”的无服务器上云。
函数计算和 Serverless Jobs
“Job” 系统应具备什么能力？
在上述的“Job”场景中，一个任务处理系统应该具有以下能力：
- 任务触发：支持灵活的任务触发方式。如支持客户端手动触发，支持事件源触发，支持定时触发等；
- 任务编排：能够编排复杂任务流程，管理子任务之间关系，如分支、并行、循环等逻辑；
- 任务调度及状态管理：调度任务优先级，多租隔离及任务状态管理，支持多种任务并发度、限流；能够管理任务状态，控制任务的执行等；
- 资源调度：解决任务的运行资源问题。这里面包括多种运行时支持，计算资源冷启动延迟控制，在/离线任务混部，最终目标是使得系统具有较高的资源利用率。
- 任务可观测性：任务执行历史的查看、审计；任务的执行日志；
- 任务调度系统上下游生态：任务调度系统可以自然接入上下游系统。比如与 Kafka/ETL 生态、消息生态等集成的能力。
函数计算 Jobs 能力全景图如下图所示：?
文章图片
业界常见任务调度系统 Job 能力对比
文章图片
在普遍情况下，像诸如一些云厂商的批量计算产品、开源的 K8S Jobs 等任务调度系统支持的最小粒度一般是按实例级别扩缩容，并且不具有大规模任务（编排）管理的能力，因此比较适用于低并发、重负载、超长时运行的业务（如基因计算、大规模机器学习训练）等；而一些开源流程执行引擎、大数据处理系统的任务调度往往缺少弹性、多租隔离、高并发管理及可视化等一系列能力。函数计算作为免运维的 Serverless 平台，很好的结合了上述不同系统的优点，另外 Serverless 先天的弹性能力很好的支持了任务中普遍存在的高并发波峰波谷场景的需求。
推荐最佳实践 & 客户案例 AI 训练 & 推理
场景的核心诉求：
- 同时支持实时推理+离线训练，实时推理对冷启动有要求；
- 有明显的波峰波谷，计算量大，需要高并发，计算实例间基本不需要协同；
- 一般需要容器镜像运行自定义库进行训练。
文章图片
案例 2：数据库自治服务 - 数据库巡检平台 阿里云集团内部的数据库巡检平台主要用于对 sql 语句的查询、日志等进行优化分析。整个平台任务分为离线训练及在线分析两类主要任务，其中在线分析业务的的计算规模达到了上万核，离线业务的每日执行时长也在 百万h。由于在线分析、离线训练时间上的不确定性，很难提高集群整体资源利用率，并且在业务高峰来时需要极大的弹性算力支持。业务最后使用函数计算构建了数据库巡检平台，满足日常的 AI 在线推理及模型的离线训练任务。
文章图片
案例3：分众传媒 - Serverless 图片处理业务 在广告业务中，运行深度学习算法进行图片处理、比对、识别是比较常见的业务，这类业务往往具有数据来源多样、单实例处理时间不确定、波峰波谷明显、任务可观测要求高等特性。采用自购机器运行服务不但需要考虑机器的运维及资源利用率问题，还比较难以适配多种多样的图片源，难以做到服务的快速上线。
?
函数计算的多种事件源触发支持为这类业务提供了极大的便利。分众传媒采用 OSS/MNS 触发器触发函数计算，解决数据源多样的问题。用户的图片数据可以上传至 oss 或者 mns，对应的触发器则会直接触发函数计算来完成图片处理任务，函数计算的弹性及按量付费模式解决了资源使用率及机器运维的烦恼。在可观测性方面，任务处理实例使用了有状态异步调用模式，对于任何已触发的任务做到了可追溯的能力，方便业务对于执行失败的任务进行排查及重试。
文章图片
视频转码 & 直播推流 & 录播转直播 直播转录/录播转直播业务往往同时具有业务的实时性、业务的不定时不定量的特点：
- 要求直播同时能够随时拉起处理实例，随时停止转录实例；
- 业务高峰的时间段集中在日间的几个小时，夜间几乎没有业务请求。因此资源的利用率和成本是主要考虑的因素。
- 资源规格：由于转码输出码率的不同，出于成本考虑，希望能够灵活弹起不同规格的资源；
- 运行时间随机性。由于需要提高转码效率，往往会对视频进行分片处理，因此任务来的瞬间可能需要很高的实例数；
- 为了提高转码效率，可能进行分片后分别处理，涉及到多函数间共享数据；
- 需要容器镜像方式来运行一些自身的库，并且往往对快速启动；
- 由于转码的离线业务属性，任务结束后还需要留存一定的任务记录以便后续审计、问题排查等需求。
?
在进行业务场景的 serverless 化的过程中，云教室系统使用了阿里云函数计算有状态调用模式。这种模式也是专为 Job 场景打造，能够进行历史记录查询及优雅停止任务的功能。在存储方面，视频临时文件采用了函数计算 - NAS 方案。新东方通过视频平台的函数调度器能够轮询多个函数服务来进行负载均衡，每个服务通过挂载不同的 NAS，在做到了文件共享的同时提高了函数内部 NAS 临时存储的使用率，进一步降低了资源的使用成本。
文章图片
案例 2：米连 - 直播视频实时合规审核平台 米连的直播相亲业务涉及视频处理的主要任务为视频截帧，在拉流的同时进行视频截帧并上传到目标存储中。这类直播场景由于具有波峰波谷的特性，因此除资源利用率要求外还具有一定的实时性及长时执行的要求。审核平台最终使用了函数计算支持高弹性及长时算力的能力，有效的支撑了业务场景。
文章图片
数据处理 & ETL 场景的核心诉求：
- 弹性，高并发的支持。资源按需付费，种类多样，利用率高，免运维；
- 复杂流程的编排支持；
- 任务的可观测性能力。
?
针对上述情况，图森未来探索数据处理平台的自动化。数据处理平台使用了 Serverless 工作流进行了整体流程的编排，并通过原生支持的消息服务MNS解决了云上云下的数据打通问题。
除调度外，图森未来通过使用任务的输入输出映射及状态汇报机制，高效的管理流程中各任务的生命周期及相互间的数据传递，对流程中任务的状态及执行过程中数据更新进行维护，解决了长时不确定长流程的数据处理需求。
文章图片
总结 结合上述案例及分析，函数计算的弹性、可观测性、队列隔离能力及完整的事件生态极好的支持了这类任务场景。简单总结主要体现在以下几个方面：
- 任务的触发
- 任务编排&任务调度
- 在资源层面，Serverless 更能体现出其核心优势：开发免运维，并提供高弹性和高可用性保障。
- 在可观测方面，Serverless 工作流和函数计算对多任务流程、单任务流程提供了丰富的可观测性指标和查询方式，能够便捷的查找历史、观测执行中等任务的指标及日志，方便调试及问题追踪。
