5月12日，信服云大数据研发技术专家Cody在信服云《Tech Talk · 云技术有话聊》系列直播课上分享了 《基于低代码的数据开发》 ，详细介绍了低代码平台如何提升用户的数据开发效率，传统的数据仓库、实时计算开发、离线计算开发场景面临的挑战和解决方案，以及信服云大数据在安全日志分析、数据仓库方面的数据开发经验等内容。以下是他分享的内容摘要，想要了解更多可以关注“深信服科技”公众号观看直播回放。
一、Studio架构和定位
aBDI-Studio是基于aBDI-Base基础平台，以数据作为经营对象，提供全面的数据开发、数据管控、数据交换、数据应用能力，打造全生命周期的智能开发平台，通过该平台，可以将低价值数据，加工成高价值数据产品和服务。
Studio 包括数据集成、任务调度、数据服务、数据治理、权限运维、探索开发。其中，探索开发包括流数据的开发、融合数仓的开发、离线数据的开发、综合检索开发等四大部分。探索开发关系到平台的开发效率，也是本次直播的重点内容。
文章图片
aBDI 产品包含两大部分，一部分是底层 base 平台，一部分是上层低代码开发平台Studio。Studio 在 aBDI 产品架构中位于上面应用层，其功能主要集中在数据仓库开发、实时开发、离线开发。数据仓库开发包含了数仓的建模、数仓的质量、源数据的管理、数据资产目录、数据地图和数据服务，以及数据同步。
文章图片
低代码数据开发平台跟传统的数据开发不同点在于，传统数据开发用时较长，中间环节较多。 以业务变化为例，它要先去做一个业务的需求变化确认，再进行代码开发，代码开发完之后联调，接着是功能测试和系统部署，最后是停机发布。这一整个流程花费时间较多，效率也不高。
低代码的应用场景，一部分要实现高稳定性，满足稳态业务开发的维护需求；同时也要保障灵活性和通用性，可以适应敏态业务快速变化的需求。
基于低代码的开发可以简化这些步骤。针对业务变化和需求确认，用户只需要做后面的系统配置，联调和测试是在低代码开发平台直接覆盖。低代码开发平台可以说既高效又灵活，不仅节省了流程需要的时间，也不需要人力再去做任何配置。
Studio 平台的受众包含四类人群：在数据开发或者应用过程中，数据开发者可以编辑和调度开发能力，拖拽任务组件、编排业务流程，降低开发门槛，快速上手；对于数据资产的管理人员，可以通过实现资产的统一管理，平台里提供了丰富的资源管理操作功能，包括文件的上传、下载等；对于运维人员来说，通过模型的运维可以进行数据语言的接入配置管理，以及模型运行监控和异常告警，这样可以简化运维；对于数据分析师来说，平台的数据探索提供了管道式的检索语言，最终处理完的数据可以通过 spl 去查找数据，比较自由灵活，屏蔽了底层，不需要感知底层那么复杂的接口，这解决了编程式探索操作复杂的痛点。
二、Studio数据仓库开发
传统的大数据数仓的建设，一般都是由建模工程师提出分析用户需求，提供数仓的建模的指标信息，提交给开发工程师。开发工程师拿到需求之后进行编码实现，编码完成后，会自己去提交测试，测试工程师会根据提交的应用去测试。测试结束，应用即可发布。发布之后，建模工程师就去看发布后的应用，验证模型是否符合用户的诉求。
文章图片
在低代码的开发平台，步骤简化成： 数仓建模工程师会去分析用户的需求，借助数仓的建模平台直接开发数仓模型，低代码的大数据建模平台直接可以给建模的工程师用，可以直接在上面调试，也不需要写代码。模型发布之后，可以直接看到输出的结果，也不需要开发工程师介入，就直接在一个平台上看到想要的结果，也可以验证一下模型的输出是否符合用户的诉求，以及模型跑完的结果是否正确。
对比来看，传统的数仓建设参与角色包括建模/开发工程师、测试工程师等，但Studio 只需要一个建模工程师，这样可以减少开发成本、测试成本、以及沟通成本。同时，Studio 支持可拖拽，通过“拖拽”就可以把一个模型建好，建模周期大大缩短，由原来“天级别”到了“小时级别”。模型建完之后，按照传统的流程需要以周期来发布，周期可能会比较久。但是Studio 上的数仓的建设，刚创建好之后，就可以直接发布，交付周期也大大缩短。
三、Studio实时计算开发
传统方式一般需要写一段代码，以Flink 为例，它可能要写到 Flink 的代码。在 Flink 的代码里面，第一部分还要定义一个数据源和一个数据目的。最后数据源和目的之间，它会有个数据算子，比如它要制定一个 map 算子或者是 aggregate 聚合算子或者是转换的算子，模型开发完之后，进行调试。调试之后要通过命令行的方式往数据源中打入样例的数据，然后提交。最后去查看单个实时计算模型开发调试完成的耗时，这样的开发流程单次可能需要 8 小时。
但是在 Studio 里面开发周期就比较短。首先它要拖一个数据源，然后再拖两个数据目的，中间是算子。而数据源只需要在界面上去配置即可，再配置触发条件和数据目的。这些也都可以在可视化画布里面开发完之后再去配置。配置完成后还可以通过调试模型的方式调试，查看数据对不对。
文章图片
四、Studio离线计算开发
离线计算开发步骤包括：业务开发、资源管理、模型开发、定时管理、模型管理。
文章图片
具体来说，第一步是模型的开发。开发人员是要先把算子拖拽到画布中。第二步，把程序和资源配置到算子中间。比如说要把 Spark 的应用或者Flink的应用或者一个 Python 的脚本上传，给应用程序运行时使用。第三步，配置一下算子之间的依赖关系。这里面的算子端就区分处理类的算子、流程类的算子。当上游的算子执行成功之后才执行下游的算子，在模型开发中，通过简单拖拽即可实现。
aBDI 里面的 Studio 离线开发，底层的技术实现跟业界的方案有些不同，主要是增强稳定性和提高易用性。
不同点体现在以下方面：
（1）Studio支持 HA ，去中心化的多 Master 多 Worker ；
（2）对于过载处理，当任务过多时会缓存在队列中，所有任务都运行在集群中，不会造成服务器卡死；
（3）不会影响正在运行的任务进程；
（4）当进程宕掉的时候，会自动会拉起；
（5）监控界面上， DAG 监控界面支持查看任务状态、任务类型、重试次数、任务运行机器、可视化变量、运行时间、错误日志；
（6）所有流程定义操作都是可视化的，通过拖拽任务来绘制DAG，配置数据源及资源。同时对于第三方系统提供API方式操作；
（7）在快速部署上，实现可视化一键部署。
文章图片
Studio 低代码平台目前主要用在如下三个场景。第一个是传感器的数据分析，首先由用户去采集多个系统的传感器数据，然后联动多个系统进行数据分析，产生告警后及时输出告警直观展示。用户可以通过 Studio 去完成发现问题、数据采集、数据处理转化、可视化的映射、用户感知的流程等一整套的过程。
第二个场景是日志分析。平台通过数据源把日志采集过来，放到消息队列之后通过流处理或者是离线的方式处理，之后会持续写到 ES 里，再基于 ES 的结果，用户进行数据的检索跟行为的分析或者异常分析。Studio也擅长帮助用户处理有大量并发写入的实时数据、数据的存储、希望能够实时分析以及从海量日志中提取有价值的数据。
最后一个场景是数仓建设，是从数据的接入到数据的处理、再到数据模型的构建和数据的查询，这些过程，Studio基本上都能覆盖到。
【Tech Talk · 云技术有话聊 | 基于低代码的数据开发如何提升效率（）】以上就是本次直播的主要内容。对大数据低代码开发感兴趣的IT朋友可以关注“深信服科技”公众号回顾本期直播，了解更多技术内容。
推荐阅读
- 面试|【软件测试工程师面试】分享一个面试题总结
- 软件测试|测试工程师拿20K薪资要什么技术水平（来看看你面试需要重点掌握的东西···）
- 程序员|暮然回首（我的10年软件开发生涯）
- 程序员|Android - LayoutParams，小火箭，高内聚低耦合，帮你突破瓶颈
- 互联网“寒冬”不想被辞退，Android程序员该如何应对（）
- 华为云数据库跃进式发展
- 华为云大数据（企业航行的照明灯）