2021阿里云金融数据智能峰会——阿里巴巴数据中台建设经验之谈数据采集运维安全大数据bi

简介：阿里巴巴数据中台的解决方案是在引入数据安全等级打标的基础上，实现数据智能审批，通过可信模型构建和风险量化，让智能流程代替繁琐人工。以Dataphin为例，作为阿里巴巴集团数据治理方法论基于内部实践的产品化输出，它可以为企业提供一站式数据采、建、管、用全生命周期管理的能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部和关注官方微信公总号（文末扫描二维码或点此加入）
-阿里云数据中台官网 https://dp.alibaba.com/index
今年正值三年发展规划的收官之年，包括银行、证券、保险在内的金融机构的数字化转型的紧要性进一步凸显。
阿里巴巴云上数据中台负责人王赛在今天举行的2021阿里云金融数据智能峰会上透露，阿里巴巴数据中台建设的经验，或许可以给金融企业数智化转型带去一些借鉴。

文章图片

阿里巴巴云上数据中台负责人王赛
阿里巴巴数据中台建设的6道经验 2015年，阿里巴巴正式提出数据中台战略，这也是数据中台这一概念在国内首次亮相——但在更早之前，阿里巴巴其实就有动作。
王赛表示，早在2011年，阿里巴巴就重新梳理并重建了内部数据团队，以“业务版块+分析维度”为架构构建数据中心。2013年，统一的数据服务中间件OneService正式诞生，经过深度加工后的数据可以由OneService为前端各业务提供统一的数据服务。
在他看来，阿里巴巴数据中台建设绝不是一簇而就，而是面对阿里巴巴集团内部复杂场景以及多样需求，必须完成的一条数智转型通路。
这些场景和需求可以归纳为六大类，分别是:数据质量与安全、数据价值、产品工具沉淀、成本管控、组织与运营、质量与考核。
数据质量与安全主要集中于四方面，首先是一致性，面对同一份数据，各个业务的定义口径不一致，这为后期开发、分析、应用带来极大困扰，因此数据中台首先要解决的就是指标标准化定义，并在此基础上实现代码总动化构建和数据结果产出；其次，是数据资产深度问题，通过数据深度融合与打通，数据中台能够为业务一线员工提供全方位的市场信息，并进行价值评估；再次，是保障数据及时性，通过数据运维基线管理和移动办公协同，数据中台能够保证业务部门及时获取多维过程及结果数据，即便是在移动办公场景，也能保证可实时查看相关数据；最后，是聚焦数据流通安全，核心要解决数据安全审批权限定义和在保障数据安全的基础上较少审批工作量两项问题，阿里巴巴数据中台的解决方案是在引入数据安全等级打标的基础上，实现数据智能审批，通过可信模型构建和风险量化，让智能流程代替繁琐人工。
另一方面，数据价值主要体现在通过数据赋能，帮助平台增长、商家成长和员工提效。
值得注意的是，阿里巴巴数据中台建设的过程当中衍生出非常丰富的产品矩阵，用以应对繁杂的业务场景和个性化的岗位需求，如针对双11场景的媒体大屏、面向管理层决策的分析类数据产品等等。
同时，积极建设数据人才培养体系，成立“数据委员会”让各业务数据岗位员工可以形成高效联动与信任，并凝炼、传播科学有效地数据文化。
而在整个数据中台建设的过程中，王赛强调，“我们还提炼出数据中台价值地显性化表达，从用户价值与体验、资产沉淀、经营等多方位视角，来反复验证KPI、人员及预算地设定，这是一个动线过程。”
通过阿里云全面输出数据中台能力阿里巴巴数据中台在历经多年内部实践后，于2018年正式通过阿里云全面对外开放数据中台能力，迄今已在金融、零售、政务、互联网等行业成功落地。
阿里云新金融&互联网事业部总经理刘伟光早前在接受媒体采访时表示，对企业来说，阿里云数据中台具备两大独有优势，“首先是工具的丰富性，阿里云数据中台产品集合了市面上所有的工具，从工具层面，从数据处理层面，到上层应用层面，到数据的使用层面，到BI层面，到决策层面，可以说面面俱到。”

文章图片

阿里云新金融&互联网事业部总经理刘伟光
目前，阿里云数据中台已经形成以Dataphin、Quick BI、Quick Audience等产品为主的核心产品矩阵。
以Dataphin为例，作为阿里巴巴集团数据治理方法论基于内部实践的产品化输出，它可以为企业提供一站式数据采、建、管、用全生命周期管理的能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。
同时，Dataphin提供多种计算引擎支持及可拓展的开放能力，可以适应各行各业的平台技术架构和个性化诉求。
聚焦金融行业，作为数字化起步较早的行业，银行、证券、保险等行业数据平台的建设周期和历史不比互联网行业时间短，对于数据使用积累了一定的经验，然而依旧难以避免数智转型地阵痛。
核心体现在数据标准问题、数据质量问题、需求相应问题、成本资源问题四方面:
数据标准问题:烟囱式开发及局部业务服务支撑，导致指标同名不同口径问题频发；历史上不同业务系统逐步迭代上线，相同对象属性编码不一致等问题突出；
数据质量问题:重复建设导致任务链冗长、任务繁多，计算资源紧张，数据时效性不好；口径梳理定义的文档沉淀到开发代码实现之间存在脱节，数据准确性保障风险高；
需求响应问题:烟囱式开发周期长、效率低，面向应用的服务化不足，导致业务响应速度慢，业务不满意的同时技术又觉得没有沉淀与成长；既懂业务又懂数据的人才不足，需求理解到开发实现涉及大量沟通，服务效率较差；
成本资源问题:烟囱式开发的重复建设浪费技术资源；上线难下线更难，源系统或业务变更不能及时反映到数据上，加之数据不标准，研发维护难上加难的同时，大量无用计算和存储造成资源浪费。

文章图片

这也和阿里巴巴数据中台建设时期所面临的难点不谋而合。
阿里巴巴通过实践经验提出的数据治理方法论，能够帮助企业捋清了数据全生命周期的管理思路，更将其植入到产品Dataphin（智能数据构建与管理）中，通过阿里云为企业提供服务。
正因如此，Dataphin除了大数据处理全链路涉及到的数据集成、开发、发布、调度、运维能力，同时还将为企业提供数据规范定义、逻辑模型定义、代码自动化生成、数据主题式服务能力，高效地完成好数据的构建。
也正是基于Dataphin产品的能力，财通证券打通既有多个系统数据，实现数据及时接入及标准统一，整合加工处理后，基于市场形态完成包括“金融属性”“产品类型”等在内的300多个数据标签。
数禾科技也在长达7个月的共创共建后，完成传统数仓体系地重构升级，统一数据资产管理平台，同时借助项目全面梳理了公司核心业务流程，将所有的业务过程及背后对应的数据串联起来，统一一套信息系统，每个业务过程在信息化平台都能看到具体的数仓表、指标、指标当前的值、环比同比等信息，一旦这些指标出现异常，就可以快速自动化归因，定位问题环节，创新性建立了数据运营模式。
数禾科技大数据负责人万鹏说道:“阿里云数据中台自带One Service数据接口服务，之前我们自研的数据平台，面向线上业务提供数据接口的链路太长太复杂，目前通过阿里云数据中台产品Dataphin构建数据输入输出的链路既通畅又迅速，产品本身自带集成通道。”
而除了Dataphin，阿里云数据中台还在全域运营、数据可视化分析等多个领域，面向金融机构提供专业产品服务。
【2021阿里云金融数据智能峰会——阿里巴巴数据中台建设经验之谈】

文章图片

大数据的本质是数据的融合，阿里云数据中台把原本各自孤立的数据互相关联、融合，通过抽象、加工构建数据资产类目体系，从而赋予数据更深层次的语义和价值，洞察事物的本质。
过去一年，它在技术能力上已然完成重大升级——率先实现“湖仓一体”，通过协同工作架构，引领下一代大数据处理平台的演进方向；通过融合图计算、时序计算、隐私计算等，大幅提升平台数据智能能力，帮助客户进行智能化决策。
而在三年发展规划临近收官的这一年，数据中台必将给予金融行业的数智化转型更多可能。
数据中台是企业数智化的必经之路，阿里巴巴认为数据中台是集方法论、工具、组织于一体的，“快”、“准”、“全”、“统”、“通”的智能大数据体系。
目前正通过阿里云对外输出系列解决方案，包括通用数据中台解决方案、零售数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案、政务数据中台解决方案等细分场景。
其中阿里云数据中台产品矩阵是以Dataphin为基座，以Quick系列为业务场景化切入，包括：

- Dataphin，一站式、智能化的数据构建及管理平台；
- Quick BI，随时随地智能决策；
- Quick Audience，全方位洞察、全域营销、智能增长；
- Quick A+，跨多端全域应用体验分析及洞察的一站式数据化运营平台；
- Quick Stock，智能货品运营平台；
- Quick Decision，智能决策平台；

官方站点：
数据中台官网 https://dp.alibaba.com
钉钉沟通群和微信公众号

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。