阿里巴巴(DataWorks数据治理)分析
数据治理的概念、需求层次和目标
数据治理 理论参考
文章图片
文章图片
文章图片
数据治理核心意义:在数据管理过程中,要保证一个组织已经将数据转换成有用的信息,这项工作所需要的流程和工具就是数据治理的工作
数据治理 需求层次
数据治理:"马斯洛需求层次"(越下面越基础,上层需求才是本质)
文章图片
数据治理 核心目标和实施方案
【阿里巴巴(DataWorks数据治理)分析】公司数字化转型最大程度数据资产化,挖掘数据的价值
文章图片
两种方式相结合的实施策略才是最完美的(自上而下与自下而上相互结合)!!!
阿里巴巴数据治理实践
数据治理的挑战,成效和落地要素:EB级,千万任务/元;
10亿/年
本质:处理数据量,节省多少成本!!!
文章图片
组织建设
文章图片
制度保障
运营落地
数据治理的运营实施方式:量化很重要
文章图片
平台工具支撑
文章图片
DataWorks数据治理平台能力
文章图片
平台总览
文章图片
DataWorks 数据治理:核心理念
文章图片
通过数据和任务的方式来服务人
核心功能模块介绍
数据时效
文章图片
文章图片
数据质量
防止质量问题大范围扩散:质量的监控和任务调度是相互挂钩的.(如果出现质量问题的情况下)设置强报警规则来阻塞任务的调度和运行(将任务暂停)--->发送报警(多种丰富报警样式)
数据质量分层
不同的层级配置不同的质量监控规则
文章图片
数据治理数据地图
文章图片
阿里地图优势:
- 数据发现:支持11种元数据采集和数据目录构建
- 血缘信息(特色)&影响分析
- 数据预览&数据勘察:方便用户快速了解数据,洞察数据分布情况
- 数据类目: 提高数据的复用性
数据安全(安全卫士$数据保护伞)
文章图片
数据治理:资产盘点和资源优化(成本)
文章图片
产品最新进展(可作为我们行业参考方向)
文章图片
文章图片
文章图片
文章图片
推荐阅读
- Docker应用:容器间通信与Mariadb数据库主从复制
- 使用协程爬取网页，计算网页数据大小
- Java|Java基础——数组
- Python数据分析(一)（Matplotlib使用）
- Jsr303做前端数据校验
- Spark|Spark 数据倾斜及其解决方案
- 数据库设计与优化
- 爬虫数据处理HTML转义字符
- 数据库总结语句
- MySql数据库备份与恢复