数据仓库(04)基于维度建模的数仓KimBall架构
??基于维度建模的KimBall架构,将数据仓库划分为4个不同的部分。分别是操作型源系统、ETL系统、数据展现和商业智能应用,如下图。
文章图片
??操作型源系统,指的就是面向用户的各类系统,如app、网站、ERP、CRM等系统。这一块就是我们数据仓库的数据来源,并且这类数据往往有各自的格式和内容,我们同步过来之后,需要对数据进行清洗和规范化。
??ETL系统,指的就是获取、转换、加载的(Extract Transformation and Load)过程以及在etl过程中使用到的数据和数据结构这样的一个过程的集合。也就是包含etl脚本,以及etl中的数据,以及对应的结构。
??ETL过程中的获取,指的是数据的同步,转换指的是对数据进行转换操作,因为数据同步过来之后,数据的格式可能不是我们想要的,数据可能有一些缺漏,数据格式可能不一致等,所以这一步,我们需要对数据进行消除拼写错误、解决领域冲突、处理错误的数据、解析为标准的格式等。加载,指的就是经过转换的数据,我们加载到我们的目标路径或者目标表之中。一般有维度建模和范式建模的表中,kimball架构使用的是维度建模。
??数据展现,指的就是用户组织、存储数据,支持开发者对数据进行查询,制作报表等。数据展现中的数据,必须是维度化的、原子的,以业务过程为中心的。坚持使用总线结构的企业数据仓库,数据不应该按照个别部门需要的数据来构建。
【数据仓库(04)基于维度建模的数仓KimBall架构】??商业智能应用,指的是开发这基于数据展现,开发出报表或者自主查询,为商业用户提供数据支持,数据分析等。商业智能应用与数据展现的区别,就是一个是针对开发者的,往往是数据库级别的展现,而商业智能应用往往是界面化的是针对普通用户的。
参考文章:数据仓库(4)基于维度建模的数仓KimBall架构
推荐阅读
- 数据结构|数据结构学习——队列(链队列、循环队列)
- 水题|树[数据结构]的杂题不多解释
- 装机高手教你U盘恢复数据
- 如何在基于主题的WordPress页面上为一个特定页面设置背景图像()
- 中小企业数字化转型破局之道(华为云大数据“轻”模式)
- MySQL 字段约束
- docker服务部署、迁移与备份、dockerfile、私有仓库
- 木棉花基于HarmonyOS ArkUI 3.0 框架的木棉花扫雷(上)
- 华纳云(把IDC数据机房中心比作酒店)
- Linux部署YUM仓库