允许准确地获取数据内容和格式以及将外部数据存储到数据仓库中的工具必须执行一些基本任务, 这些任务包括:
- 数据整合和集成。
- 数据从一种形式转换为另一种形式。
- 基于强制转换的业务规则功能的数据转换和计算。
- 元数据同步和管理, 包括存储或更新有关源文件, 转换操作, 加载格式和事件的元数据。
- 必须具有在工具可以读取的数据源环境中识别数据的能力。
- 对平面文件, 索引文件和旧版DBMS的支持至关重要。
- 在许多安装中, 需要具有从多个数据存储中合并记录的功能。
- 指示要提取的信息和对话的规范接口是必不可少的。
- 需要具有从存储库产品或数据字典中读取信息的能力。
- 该工具开发的代码应完全可维护。
- 数据项和记录的选择性数据提取使用户只能提取所需的数据。
- 需要将数据转换为信息的现场数据检查。
- 在不兼容的系统之间移动数据时, 必须具有执行数据类型和字符集转换的能力。
- 必须具有创建聚合, 汇总和派生字段和记录的能力。
- 供应商的稳定性和对产品的支持是必须仔细评估的组件。
文章图片
提取和转化
仓库团队需要可以从源系统提取, 转换, 集成, 清理和加载信息到一个或多个数据仓库数据库中的工具。从基于主机的源系统中提取记录的仓库可能需要中间件和网关产品。
仓库仓储
还需要软件产品来存储仓库数据及其随附的元数据。关系数据库管理系统非常适合大型且不断增长的仓库。
数据访问与检索
【数据仓库工具】需要不同类型的软件来访问, 检索, 分发仓库数据并将其呈现给最终用户。