锐客网

  1. 首页 > 睿知 > it技术 > >

数据仓库|数据仓库建设方案详细（系统架构设计）

数据仓库实战大数据数据仓库建设系统架构设计

【数据仓库|数据仓库建设方案详细（系统架构设计）】第3章硬件部署

按照专家系统安装接口规要求，结合专家管理系统数据量估算值和数据存储特点，本着数据安全、系统稳定可靠的核心设计思路，设计专家系统大数据平台数据节点服务器22台，其中管理节点服务器2台，数据节点服务器19台，监控节点一台，系统RDBMS数据库服务器台，应用服务器6台，绘制专家系统部署逻辑结构图如下:

数据仓库|数据仓库建设方案详细（系统架构设计）
文章图片


第4章硬件清单

根据系统规划及安装接口规要求，初步规划服务器如下：系统应用服务器需求6台；大数据平台设计节点22个，其中管理节点2个，数据节点19个，监控节点服务器1台，RDBMS数据库服务器两台双机热备。具体各服务器硬件需求如下表：

数据仓库|数据仓库建设方案详细（系统架构设计）
文章图片


说明：硬件部分交换机、防火强及工作站，请根据标书确认！大数据服务器、RDBMS数据库服务器及应用服务器的具体配置参数请硬件朋友和标书上进行重新确认，这边只对存量、CPU颗数及存储空间大小做了要求。

第5章个人介绍

吴宏勋：“烽火集成”高级大数据架构师，曾担任医疗大数据、公安大数据、财税大数据项目大数据架构师，具有丰富的大数据项目实施经验，对高吞吐、高并发、海量数据实时汇集，TB、PB级海量数据即席查询与实时处理具有针对性方案和经验，研读过部分Hadoop、HBase、Spark源码，对Hadoop、HBase、Spark的原理有很深的理解，曾从事多个项目大数据平台的调优工作！

第6章专家系统架构设计

数据仓库|数据仓库建设方案详细（系统架构设计）
文章图片


本系统总共分为四个层次，从下到上依次为数据采集层、基础平台层、应用支撑层、应用及展示层，各层在专家系统统一业务规、技术规、安全规下进行数据通信及集成。

1.数据采集层：负责专家系统信息数据的汇集、转换与加载，数据采集层提供多种数据采集方法:ETL、Flume、Kafka等，系统支持Flume+Kafka+Storm混合架构的数据采集模式，以提高数据采集系统的吞吐量和并发量。
2.基础平台层：基础平台层为专家数据仓库提供大数据基础平台支撑，包括分布式存储系统、Hbase数据库系统、Yarn并行计算资源管理与监控等，同时支持Spark 机器学习算法库，支持R等行业分析库。
3.应用支撑层：应用支撑层为系统各类应用提供支撑，是系统数据层和应用层的连接纽带。应用支撑层包括基础平台和常规算法两个部分，基础平台负责数据的存储与并行计算，数据存储支持分布式存储、RDBMS存储等存储方式，常规算法负责数据分析与业务建模。
4.应用及展示层：应用层是系统各项业务功能的集合，主要包括资车辆故障诊断、车辆健康评估、车辆部件检修、车辆故障处理及车辆对比分析等。展示层是用户同系统交互的窗口，是应用层对外提供服务的主要手段。支持多种图表展示如饼图、柱状图、曲线图、热力图、气泡图和散点图等可视化展示。

    推荐阅读


    上一篇：数据仓库|详述Hive企业级开发优化

    下一篇：数据仓库|如何保障数仓数据质量（）