锐客网

  1. 首页 > it技术 > >

【白皮书】SnapArchiving - Oracle历史数据归档与查询管理软件

第1章简介

随着长时间的累积，一些关键的业务系统，例如CRM，ERP，SCM，Billing，Account等关键的系统，积累了大量的历史交易数据，这些大量的历史数据使得这些系统变得越来越庞大，并且在维护上也越来越复杂。数据量的快速增长已经成为了所有的IT管理部门所面对的最难于解决的问题之一，因为数据量的增长已经严重降低了应用程序的性能，降低了应用程序的稳定性，并且消耗了大量的投资。
对于IT企业来说，我们不能永无止境的投入大量资金来升级我们的存储、加大存储容量、提高服务器性能，以此来满足不断增长的数据量。提高存储容量和提高服务器的处理能力只能暂时的解决我们所面临的问题。
SnapArchiving数据归档解决方案提供了一种全新的信息生命周期管理模式，以此来解决不断增长的数据问题。SnapArchiving提供了一整套的流程和技术来管理信息数据从产生时刻到该数据失去价值的整个过程。
SnapArchiving帮助客户实现历史数据的分级存放，透明访问，提高生产系统的性能，降低IT的总体投资(TCO)：
l帮助客户定义数据生命周期的各个环节，包括数据的产生、访问、保留策略以及数据在不同的时间点上的服务级别需求（SLA）；
l帮助企业去监控、预测数据的增长趋势，搭建和执行数据的过期策略，从而将历史交易数据定期从生产系统中迁移到在线的归档数据库上，创建一个用户可透明访问的历史数据管理平台；
l帮助企业利用最新的存储和服务器技术来降低企业的IT投资，例如利用Linux，SATA盘等技术来存储历史数据，以降低企业总体IT投资，并且还能够保持服务级别不降低，历史数据依然可以实时查询。

第2章问题：无法管理的数据增长
Meta Group指出应用系统的数据量年增长125%，并且80%是非活动数据。数据量之所以产生这么大的快速增长是存在很多的原因的：
l数据的整合：将以前分散的数据集中到一个或多个数据库实例中。例如电信行业将以前的分散式计费系统整合为省集中计费，造就了中国电信行业出现了大量的大容量数据库系统；
l更高的业务需求：为了给客户提供更多的服务，加大企业的经营决策，企业选择保留更长时间的经营数据，以便提供更多的客户查询和经营分析报表。这将造成爆炸式的数据增长；
l更多的法律要求：越来越多的规定要求企业历史数据的保存必需达到一定年限以便备查。例如电信行业的２年内话单必需能查；企业财务数据，银行数据需要几十年等等，这些都极大的增加了企业的数据量。
数据量的爆炸式增长给企业和IT投资带来了巨大的成本消耗，其中主要的包括：
l应用程序性能下降：随着数据量的不断增长，应用程序以及数据库系统都必需处理更多的数据，这给数据库服务器带来了极大的压力，使得应用程序的响应速度严重下降。这些使得IT管理人员不得不在系统的性能优化问题上付出更大的努力，甚至采取限制数据访问的措施；
l增加了服务器和存储的投资：尽管硬件设备的价格每年以30%的比例下降，但是按照125%的比例增长的数据已经严重超出了硬件设备的价格下降的幅度； 【【白皮书】SnapArchiving - Oracle历史数据归档与查询管理软件】
l更为重要的是，每次随着数据量的增长，不仅体现在设备本身的投资增长上，在数据备份（BACKUP），容灾(DR)，软件，带宽方面都必需成倍的增加；
l降低了应用程序的稳定性：随着数据量的增加，在备份、恢复、数据复制、系统升级等方面都将消耗更多的时间，这对于７＊２４服务的应用系统来说已经提出了越来越大的挑战。
第3章SnapArchiving：数据归档解决方案
SnapArchiving提供了一整套的流程和技术来管理信息数据从产生时刻到该数据失去价值的整个过程。帮助客户制定数据在不同的生命周期阶段制定不同的访问和过期策略：
图：信息生命周期过程中不同阶段的访问策略。
DSG SnapArchiving帮助企业设置和执行信息生命周期过程中的数据管理策略，将历史交易数据从生产数据库上迁移到在线的归档数据库上(online archive)，在线归档与离线归档(offline archive)的最大区别在于在线归档数据库保持对迁移后的归档数据的实时访问。
通过这种历史交易的迁移，使得企业能够在已有的IT架构基础上支持更好的应用系统性能，在无需服务器升级和存储扩容的基础上满足企业业务增长的需要。同时在生产数据库上保存更少的数据能够有效的降低容灾、复制、备份和恢复的成本消耗，降低企业对于IT系统的总体拥有成本，尤其是后期的维护成本。
DSG SnapArchiving解决方案提供了一套流程和技术帮助客户建立历史数据的保留策略，提供历史数据的归档抽取、历史数据的保存、历史数据的检索等一体化功能，将历史数据从生产系统中重新迁移到归档数据库上。
第4章:DSG SnapArchiving关键技术：DBPlus静态数据存储产品
DSG公司在经过长期的研究之后，推出了第一版本的历史归档数据管理解决方案SnapArchiving。该解决方案的最大特点就是将那些历史数据迁移到压缩数据库中存储，并且压缩的存储数据库可提供基于SQL方式的数据检索方式，能够与应用软件之间实现最大程度的集成化。
SnapArchiving历史归档数据库管理解决方案的核心是采用DBPlus静态数据压缩存储数据库产品。
DBPlus本身是一套数据库管理系统，只不过该数据库系统是专门针对静态数据设计的，去掉了对事务（Transaction）控制的部分,不支持Insert,Update,Delete等DML操作，对数据采用压缩存储方式，降低存储空间。
DBPlus产品完整的体现了SnapArchiving的技术要求：
1.以压缩方式保存归档数据，降低存储空间和存储成本
DBPlus系统对从生产系统上迁移过来的历史数据采用专用存储的数据库结构进行存储。
为了降低存储空间，DBPlus采用压缩的存储格式，DBPlus在做数据迁移时，对数据作重新排序，把相同的重复数据重新组织到一个数据块内，并且在块内的数据采用业界通用的压缩算法进行压缩存储，使得压缩率得以大幅度提高。DBPlus的数据块最小300KB,最大可以配置为2MB,按大数据块做数据压缩，可以有效提高压缩倍率。
根据测试的结果，对于记录数为4.3亿，在源系统中的占用了183GB，其中包括索引数据52GB的数据在迁移到DBPlus系统上后，存储空间变为19.1GB,其中包括索引320MB。压缩比达到9:1。
2. 以标准SQL语句方式进行快速查询
DBPlus对外提供标准的SQL引擎进行数据查询，通过简单的SELECT命令就能对归档数据进行任意检索。
为了查询检索性能，系统对数据进行特殊的组织，按照数据库的Block方式进行管理，并对组织的数据提供index信息，加速数据检索性能。
为了进一步提高检索速度，DBPlus还把相同索引的数据重新排序，存放在一个数据块内，用户查询数据时，做一次磁盘寻道和顺序读取就可以返回多条记录；DBPlus使用索引聚合技术减少了搜索时间，降低了Btree数的高度。通过独创的部分索引技术，使用字段的一部分值来建立索引，再把相同键值的索引紧缩成一条记录，把表数据对应的索引数量降低，查询效率得以提高；实时压缩算法保证数据的高吞吐量。
根据测试的结果，对于记录数为4.3亿，在源系统中的占用了183GB的数据在迁移到DBPlus系统上后，随机选取客户200名，分别在源系统和DBPlus批量运行查询业务，两个系统的查询结果完全一致，返回记录总数为210197 。在源系统中运行时间为920秒，DBPlus中的运行时间为82秒。
3. 还能够与oracle等数据库集成访问
DBPlus使用了异构数据库系统互连的技术，通过ODBC驱动程序，与Oracle数据库实现无缝对接，应用程序可以使用Oracle的 JDBC/OCI/Pro*C等程序设计接口，使用Oracle的 SQL语法，直接查询DBPlus中的数据，通过在Oracle中重定义视图等方式，应用程序可以不做任何修改。
第5章DSG SnapArchiving解决方案给客户带来的好处
通过使用DSG SnapArchiving解决方案，用户可得到如下好处：
l提高应用系统的性能和稳定性：通过将静态的交易数据从生产系统上重新分配到归档数据库上来，能够提高生产系统的性能，提高生产系统的稳定性；
l降低服务器和存储系统的硬件投资：通过将大量的历史数据重新分配到成本更加低廉的存储和服务器系统上，能够在那些昂贵的服务器和存储系统上支持更多的实时业务并发量，企业无需永无止境的投资升级其服务器和存储容量以满足不断增长的历史数据管理需求；
l归档数据的可访问性：通过将重新归档存储的数据通过数据库的方式组织起来，提供SQL-based的查询方式进行数据检索，并且通过通用的数据接口与现有的应用程序可提供无缝的数据访问支持。


容灾备份异地容灾数据容灾容灾系统数据同步复制采集归档检索集中分发容灾方案异地容灾备份远程容灾容灾技术异地容灾方案oracle容灾容灾方案异地容灾数据容灾容灾是什么容灾系统异地容灾备份oracle容灾容灾备份数据容灾系统异构容灾方案下载EMCSRDF容灾技术和业务连续性服务方案,IBMPPRC,HPBusinessCopy,HDSTrueCopy,VERITASVVR；DSGRealSync,QuestSharePlex等,HDS数据中心容灾解决方案,飞康公司的持续数据保护(CDP)抽取共享升级迁移优化灾难恢复备份恢复数据保护器FalconStorCDP,StoreAge容灾方案,SEPATON容灾解决方案oracle数据库备份oracle自动备份oracle数据备份oracle冷备份oracle备份表证券税务财政社保公安电力交通保险银行工商石化电信联通移动网通企业管理金宏钱金税金关金财金卡和金审社会金盾金保金农金质和金水热备异构热容灾方案备份软件工具方案技术磁盘磁带oracle备份与恢复oracle定时备份oracle备份命令oracle热备份oracle的备份与恢复oracle如何备份oracle备份还原oracle备份方式oracle逻辑备份oracle9i备份oracle联机备份DSG公司DSGRealSync数据库复制容灾软件抽取共享升级迁移优化灾难恢复备份恢复oracleexp备份oracle备份rmanoracle的备份oracle远程备份oracle的rman备份oracle备份方案oracle备份脚本oracle数据备份语句oracle备份工具oracle增量备份oracle备份技术oracle物理备份oracle冷备份脚本异地容灾备份oracle备份表空间SnapAssure高速备份恢复软件pb备份oracle数据库oracle备份级别oracle容灾备份oracle容灾方案oracle容灾技术招标oracle容灾备份oracle容灾dataguardoracle容灾产品电信级容灾系统建设boss容灾系统分布式数据容灾系统数据同步复制采集归档检索集中分发容灾系统的实现原理数据库容灾系统上海移动boss容灾系统证券税务财政社保公安电力交通保险银行工商石化电信联通移动网通企业管理金宏钱金税金关金财金卡和金审社会金盾金保金农金质和金水热备异构热容灾方案备份软件工具方案技术磁盘磁带RealMigrates数据库异构平台实时迁移软件建设银行容灾系统异地容灾系统结构pptvvr容灾系统容灾系统级异地容灾方案veritas异地容灾方案远程容灾方案vvr容灾方案iscsi容灾方案oracle容灾方案应用级容灾方案数据同步复制采集归档检索集中分发数据容灾方案远程异地容灾方案电信容灾方案数据备份方案双机热备份方案数据库备份方案服务器备份方案oracle备份方案oracle数据库备份方案异地备份方案异地容灾备份veritas备份方案doc磁带机备份方案企业数据备份方案案企业数据备份方案

容灾备份异地容灾数据容灾容灾系统数据同步复制采集归档检索集中分发容灾方案异地容灾备份远程容灾容灾技术异地容灾方案oracle容灾容灾方案异地容灾数据容灾容灾是什么容灾系统异地容灾备份oracle容灾容灾备份数据容灾系统异构容灾方案下载EMCSRDF容灾技术和业务连续性服务方案,IBMPPRC,HPBusinessCopy,HDSTrueCopy,VERITASVVR；DSGRealSync,QuestSharePlex等,HDS数据中心容灾解决方案,飞康公司的持续数据保护(CDP)抽取共享升级迁移优化灾难恢复备份恢复数据保护器FalconStorCDP,StoreAge容灾方案,SEPATON容灾解决方案oracle数据库备份oracle自动备份oracle数据备份oracle冷备份oracle备份表证券税务财政社保公安电力交通保险银行工商石化电信联通移动网通企业管理金宏钱金税金关金财金卡和金审社会金盾金保金农金质和金水热备异构热容灾方案备份软件工具方案技术磁盘磁带oracle备份与恢复oracle定时备份oracle备份命令oracle热备份oracle的备份与恢复oracle如何备份oracle备份还原oracle备份方式oracle逻辑备份oracle9i备份oracle联机备份DSG公司DSGRealSync数据库复制容灾软件抽取共享升级迁移优化灾难恢复备份恢复oracleexp备份oracle备份rmanoracle的备份oracle远程备份oracle的rman备份oracle备份方案oracle备份脚本oracle数据备份语句oracle备份工具oracle增量备份oracle备份技术oracle物理备份oracle冷备份脚本异地容灾备份oracle备份表空间SnapAssure高速备份恢复软件pb备份oracle数据库oracle备份级别oracle容灾备份oracle容灾方案oracle容灾技术招标oracle容灾备份oracle容灾dataguardoracle容灾产品电信级容灾系统建设boss容灾系统分布式数据容灾系统数据同步复制采集归档检索集中分发容灾系统的实现原理数据库容灾系统上海移动boss容灾系统证券税务财政社保公安电力交通保险银行工商石化电信联通移动网通企业管理金宏钱金税金关金财金卡和金审社会金盾金保金农金质和金水热备异构热容灾方案备份软件工具方案技术磁盘磁带RealMigrates数据库异构平台实时迁移软件建设银行容灾系统异地容灾系统结构pptvvr容灾系统容灾系统级异地容灾方案veritas异地容灾方案远程容灾方案vvr容灾方案iscsi容灾方案oracle容灾方案应用级容灾方案数据同步复制采集归档检索集中分发数据容灾方案远程异地容灾方案电信容灾方案数据备份方案双机热备份方案数据库备份方案服务器备份方案oracle备份方案oracle数据库备份方案异地备份方案异地容灾备份veritas备份方案doc磁带机备份方案企业数据备份方案案企业数据备份方案



    推荐阅读


    上一篇：［绘］嘿，现代都市里的小巫女

    下一篇：c#使用SoundPlayer播放wav格式音频