TDSQL-A PostgreSQL 产品优势 架构 应用场景
TDSQL-A ClickHouse 版(TDSQL-A for ClickHouse,TDACH)是腾讯云数据库团队在 ClickHouse 社区版基础上,适配腾讯定制化数据库专用硬件,进行了功能增强和性能提升,并且完善了高可用能力而形成的一套分析型数据库产品。
TDACH 高度兼容社区版,面向腾讯云数据库专用硬件优化,增加了完善的高可用和云上托管能力。TDACH 结合 数据传输服务 DTS,将 ClickHouse 强大分析型能力赋能于用户已有的事务数据库,来完成数据分析、报表生成、辅助决策,从而为用户提供一站式数据分析解决方案。
产品优势
分布式事务全局一致性
TDSQL-A PostgreSQL版 引入全局事务管理节点(Global Transaction Manager,GTM)来专门处理分布式事务一致性,通过即两阶段提交(Two Phase Commit)和全局事务管理策略来保证在全分布式环境下的事务一致性。同时 TDSQL-A PostgreSQL版 提供了分布式事务可靠性保证机制来避免资源阻塞、数据不一致和协调节点宕机等问题。
SQL 高兼容度
:TDSQL-A PostgreSQL版 兼容 SQL2011 规范, 在 SQL 兼容性上具备很大优势,兼容绝大多数的 PostgreSQL 语法,包括复杂查询、外键、触发器、视图、存储过程等,可满足大部分企业用户的需求。同时 TDSQL-A PostgreSQL版 还兼容大部分的 Oracle 数据类型、函数,此特性可方便 Oracle 数仓业务迁移到 TDSQL-A PostgreSQL版 数据库。
行列混合存储
:TDSQL-A PostgreSQL版 在支持兼容 PostgreSQL 生态的行式存储基础上,还自研了列式存储,提供完整的列存储能力。业务可以根据需要对写入数据库中的数据选择对应存储格式。
TDSQL-A PostgreSQL版 列存储支持强大的压缩能力,包括透明压缩和轻量级压缩,透明压缩支持 zlib,zstd 等压缩算法,轻量级压缩算法支持 delta,rle,bitpack 算法,可根据数据的特征进行高效压缩,压缩比高达400+。
高效复杂查询
:TDSQL-A PostgreSQL版 自研新一代向量化执行引擎,对于复杂查询有高效的处理能力,能实现万亿数据关联分析秒级响应,性能相比开源和传统的数据仓库提升数倍至数百倍;具备强大的 OLAP 分析能力。
多级安全策略
:传统数据库系统的超级用户权限极大,不容易受到制约,也不利于数据库安全体系的建立,TDSQL-A PostgreSQL版 的三权分立体系,将传统数据库管理员 DBA 的角色分解为安全管理员、审计管理员、数据管理员三个相互独立的角色。安全管理员可以针对业务需求,配置数据加密规则对数据进行加密,保证数据不被泄露。支持数据透明加密,数据脱敏等安全特性。
丰富的周边生态
:全面拥抱 PostgreSQL 生态,持续跟进社区发展。支持丰富的生态工具,包括 PostGis 组件,支持非结构化数据类型 JSON;支持 FDW 外表能力和其他数据源进行互通。
支持通过数据迁移服务或产品将其他数据源的数据同步到 TDSQL-A PostgreSQL版。
产品架构
【TDSQL-A PostgreSQL 产品优势 架构 应用场景】TDSQL-A PostgreSQL版 采用分布式无共享(share nothing)架构,节点之间相应独立,各自处理自己的数据,处理后的结果可能向上层汇总或在节点间流转,各处理单元之间通过网络协议进行通信,并行处理和扩展能力更好,这也意味着只需要简单的 x86 或 arm 服务器就可以部署 TDSQL-A PostgreSQL版 数据库集群。架构图如下:
文章图片
各个模块说明如下:
Coordinator:协调节点(简称 CN),对外提供接口,负责数据的分发和查询规划,多个节点位置对等,每个节点都提供相同的数据库视图;在功能上 CN 只存储系统的全局元数据,并不存储实际的业务数据。
Datanode:数据节点(简称 DN),处理存储本节点相关的元数据,每个节点还存储业务数据的分片。在功能上,DN 负责完成执行协调节点分发的执行请求。
GTM:全局事务管理器(Global Transaction Manager,GTM),负责管理集群事务信息,同时管理集群的全局对象,如序列等。
Data Forward Bus:集群数据交互总线,集群交互总线由各个服务器上的 FN(Forward Node)节点组成,加入 FN 的主要目的在于减少 DN 之间、CN 和 DN 之间数据交换时创建的连接,从而保证大规模集群下连接不是瓶颈。
在此架构下,集群具有下面几个能力:
多活/多主:每个 CN 提供相同的集群视图,可以从任何一个 CN 进行写入,业务无需感知集群拓扑。
读/写扩展:数据被分片存储在了不同的 DN,集群的读/写能力,随着集群规模的扩大而得到提升。
集群写一致:业务在一个 CN 节点发生的写事务会一致性的呈现在其他 CN 节点,就像这些事务是本 CN 节点发生的一样。
集群结构透明:数据位于不同的数据库节点中,当查询数据时,不必关心数据位于具体的节点。
TDSQL-A PostgreSQL版 的 share nothing 集群架构方便业务接入,降低了业务接入的门槛。
应用场景
数据仓库
:TDSQL-A PostgreSQL版 借助 share nothing 架构,可在线线性平滑地扩展集群规模,具备 GB级 - PB级 数据支撑能力,全并行架构和向量化执行引擎可以高效处理百亿行多表连接查询,适用于操作数据存储 ODS(Operational Data Store)、企业数据仓库 EDW(Enterprise Data Warehouse)、数据集市 DM(Data Mart)等。
海量存储在线实时分析
:互联网化的用户激增,伴随着系统的长期运行,数据累积越来越多,给部分行业(如支付业务,因为监管要求,数据必须永久保存)带来的存储成本,以及大数据量场景的复杂关联查询性能问题等亟待解决。
TDSQL-A PostgreSQL版 的在线线性扩容能力,能够按需扩充集群,保证集群可以支撑到 PB 级别的存储,同时结合业务历史数据不常被访问的特点,可将历史数据自动转移到低廉的存储设备上,兼顾性能和成本。
数据高安全依赖型系统
:在政务、民生、金融等行业里,存储了非常多的个人基本信息和金融交易数据,保障数据的安全性是首要考虑的问题,一旦发生数据丢失或者泄露,会造成不可估量的损失,因此该类业务对于存储核心数据的数据库系统安全非常依赖,包括数据查询结果加密,数据存储加密,以及事后审计需求。
TDSQL-A PostgreSQL版 能够提供多级安全策略来保障该类高安全依赖型系统的数据安全。
多点汇聚业务系统
:政务、银行、大型国企的组织架构通常采用总部-分部-分支的架构,其某些核心 IT 系统建设也采用总部-分部-分支模式,且各个分支采用的数据库不同,随着业务互通、人员互通、信息互通等需求越来越强烈,业务逐渐向总部聚合,因此能否高效的进行数据汇聚,是系统一个很重要的考量指标。
TDSQL-A PostgreSQL版 具备高效的异构数据库复制能力,让数据能够很好的在多个数据库中实现共享。
去 O 场景
:近些年来各行各业的 IT 系统兴起了去 IOE 的浪潮,其中去 O 是相对较难的一项。
TDSQL-A PostgreSQL版 作为高扩展性的数据库集群,同时兼容 PostgreSQL 和大部分 Oracle 语法,另外 TDSQL-A PostgreSQL版 也支持存储过程、窗口函数、非结构化数据等诸多企业级特性,使得 TDSQL-A PostgreSQL版 成为去 O 的极佳选择。在替换 Oracle 数仓应用的场景下,使用 TDSQL-A PostgreSQL版 可以很好地减少迁移成本。
推荐阅读
- NPDP拆书(三)(新产品开发战略(经营与创新战略))
- 大嘴貔貅(貔貅属于是文创产品吗())
- 好用,便宜
- 什么能力,才是产品最重要的()
- 产品之|产品之 2B、2C与2G
- 12.13
- 产品设计的简化
- 讲给资深产品人跳槽用的21道深度好问题
- 产品系列(九)-|产品系列(九)- 产品经理,你的价值是什么
- 大数据和AI时代,对于产品经理意味着什么