数据库|全面提升体系化数据管理能力 | OceanBase 发布全新3.X工具家族数据库|OceanBase

文章图片

得益于支付宝超过十年的核心系统实践，OceanBase 自 2017 年正式商业化以来，目前已逐渐应用在金融、运营商、政府、能源等众多重点领域的核心系统。

在深入到企业核心应用的过程中，我们逐渐发现，要想成为一个合格的企业级产品，单单依靠一个强大的数据库内核远远不够，只有通过完整的产品工具体系，才能真正帮助企业更加安全高效地解决数据管理的问题。

于是，我们将 OceanBase 工具体系的建设放到了与内核同等重要的地位。希望通过一整套完整工具体系，覆盖数据全生命周期管理，为客户提供自动化、精细化、系统化的数据管理解决方案。

在工具体系的协助下，普通用户不再需要掌握深入的构架知识，也能够高效的进行管理工作，极大降低了用户的上手难度。

OceanBase 工具体系已经提供了包括迁移评估、数据同步、数据集成、开发调试、监控运维等一站式图形化能力。同时，持续加强企业级管理能力，保持接口开放，切实帮助企业高效、稳定、安全、便捷的使用 OceanBase 数据库。

文章图片

在 OceanBase Server 3.2 发布后不久，作为连接数据库用户和数据库内核最重要的生态工具产品，OceanBase 3.X工具家族于2022年1月6日重磅发布，在智能化、易用性和安全性方面均进行了全面的完善和提升。

文章图片

一、运维管理平台 OCP
在 OceanBase 分布式架构下，节点数随着业务发展持续增长，部署环境也逐渐从物理主机转变为各种虚拟化设施、私有云、公有云甚至容器，随之带来数据库运维、管理、监控的复杂性，企业客户面临新的挑战。

OceanBase 运维管理平台（OceanBase Cloud Platform，简称 OCP）是一款为 OceanBase 数据库集群量身打造的企业级产品。提供对 OceanBase 集群的图形化监控管理和诊断能力，包括数据库组件及相关资源的全生命周期管理、故障恢复、性能诊断、监控告警，智能优化等。旨在协助客户更加高效地管理 OceanBase 集群，降低企业的IT运维成本和用户的学习成本。

OCP 紧贴 OceanBase 分布式数据库的系统特点和版本功能，支撑 OceanBase 数据库安全生产三板斧：可监控、可回滚、可灰度，有效解决当下数据库监控诊断和运维管理中遇到的诸多痛点问题，成为企业客户运维 OceanBase 的最佳选择。

文章图片

OCP 性能监控示例

文章图片

OCP 数据库性能报告示例

在新版本中，OCP 新增了活跃会话历史报告，提供数据库历史活跃会话信息，辅助用户、进行租户性能诊断；备份恢复支持二次备份，同时也优化了 OCP 不同权限用户的可视化内容，使用户真正实现所见即所得。OCP 新增接管 OceanBase Proxy 的能力，实现了接管链路的完整性。除此之外，SQL 诊断增加导出功能，方便客户分析问题等等。（* 完整的产品更新记录参见官网）

01 “监控-告警-诊断”全链路整合，智能诊断一键处理

监控告警和故障诊断是 OCP 提供的基础能力。

在本次发布的新版本中，通过智能化关联分析，OCP 创新的将“监控-告警-诊断”几个连续环节有机地结合起来。从监控或告警出发，采用人性化的引导方式，协助客户快速发现故障的根本原因，并提供对应建议和一键处理的能力。

比如，性能监控中的告警信息已经能够与集群、租户、节点的诊断信息智能关联。当某个集群的 QPS RT 突然增加，在监控页面通过智能下探就能够定位到耗时异常的具 observer 进程，再进一步展开 observer 进程信息，可以看到进程所在主机的 IO 耗时异常，最终定位到一块物理盘故障，并建议客户更换。

本次更新添加了更为丰富的故障处理手段。比如在日常数据库运维场景中，SQL 性能下降是最为常见的问题，可能的原因多种多样，包括：执行计划改变，SQL 执行受阻，热点行锁等等。针对不同的原因，OCP 提供了有针对性的修复能力供客户选择：通过绑定历史计划能够修复因执行计划变化导致的性能下降；通过 SQL 诊断能力发现导致热点行的关键字信息，并可进一步对关键字进行限流，在数据库一级控制该热点值并发请求的数量。通过数据库层面提供的 SQL 并发限流和关键字限流能力，客户不需要再依赖传统的应用限流，简化了应用架构的设计。

02 独有异地容灾部署，管理平台持续在线

随着 OCP 功能的不断增强，已经成为整个数据管理体系不可或缺的一部分。与此同时，越来越多的企业客户要求 OCP 提供与 OceanBase 同样的容灾能力。在故障与灾难面前，客户不但需要数据库服务在线，同样需要管理平台 OCP 保持服务。

OCP 在本次更新中提供了异地容灾的能力。当 OceanBase 采用多地部署时，OCP 集群可同样采用跨地域的部署方式。当其中的一个城市的 OCP 集群发生故障时，另一个 OCP 集群将会承担起对 OceanBase 集群的运维、监控和告警的能力，保证管理平台持续在线。

二、数据迁移同步服务 OMS 【数据库|全面提升体系化数据管理能力 | OceanBase 发布全新3.X工具家族】
在全行业持续加速数字化的趋势下，异构数据终端传输与大数据治理已成为企业数字化进程面临的挑战。数据迁移、数据同步、以及对异构数据的整合治理，已经成为企业数字化转型不可避免的任务。

OceanBase 数据迁移服务（OceanBase Migration Service，简称OMS）是 OceanBase 一站式数据传输和同步的产品。它支持多种关系型数据库，消息队列与 OceanBase 之间的数据复制，是集数据迁移、实时数据同步和增量数据订阅于一体的数据传输服务。

文章图片

数据迁移服务OMS功能说明

3.2.2 是 OMS 的里程碑版本，该版本巩固了 Oracle、DB2、MySQL 等数据库与 OceanBase 之间的数据复制能力，产品功能更为完整，性能全面提升。在大数据量、大事务等场景下，对产品稳定性、资源消耗等多个层面进行了深度优化。3.2.2 提供了业界领先的异构数据库之间增量 DDL 的自动同步功能；通过智能化手段提升了数据库复制的连贯性；攻克了自动运维同步任务的难题。同时，新增支持跨地域部署，从而更加便捷、高效地支撑数据库迁移和版本升级、数据库跨地域容灾、业务双活、实时数据分析等多个业务场景。（* 完整的产品更新记录参见官网）

文章图片

OMS 界面示例

01 运筹帷幄，OMA 提前预知潜在迁移风险

数据迁移评估 OMA（OceanBase Migration Assessment）是 OMS 的重要组成部分，能够对 SQL 语法与数据库对象的兼容性进行评估，通过可视化报表展示结果，并提供修改建议。

除了对静态对象的评估，OMA 还能够在目标数据库回放源数据库的工作负载，以此对迁移后的性能进行预估，提前发现性能瓶颈，优化存在性能问题的 SQL，为实际迁移工作的成功提供保障。

本次更新后，OMA 将参与到数据库系统迁移的整个生命周期中。

兼容性评估：通过 OMA 完成源库的数据库画像，方便用户了解目前数据库的拓扑情况、应用拓扑情况和数据库的整体负载，以便制定相应的迁移策略。

性能评估：通过 OMA 抓取源库 SQL 或通过负载文件分析，回放对应的 SQL 至目标 OceanBase 数据库中，长期验证 SQL 的正确性和性能，并提供自动改造和自动优化建议。以帮助 OceanBase 查找并解决兼容性和性能的问题。此外，OMA还支持负载回放功能，对 OceanBase 数据库模拟真实流量或倍数流量进行压测，评估 OceanBase 数据库的压测性能，提供报告方便用户进行决策，降低迁移风险。

在 OceanBase 数据库进行升级或变更时：通过 OMA 的数据回放功能，测试新版 OceanBase 数据库的性能情况并提供报告，降低升级和变更风险。

数据库|全面提升体系化数据管理能力 | OceanBase 发布全新3.X工具家族

文章图片

OMA 迁移评估报告示例

02 异地多活数据复制技术，高可用与高性能二者兼得

数据同步是 OMS 的重要功能之一，而异地多活则是数据同步工具面对的最常见的场景。为了更好的支持异地多活、跨城灾备场景下，数据同步对业务的支撑，OMS 新增支持多地域部署形态，用户可以灵活的配置各地域的资源节点，借助 OMS 强大的数据复制能力，应用能够实现就近读取、就近写入，极大地降低了网络带宽传输消耗。

异地多活场景面临的一个重要技术难题就是在复杂拓扑下防止数据循环写入。OMS 采用独创的事务流量识别技术，能够在数据流中分辨出流量来自业务写入还是同步平台写入，避免数据在多个节点间反复同步。在保证多个地域的业务写入会被同步到其他地域的同时，避免了数据的循环复制。

03 高性能分布式数据校验技术，保证数据复制安全准确

数据正确性是数据复制场景的基础要求，特别是对金融行业核心业务领域至关重要。数据同步平台需要有反复验证数据正确性的能力，保证数据在同步的过程中既不能丢、也不能错。

在此次更新中，OMS 提供了对流、批数据的高性能校验能力，分单机和分布式两种方式，能够满足用户多样化的使用场景。在多个数据源混合复制场景中，除了数据一致性校验，同时还能够对校验不一致的数据进行一键订正。通过分布式并发校验技术，OMS可同时校验上千个实例的复制链路，使得整个校验过程保持超高的性能。

04 持续提升数据复制能力，保障业务系统轻松迁移

OMS 对数据复制能力进行了大幅加强。

在增量同步的场景下，提供 DDL 自动同步的能力，智能化地解决同构或异构数据库同步时对象定义变更的难题。借助智能 DDL 转换框架，OMS 更能够紧密贴合 OceanBase 的内核功能和兼容性能力，提供专业精准的异构转换规则，并采用最佳实践方案完成异构数据库 DDL 的自动转换。

新增支持轻量 ETL 能力，用户可配置规则，根据 DML 类型进行数据过滤，也可以自定义 where 条件过滤数据。OMS 的数据校验功能会依据过滤条件进行自动处理，以保障全链路采用统一的过滤策略进行数据复制和数据校验。

05 、大量易用性优化，用户体验继续升级

新版本增加了几十项用户体验优化，比如：

优化可视化操作流程，轻松配置迁移同步链路，提供多维度的系统监控，降低上手和维护成本；
提供更高效，更可控的告警机制，确保用户随时掌握链路状态和可能发生的风险；
支持通过配置通配规则方式来选择迁移对象，方便用户快速、批量设置迁移对象；
新增项目标签功能，方便用户使用标签进行过滤分组管理迁移、同步项目。

三、开发者中心 ODC
OceanBase 开发者中心（OceanBase Developer Center，简称ODC）是为 OceanBase 提供的企业级数据库开发平台。ODC 支持连接 OceanBase 中 MySQL 和 Oracle 租户的数据库，为数据库开发者提供了日常程序开发、代码调试、SQL 调优与诊断、会话管理和数据导入导出等功能。ODC 采用成熟的 B/S 架构，跨平台，轻量化，易部署，同时还提供桌面单机版本，满足个人开发者快速上手使用的需求，也提高了开发人员与 DBA 的协作效率。

在经过了新一轮的优化与提升后，迎来了 3.2 新版本。ODC 3.2 的核心目标是建立权限模型，向安全管控迈出第一步。同时在稳定性和易用性方面更上一个台阶，在 SQL 执行、对象交互、结果集查看与编辑方面做了大量优化工作，旨在为用户享有更好的使用体验。（* 完整的产品更新记录参见官网）

文章图片

ODC 操作台示例

01 新增公共资源管理，实现企业级安全访问控制

日常工作中，数据库管理者经常会碰到这种需要：希望开发者能够有权限访问或操作某些库时，不希望这类用户获取数据库账号密码，同时能够实时回收他们的权限。依赖数据库账号体系是无法满足这些需求的，这种情况下只能依赖外部的权限系统。

作为企业数据库开发平台，ODC 3.2 提供了公共资源管控台的能力。仅某些有管理员角色的用户才可登录公共资源管控台。管理员进入管控台后可新建用户，并通过角色为用户赋权。同时对已存在的用户，管理员同样可对他们进行基本信息修改、权限调整以及删除操作。

公共资源管控服务的引入，方便管理员对用户连接进行集中化管控。通过对接企业用户权限体系，实现整合的数据库连接权限管理，极大提升了系统的安全性和管理的便利性。

02 灵活的结果集交互能力，体验更接近经典桌面工具

传统桌面开发工具通常会将结果集与外部程序适配，能够实现与 Excel 等程序之间的复制粘贴操作，极大提升了开发过程的便利性。

ODC 虽然基于浏览器运行，也同样对结果集交互进行了优化。新版本支持结果集内部及与 Excel 间行列数据相互拷贝粘贴。列模式查看时能够和表数据交互；复制部分结果集内容输出到剪切板。当查询出的结果集内容超过屏幕显示时，支持 Ctrl+鼠标滚动查看超出屏幕外内容。结果集编辑时，文本字段支持在单元格内通过 Shift+Enter 进行换行并支持给字段单元格设置默认值。

ODC 本次迭代同时优化了函数、存储过程、序列、程序包对象的新建、管理交互，并对会话属性的编辑交互进行了调整，对连接断连时的提示样式进行调整，不再影响现有窗口内容查看。

写在最后

OceanBase 数据库成长于互联网业务环境，其工具体系的快速成长离不开企业客户在核心系统的生产实践。在这里，我们向陪伴 OceanBase 工具体系一路走来的所有客户致以衷心的感谢。

未来，我们将继续坚持以客户需求为中心，听取更多企业客户在真实场景的需要，于实践中不断磨练产品的质量和体验。产品的易用性、稳定性、安全性、以及功能范围也将会持续提升，在企业核心系统的运行管理中发挥更大的作用。