锐客网

  1. 首页 > it技术 > >

让数据库不再成为业务发展瓶颈——分布式数据库架构设计

IT大咖说 2017-10-27 11:38 让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片

让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片

让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片

内容来源：2017年6月4日，袋鼠云首席数据库架构师宏翊在“企业互联网架构优化升级之路”进行《让数据库不再成为业务发展瓶颈——分布式数据库架构设计》演讲分享。IT 大咖说作为独家视频合作方，经主办方和讲者审阅授权发布。
阅读字数：1705 | 3分钟阅读
摘要 企业如何实现高容量大并发数据库服务？公司业务高速发展，单实例数据库到达瓶颈的情况下，如何做好分布式设计，提供高并发高性能的数据库服务以支撑业务增长？
本次分享主要内容包括数据库分布式架构设计思路，拆分原理，改造难点，解决方案等，让数据库不再成为业务发展瓶颈。
大咖演讲视频 http://t.cn/RSdfyIx

为什么要做分布式？
高并发：分布式应用带来更大量的数据库请求。
高容量：业务增长，产生大量在线数据。
【让数据库不再成为业务发展瓶颈——分布式数据库架构设计】资源向上扩展存在天花板。
支撑业务高速发展，平滑扩容。

拆分原则：循序渐进
让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片

在业务初期，客户量比较少，可以把所有服务和数据都存在一个实例上，都能支持业务的发展。
发展之后的客户量、数据量和并发都上来了，这时数据库很容易出现瓶颈。我们建议大家首先进行服务化的改造，将不同的业务模块做垂直梳理，把不同服务的数据库相互隔离，中间的交互由业务上去实现。这样数据库就可以分布在不同的实例上，能够支持相对较高的并发和容量。
继续发展的话，实例依然是一个瓶颈，这时我们就要考虑做水平的拆分。把一个服务的数据分布到不同的实例上，以支持扩展、高并发、大容量的数据库服务。
拆分需要循序渐进，然后做服务的梳理，最后再做水平拆分。
水平拆分会引入一些复杂性，研发方面需要考虑的东西就比较多，所以需要谨慎地做拆分。数据库的拆分和业务架构紧密结合，有时在业务上的一个小改动完全可以把压力挡在数据库之外。
水平拆分的难点
水平拆分的一个服务数据会分布到不同的底层数据库上，所以会带来一些复杂性。
系统架构需要适应数据库的分布式，就需要做一些改造。面临的技术挑战就是应用需要处理复杂的分布式逻辑，比如分布式的事务、跨库查询。在稳定性方面也会有一些挑战，但不是最主要的。主要是分布式的局限性，分布式数据分布在不同的数据库上，它不支持跨库的join、分布式事务、以及全局sequence等。
解决方案：客户端实现数据路由
在客户端直接做一个配置，去实现路由的功能。它的好处就是不需要引入额外模块，整体架构不变；程序的把控力强，场景简单方便使用；对代码的侵入性强；配置管理复杂。
此方案不会引入额外的组建，架构上比较轻量，简单场景使用尚可，比如配置管理复杂等，不建议使用。
解决方案：数据库中间件
实现自动分库分表，对应用透明；使用门槛极低，应用改造量小；方便的动态水平扩容；针对分布式的各种定制功能，如异构索引、小表广播等；最重要的是，有了数据库中间件，应用看到还是单一的数据库。
中间件的使用最大限度的屏蔽了分布式数据库所引入的复杂性，极大降低了研发的门槛。
让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片

让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片


DRDS功能简介
分库分表是DRDS的核心功能，支持数据的多维度切分和路由访问；内建读写分离功能，可以灵活配置访问权重；自带全局唯一ID组件；查询引擎识别和下推复杂查询，兼容98% MySQL语法；弹性扩容组件实现自动化在线水平扩容。
让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片

DRDS物理框架
数据拆分，能够组合1K个MySQL；分布式SQL查询引擎与高度的SQL兼容性；数据存储的平滑扩容；处理性能的弹性伸缩；读写分离（应用透明）；小表广播、跨库join、全局sequence。
让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片

主库和读库通过数据库的原生复制实现，数据是强一致的。DRDS会自动判断请求，然后做分发。事务性的操作全部路由到主库上去，读库则承担一些读的操作。
让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片

把join从DRDS层往下推，在MySQL层实现它的join，业务设计上要避免跨库join。
让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片

分布式SQL规范设计：最佳实践
查询尽可能带上分库条件。如果把一个表拆分到底层的十个库，查询的时候每次都带上一个拆分条件，DRDS能够很清楚地把请求路由到底层的库上。
Join的时候有几种解决方案。一种是两个表的分库键都相等去做join，这样就能限定在一个库上。还有一种是广播表，join的字段不一样，但是每个表都带上分库的条件，这样还是会限定在同一个库里面。
让数据库不再成为业务发展瓶颈——分布式数据库架构设计
文章图片


EasyDB：数据库自动化管理平台
资源：实时监控数据库和服务器空间的使用状态。
高可用：云上高可用架构设计，故障自动切换。
备份：定期的数据库全量，增量备份，可灵活配置。
监控：异常情况下自动捕获和告警，支持短信，邮件和微信通知。
性能：超过50个指标性能趋势和SQL采集，实时监控数据库的运行状态。
日志：数据库错误日志采集。
安全：数据库账号和操作的审计，基于服务器的安全设计。
我今天的分享就到这里，谢谢大家！

    推荐阅读


    上一篇：暴力

    下一篇：java|通信之入门