容器化|容器化 | 基于 Kubernetes 的新一代 MySQL 高可用架构实现方案容器化|基于Kubernetes的新一代

文章图片

作者：高日耀资深 MySQL 内核研发
本文源于作者在 KubeSphere & Friends 2021 杭州站的演讲内容《基于 Kubernetes 的新一代 MySQL 高可用架构实现方案》。

本文是 MySQL 容器化系列的第三篇文章，主要介绍 MySQL 容器化 Helm 版本[1] 的设计思路。
Dockerfile 简介首先 RadonDB MySQL 一个 Pod 中的容器角色中，一般包含 MySQL、Xenon、slowlog 三个容器。

容器化|容器化 | 基于 Kubernetes 的新一代 MySQL 高可用架构实现方案

文章图片

其中，MySQL 和 Xenon Dockerfile 目录结构如下所示：

文章图片

MySQL Dockerfile 解析
启动 MySQL 主进程前，需要准备数据库配置、初始化等，这些工作要在最终的 MySQL 运行之前解决。在制作镜像时，通过配置 MySQL Dockerfile 中 ENTRYPOINT 和 CMD 参数，可提前准备数据库配置、初始化等进程。
Docker 是分层的，每一条命令都会建一个镜像层，分层太多会导致快速膨胀。在制作镜像时，不建议分层太多。
MySQL Dockerfile 文件中命令示例如下：

文章图片

MySQL mysql-entry.sh 文件中包含启动命令，其主要执行流程如下：

文章图片

Xenon Dockerfile 解析
Xenon Dockerfile 比较简单，跟 MySQL Dockerfile 流程类似。
Xenon Dockerfile 命令示例如下：

文章图片

xenon-entry.sh 主要功能：

生成 Xenon 配置文件，在 Xenon 启动的时候调用
ping host

name 生成及环境变量 name 生成
首先我们看下 chart 目录下功能文件列表，chart 下包含的文件如下图所示：

文章图片

其中，_helpers.tpl 常需引用 Chart.yaml 和 values.yaml 中定义的变量，继而实现如下能力：

生成 app 名字：helm install release <版本名，如 emo> <项目名，如radondb-mysql>

生成 serviceAccountName 名字。

生成 chart 名字和版本。

通过命令 helm get all demo，可查看 demo 中所有信息。查看 service 部分 name 示例如下:

104 # Source: radondb-mysql/templates/serviceaccount.yaml 105 apiVersion: v1 106 kind: ServiceAccount 107 metadata: 108name: demo-radondb-mysql 109labels: 110app: demo-radondb-mysql 111chart: radondb-mysql-1.0.0 112release: "demo" 113heritage: "Helm"

环境变量
环境变量主要目的是保存密码和配置参数解耦。

secrets.yaml 功能
- Opaque
- base64 转码
- 加密插件
configmap.yaml 功能
- 将配置参数和 docker 镜像解耦
- 保存一些配置参数和修改 lable 的脚本

文章图片

如何识别集群中 leader、follower 角色？识别集群节点角色，需创建一个服务账号，并授予相应的权限。通过执行在 config 文件中保存的脚本，调用相应的 API 来修改对应角色的 lable。

文章图片

节点角色修改后，相应 lable 效果如下。此时，通过服务标签后缀，即可轻松辨别 Leader 和 Follower 角色的节点。

文章图片

在 KubeSphere[2] 管理控制台，可查看到角色修改后示例如下：

文章图片

如何实现读写分离？ RadonDB MySQL 读写分离，通过 Headless service for stable DNS [3] 来实现。

文章图片

分配一个集群内部可以访问的虚拟 IP (VIP)，VIP 是固定的，而节点所绑定的 Pod 的 IP 是可以变化的，每个 Node 上分配一个端口作为外部访问入口。以此特点，可以设定一个读 IP 和一个写 IP，来达到读写分离的目的，而无需担心新绑定 Pod 致使 IP 发生变化。
以 Leader 节点为例，下图所示的 ClusterIP 对应写 IP(10.111.92.63)，其绑定当前的 Pod（主）IP 为 172.17.0.10。

文章图片

邂逅 KubeShpere RadonDB MySQL 已经登录 KubeSphere 应用商店（3.1.0 版本推出），可以通过 KubeSphere 来实现对集群的查看和管理。
1、通过终端查看集群正常时 gtid 和对应的状态

文章图片

2、模拟 Follower 节点挂掉场景
kill 掉名为 demo-radondb-mysql-2 的 follower：

文章图片

从另外一个节点登入终端再次查看集群状态，该 follower 节点 MySQL 和 IO/SQL 状态都不正常。

文章图片

从 KubeSphere 界面查看：

文章图片

挂掉的节点重新拉起，集群开始重新发起选举：

文章图片

3、Leader （demo-radondb-mysql-0）节点挂掉场景
leader 降级为 follower，原来另外两个从节点进入候选者状态：

文章图片

从 KubeSphere 界面查看，这时已经查不到 leader pod：

文章图片

等待一段时间，集群选出新主（demo-radondb-mysql-2）：

文章图片

从 KubeSphere 看到原来的主（demo-radondb-mysql-0）变为 follower：

文章图片

4、网络隔离
将新主(demo-radondb-mysql-2) 隔离。

文章图片

等待一段时间，可以看到新主(demo-radondb-mysql-0)重新被选出：

文章图片

[1]. RadonDB MySQL Kubernetes：https://github.com/radondb/ra...
[2]. KubeSphere：https://kubesphere.com.cn
[3]. Headless service：https://kubesphere.com.cnhttp...
关于 RadonDB RadonDB 开源社区是一个面向云原生、容器化的数据库开源社区，为数据库技术爱好者提供围绕主流开源数据库（MySQL、PostgreSQL、Redis、MongoDB、ClickHouse 等）的技术分享平台，并提供企业级 RadonDB 开源产品及服务。
目前 RadonDB 开源数据库系列产品已被光大银行、浦发硅谷银行、哈密银行、泰康保险、太平保险、安盛保险、阳光保险、百年人寿、安吉物流、安畅物流、蓝月亮、天财商龙、罗克佳华、升哲科技、无锡汇跑体育、北京电信、江苏交通控股、四川航空、昆明航空、国控生物等上千家企业及社区用户采用。
RadonDB 可基于云平台与 Kubernetes 容器平台交付，不仅提供覆盖多场景的数据库产品解决方案，而且提供专业的集群管理和自动化运维能力，主要功能特性包括：高可用主从切换、数据强一致性、读写分离、一键安装部署、多维指标监控&告警、弹性扩容&缩容、横向自由扩展、自动备份&恢复、同城多活、异地灾备等。RadonDB 仅需企业及社区用户专注于业务层逻辑开发，无需关注集群高可用选型、管理和运维等复杂问题，帮助企业及社区用户大幅度提升业务开发与价值创新的效率！
GitHub:
https://github.com/radondb
【容器化|容器化 | 基于 Kubernetes 的新一代 MySQL 高可用架构实现方案】微信群：请搜索添加群助手微信号 radondb