锐客网

  1. 首页 > it技术 > >

day10mysql的高可用

一，mysql高可用架构
1.1 企业高可用评估指标：
3个9一般级别，4个9互联网级别，5个9金融级别
1.2 mysql 数据库高可用架构产品
主备系统：
(1) KA+双主结构+自主开发的脚本(节点监控,数据校验,数据补偿) 3个9
(2) Google MMM 3-4个
(3) Facebook MHA 4个9 , Taobao TMHA , TDSQL MHA
多活系统
(5) PXC(percona), MGC(mariadb) , MySQL Cluster 5个9
(6) InnoDB Cluster , PolarDB ,TiDB 分布式高可用
1.3 基础架构搭建环境准备

（1）环境准备（一主两从） (2) 准备配置文件 主库db01： cat > /etc/my.cnf < EOFslave1(db02)： cat > /etc/my.cnf < EOFslave2(db03)： cat > /etc/my.cnf < EOF (3) 初始化数据 mysqld --initialize-insecure --user=mysql --basedir=/usr/local/mysql--datadir=/data/mysql/data (5) 启动数据库 /etc/init.d/mysqld start (6) 构建主从： master:51 slave:52,5351: grant replication slaveon *.* to repl@'10.0.0.%' identifiedby '123'; 52\53: change master to master_host='10.0.0.52', master_user='repl', master_password='123456' , MASTER_AUTO_POSITION=1; start slave;

说明：MHA高可用至少需要1主两从结构，独立节点，不能是多实例，开启GTID复制更好一些
配置关键程序软连接 ln -s /usr/local/mysql/bin/mysqlbinlog /usr/bin/mysqlbinlog
ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql
说明：MHA工作过程不会调用profile里的环境变量所以系统设置。
配置个节点互信 db01：
rm -rf /root/.ssh
ssh-keygen
cd /root/.ssh
mv id_rsa.pub authorized_keys
scp -r /root/.ssh 10.0.0.52:/root
scp -r /root/.ssh 10.0.0.53:/root
用于截取日志时恢复免交互yes
1.4 MHA软件下载及配置
(1) 下载mha软件
mha官网：https://code.google.com/archive/p/mysql-master-ha/
github下载地址：https://github.com/yoshinorim/mha4mysql-manager/wiki/Downloads
(2) 所有节点安装Node软件依赖包
yum install perl-DBD-MySQL -y
rpm -ivh mha4mysql-node-0.56-0.el6.noarch.rpm
(3) 在db01主库中创建mha需要的用户 也可提供给监控做管理用户。
grant all privileges on . to mha@'10.0.0.%' identified by 'mha';
(5) Manager软件安装（db03）
yum install -y perl-Config-Tiny epel-release perl-Log-Dispatch perl-Parallel-ForkManager perl-Time-HiRes
yum install -y mha4mysql-manager-0.56-0.el6.noarch.rpm
此处装一个管理主从的manager软件，一般放在单独一台清凉的服务器上，此处装S2上
1.5 配置文件准备
1.创建配置文件目录 mkdir -p /etc/mha 2.创建日志目录 mkdir /var/log/mha/app1/manager 3.编辑MHA配置文件 cat > /etc/mha/app1.cnf<

1.6 状态检查
masterha_check_ssh --conf=/etc/mha/app1.cnf
masterha_check_repl --conf=/etc/mha/app1.cnf
1.7 开启mha(db03)
nohup masterha_manager --conf=/et c/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 & --conf=/etc/mha/app1.cnf:业务配置文件,可以管理多套MHA架构 --remove_dead_master_conf :自动剔除故障主节点 --ignore_last_failover:忽略最后一次failover.

1.8 查看各关闭命令
[root@db03 ~]# masterha_check_status --conf=/etc/mha/app1.cnf
[root@db03 ~]# masterha_stop --conf=/etc/mha/app1.cnf
1.9 配置总结
10.5.2 软件结构 Manager ： masterha_manger启动MHA masterha_check_ssh检查MHA的SSH配置状况 masterha_check_repl检查MySQL复制状况 masterha_master_monitor检测master是否宕机 masterha_check_status检测当前MHA运行状态 masterha_master_switch控制故障转移（自动或者手动） masterha_conf_host添加或删除配置的server信息

Node ：
这些工具通常由MHA Manager的脚本触发，无需人为操作
save_binary_logs 保存和复制master的二进制日志
apply_diff_relay_logs 识别差异的中继日志事件并将其差异的事件应用于其他的
purge_relay_logs 清除中继日志（不会阻塞SQL线程）
1.10MHA的工作原理 *****
①，MHA应用在最低一主两从的mysql主从复制环境中 ②，会通过masterha_manager来启动MHA的manager管理程序 ③，MHA会通过msterha_master_monitor监控主从的状态通过ping机制放送四次心跳检测 ④，如果发现主库异常，会触发failover程序，从新选择新的主库，依次选择原则为，权重设置，binlog量的大小，配置中server的顺序。 ⑤，数据补偿mha会调用server_binlog机制自动连接save_binary_logs恢复缺失的日志到各个节点的/var/tmp/xxx.log文件中，此外如果不能建立ssh连接情况会通过apply_diff_relay_logs自动对比差异互相补偿。 ⑥，数据补偿完成后，会调用masterha_master_switch脚本进行切换，原理为stop 各个节点slave，然后change masterreset slave all新的主库信息 ⑦，对与应用透明需求VIP需要调用master_ip_script指定脚本，实现vip漂移到新的主库 ⑧，调用report_script指定脚本大宋故障信息 ⑨，最好原先的主库信息在manster 的配置文件中被清楚掉，且masterha_manager也会实去作用。

具体操作 【day10mysql的高可用】准备vip脚本
[root@db03 ~]# cp master_ip_failover.txt /usr/local/bin/master_ip_failover
vi/usr/local/bin/master_ip_failover my $vip = '10.0.0.55/24'; my $key = '1'; my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip"; 注意eth0根据实际写 my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down"; 注意： [root@db03 ~]# dos2unix /usr/local/bin/master_ip_failover dos2unix: converting file /usr/local/bin/master_ip_failoverto Unix format ... [root@db03 ~]# chmod +x/usr/local/bin/master_ip_failover 10.7.2 更改manager配置文件： vim /etc/mha/app1.cnf 添加： master_ip_failover_script=/usr/local/bin/master_ip_failover10.7.3 主库上，手工生成第一个vip地址 手工在主库上绑定vip，注意一定要和配置文件中的ethN一致，我的是eth0:1(1是key指定的值) ifconfig eth0:1 10.0.0.55/2410.7.5 重启mha masterha_stop --conf=/etc/mha/app1.cnf nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &10.8binlog server（db03）额外数据补偿的功能(binlog server功能) 10.8.1 配置参数： vim /etc/mha/app1.cnf [binlog1] no_master=1 hostname=10.0.0.53 master_binlog_dir=/data/mysql/binlog10.8.2 创建必要目录 mkdir -p /data/mysql/binlog chown -R mysql.mysql /data/*10.8.3 拉取主库binlog日志 cd /data/mysql/binlog mysqlbinlog-R --host=10.0.0.51 --user=mha --password=mha --raw--stop-never mysql-bin.000001 &**注意: 生产中, 拉取起点从正在使用的binlog开启**10.8.5 重启MHA masterha_stop --conf=/etc/mha/app1.cnfnohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &10.9. 邮件提醒(db03) 10.9.1 准备脚本 [root@db03 ~]# unzip email_2019-最新.zip [root@db03 ~]# cd email/ [root@db03 ~/email]# ll 总用量 88 -rw-r--r-- 1 root root35 12月 27 2017 send -rw-r--r-- 1 root root 80213 9月30 2009 sendEmail -rw-r--r-- 1 root root203 4月19 2019 testpl [root@db03 ~/email]# cp -a * /usr/local/bin/ [root@db03 ~/email]# cd /usr/local/bin/ [root@db03 /usr/local/bin]# chmod +10.9.2 修改参数： vim /etc/mha/app1.cnf report_script=/usr/local/bin/send10.9.3 重启MHA masterha_stop --conf=/etc/mha/app1.cnfnohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &10.10 测试MHA高可用能力,并恢复.10.10.1 停主库 pkill mysqld 10.10.2 观察切换结果 vip 主从身份 配置文件 binlogserver manager进程 看日志 [root@db03 ~]# vim /var/log/mha/app1/manager

2. 修复全新的高可用环境（高可用故障皆可按以下思路排查）
1. 检查修复主从关系开启mysql故障库（此处模拟的时库关闭）重新建立新的主从关系 db01: change master to master_host='10.0.0.52', master_user='repl', master_password='123' , MASTER_AUTO_POSITION=1; start slave; 2. 检查修复配置文件 db03 : 添加此信息 vim /etc/mha/app1.cnf [server1] hostname=10.0.0.51 port=3306 3. 修复binlogserver [root@db03 ~]# cd /data/mysql/binlog/ [root@db03 /data/mysql/binlog]# rm -rf * mysqlbinlog-R --host=10.0.0.52 --user=mha --password=mha --raw--stop-never mysql-bin.000001 & **说明：此处调用的是日志补偿脚本，先删除原先主库的日志文件从新从新的主库拉取，在企业环境中选择最新的binlog日志文件即可。 5. 检查vip是否漂移到新的主库 命令 ifconfig eth0:1 10.0.0.55/24添加临时vip网卡重启也会消失 ifconfig eth0:1 down删除 6. 互信检查，主从检查，此检查会检查主从关系，MHA脚本调用及vip等信息，可关注报错 masterha_check_ssh--conf=/etc/mha/app1.cnf masterha_check_repl--conf=/etc/mha/app1.cnf 7. 启动manager nohup masterha_manager --conf=/etc/mha/app1.cnf --remove_dead_master_conf --ignore_last_failover < /dev/null> /var/log/mha/app1/manager.log 2>&1 &[root@db03 /data/mysql/binlog]# masterha_check_status --conf=/etc/mha/app1.cnf

    推荐阅读


    上一篇：我来不及认真地年轻，待明白过来时，只能选择认真地老去。|我来不及认真地年轻，待明白过来时，只能选择认真地老去。 ～三毛

    下一篇：活着已是幸福