shell脚本实现数据库表增量同步的流程 shell脚本实现数据库表增量同步

需求：
每天定时将源数据库 study_plan 库的 zxxt_class 表
增量同步到目标数据库 axt_statistics 库的 zxxt_class 表中
前提条件：
两个库中的 zxxt_class 表结构一致
询问开发根据哪个字段作为增量参考，这里开发给的是id字段
流程：
【shell脚本实现数据库表增量同步的流程】获取 axt_statistics 库的 zxxt_class 表中id字段的最大id值
通过这个id值备份study_plan 库的 zxxt_class 表中大于此id的数据
将数据导入
脚本：

#!/bin/bash #通用变量MySql_Comm='/usr/local/mysql/bin/mysql'MySqldump_Comm='/usr/local/mysql/bin/mysqldump'DateTime=`date +%Y-%m-%d-%H:%M:%S` echo -e "\n\n${DateTime} -----脚本开始执行-----" >> /tmp/sourcedb.log #源数据库信息Source_MySql_User='root'Source_MySql_Pass='123456'Source_MySql_Port='3306'Source_MySql_DB='study_plan'Source_MySql_Table='zxxt_class'Source_Host_IP='192.168.0.100' #本机数据库信息Mysql_User='root'MySql_Pass='12345678'MySql_Port='3306'MySql_DB='axt_statistics'MySql_Table='zxxt_class'MySql_Bak_Dir="/tmp/`date +%Y-%m-%d-%H-%M`" #创建备份目录mkdir ${MySql_Bak_Dir} #备份本机表if [ -d ${MySql_Bak_Dir} ]; then${MySqldump_Comm} \-u${Mysql_User} \-p${MySql_Pass} \-h 127.0.0.1 \-P${MySql_Port} \${MySql_DB} ${MySql_Table} > ${MySql_Bak_Dir}/${MySql_DB}-${MySql_Table}.sqlelseecho "${DateTime} ERROR: ${MySql_Bak_Dir} 目录不存在" >> /tmp/sourcedb.logecho "${DateTime} -----脚本执行完成！！！-----" >> /tmp/sourcedb.logexit 1fi #获取本机表最大ID${MySql_Comm} \-u${Mysql_User} \-p${MySql_Pass} \-h 127.0.0.1 \-P${MySql_Port} \--compress ${MySql_DB} -e "select max(id) from ${MySql_Table}" > /tmp/tmp.txt ID_Num=`tail -1 /tmp/tmp.txt`echo $ID_Num #备份源表大于本机获取id的数据if [[ ${ID_Num} -gt 0 ]]; thenif [ -d ${MySql_Bak_Dir} ]; thenecho "${DateTime} 开始备份原主机${Source_MySql_DB} ${Source_MySql_Table} ID大于${ID_Num}的数据..." >> /tmp/sourcedb.log${MySqldump_Comm} -t \-u${Source_MySql_User} \-p${Source_MySql_Pass} \-h${Source_Host_IP} \-P${Source_MySql_Port} \--single-transaction --compress ${Source_MySql_DB} ${Source_MySql_Table} --where="id > '`tail -1 /tmp/tmp.txt`'" > ${MySql_Bak_Dir}/${Source_MySql_DB}-${Source_MySql_Table}.sqlecho "${DateTime} 数据备份完成 ${MySql_Bak_Dir}/${Source_MySql_DB}-${Source_MySql_Table}.sql" >> /tmp/sourcedb.log #导入数据if [ -f ${MySql_Bak_Dir}/${Source_MySql_DB}-${Source_MySql_Table}.sql ]; thenecho "${DateTime} 开始导入数据..." >> /tmp/sourcedb.log${MySql_Comm} \-u${Mysql_User} \-p${MySql_Pass} \-h 127.0.0.1 \-P${MySql_Port} \${MySql_DB} -e "source ${MySql_Bak_Dir}/${Source_MySql_DB}-${Source_MySql_Table}.sql"echo "${DateTime} 数据导入完成${MySql_Bak_Dir}/${Source_MySql_DB}-${Source_MySql_Table}.sql..." >> /tmp/sourcedb.logecho "${DateTime} -----脚本执行完成！！！-----" >> /tmp/sourcedb.logelseecho "${DateTime} ERROR: sql文件${MySql_Bak_Dir}/${Source_MySql_DB}-${Source_MySql_Table}.sql不存在!"echo "${DateTime} -----脚本执行完成！！！-----" >> /tmp/sourcedb.logexit 1fielseecho "${DateTime} ERROR: ${MySql_Bak_Dir} 目录不存在" >> /tmp/sourcedb.logecho "${DateTime} -----脚本执行完成！！！-----" >> /tmp/sourcedb.logexit 1fielseecho "${DateTime} ERROR: ID 等于 NULL" >> /tmp/sourcedb.logecho "${DateTime} -----脚本执行完成！！！-----" >> /tmp/sourcedb.logexit 1fi

注意！脚本中需要注意的是，从源库中使用mysqldump时必须加参数 -t ，-t 表示备份插入数据，如果不加 -t ，那么导入到目标库的数据将替换源有数据。
测试：