如何保证主从复制数据一致性
上面说完了异步复制、半同步复制、PXC , 我们回到主题:在常规的主从复制场景里,如何能保证主从数据的一致性 , 不要出现数据丢失等问题呢?
在MySQL中,一次事务提交后,需要写undo、写redo、写binlog,写数据文件等等 。在这个过程中,可能在某个步骤发生crash,就有可能导致主从数据的不一致 。为了避免这种情况,我们需要调整主从上面相关选项配置,确保即便发生crash了,也不能发生主从复制的数据丢失 。
1. 在master上修改配置
innodb_flush_log_at_trx_commit = 1
sync_binlog = 1
上述两个选项的作用是:保证每次事务提交后,都能实时刷新到磁盘中,尤其是确保每次事务对应的binlog都能及时刷新到磁盘中,只要有了binlog,InnoDB就有办法做数据恢复,不至于导致主从复制的数据丢失 。
2. 在slave上修改配置
master_info_repository = "TABLE"
relay_log_info_repository = "TABLE"
relay_log_recovery = 1
上述前两个选项的作用是:确保在slave上和复制相关的元数据表也采用InnoDB引擎,受到InnoDB事务安全的保护,而后一个选项的作用是开启relay log自动修复机制,发生crash时,会自动判断哪些relay log需要重新从master上抓取回来再次应用 , 以此避免部分数据丢失的可能性 。
通过上面几个选项的调整,就可以确保主从复制数据不会发生丢失了 。但是,这并不能保证主从数据的绝对一致性,因为 , 有可能设置了ignore\do\rewrite等replication规则,或者某些SQL本身存在不确定因素,或者人为在slave上修改数据,最终导致主从数据不一致 。这种情况下,可以采用pt-table-checksum 和 pt-table-sync 工具来进行数据的校验和修复 。
如何使MySQL前后端连接SESSION变量保持一致最近在开发MySQL代理中间件过程中, 遇到这样一个问题: 当前后端连接不是一一对应的关系时, 对前端连接设置SESSION级别的变量时, 如何能使前端后变量的值保持一致?
一个直观的实现方式是, 拦截SET语句, 判断scope是SESSION时, 将变量的值保存在前端连接中. 当执行其他查询语句时, 在获取后端连接后, 先将前端连接中保存的变量逐一发送到后端连接, 然后执行查询语句, 释放后端连接时再将变量的值恢复.
这种实现方式存在几个显著的问题.
1 存在一定的性能损耗, 至少增加了1次与后端MySQL的交互. 但是, 这也是后端连接池方案都会遇到的问题, 前后端连接绑定不存在这种问题, 但是也就失去了连接池带来的好处.
2 需要判断参数值是否合法, 实现起来非常繁琐. 例如, 如果考虑支持字符集设置, 就要枚举出MySQL支持的所有字符集及字符序类型, 解析 SET NAMES 'utf8' COLLATE 'utf8_general_ci' 时, 对字符集和字符序进行合法性判断. 对于某些参数, 例如sql_mode, 还需要考虑MySQL版本之前的差异.
在这种实现方式下, 有几个优化点可以参考.
1 批量执行SET语句. MySQL语法层面支持 SET SESSION var1 = val1, SESSION var2 = val2; , 因此不论前端连接接收到的SET语句是单条的还是批量的, 在将这些kv值发往后端时, 可以整合成一条SQL, 从而减少与MySQL的交互次数, 提高执行效率.
2 后端连接按需重置. 当归还后端连接时, 不再重置连接, 而是在下一次获取连接时, 先判断连接中的变量值与前端连接是否全部相同, 如果全部相同, 则不需要重置, 可以直接使用, 否则, 将那些值不相同的变量设置到后端连接.
3 使用 COM_RESET_CONNECTION 命令重置连接. COM_RESET_CONNECTION命令可以将连接恢复到初始状态, 具体内容可参考文档:. 但是, 如果连接创建时的状态不是连接的默认状态, 就不能使用这种方式重置连接. 例如, 在启动mysql client时指定的字符集不是DEFAULT, 那么执行该命令后会错误地把连接的字符集设置成DEFAULT.
推荐阅读
- 新颖的毕业设计网站,毕业设计网站制作
- 关于什么叫正版印度舞蹈视频的信息
- 在电商平台如何变更收货人,收货人如何更改收货地址
- 快手直播签约设置不了,快手直播不签约怎么提成的?
- python截屏函数 python pil截图
- 小程序开发用哪个,小程序开发哪个平台好
- 解谜游戏阴阳先生,阴阳先生的奇闻异事
- u盘装系统系统是什么格式,u盘装系统好用
- php7数据类型 php常用数据类型的语法格式