锐客网

  1. 首页 > 睿知 > it技术 > >

php多线程处理大数据库 php多线程和多进程实现( 四 )

IT技术数据库


innodb_buffer_pool_size这是个用来保存索引和数据的内存缓存区，如果机器是MySQL独占的机器，一般推荐为机器物理内存的80% 。在取表数据的场景中，它可以减少磁盘IO 。一般来说，这个值设置越大，cache命中率会越高 。
4. 分库/分表/分区 。
MySQL数据库表一般承受数据量在百万级别 ， 再往上增长 ， 各项性能将会出现大幅度下降，因此，当我们预见数据量会超过这个量级的时候 ， 建议进行分库/分表/分区等操作 。最好的做法 ， 是服务在搭建之初就设计为分库分表的存储模式，从根本上杜绝中后期的风险 。不过，会牺牲一些便利性，例如列表式的查询，同时，也增加了维护的复杂度 。不过 ， 到了数据量千万级别或者以上的时候 ， 我们会发现，它们都是值得的 。
二、 MySQL数据库多台服务搭建
1台MySQL机器，实际上是高风险的单点，因为如果它挂了，我们Web服务就不可用了 。而且，随着Web系统访问量继续增加，终于有一天，我们发现1台MySQL服务器无法支撑下去，我们开始需要使用更多的MySQL机器 。当引入多台MySQL机器的时候，很多新的问题又将产生 。
1. 建立MySQL主从，从库作为备份
这种做法纯粹为了解决“单点故障”的问题 ， 在主库出故障的时候，切换到从库 。不过，这种做法实际上有点浪费资源，因为从库实际上被闲着了 。
2. MySQL读写分离 ， 主库写 ， 从库读 。
两台数据库做读写分离，主库负责写入类的操作，从库负责读的操作 。并且 ， 如果主库发生故障，仍然不影响读的操作，同时也可以将全部读写都临时切换到从库中（需要注意流量 ， 可能会因为流量过大，把从库也拖垮） 。
3. 主主互备 。
两台MySQL之间互为彼此的从库，同时又是主库 。这种方案，既做到了访问量的压力分流 ， 同时也解决了“单点故障”问题 。任何一台故障，都还有另外一套可供使用的服务 。
不过，这种方案，只能用在两台机器的场景 。如果业务拓展还是很快的话，可以选择将业务分离，建立多个主主互备 。
三、 MySQL数据库机器之间的数据同步
每当我们解决一个问题，新的问题必然诞生在旧的解决方案上 。当我们有多台MySQL ， 在业务高峰期，很可能出现两个库之间的数据有延迟的场景 。并且，网络和机器负载等 ， 也会影响数据同步的延迟 。我们曾经遇到过，在日访问量接近1亿的特殊场景下 ， 出现 ， 从库数据需要很多天才能同步追上主库的数据 。这种场景下，从库基本失去效用了 。
于是 ， 解决同步问题 ， 就是我们下一步需要关注的点 。
1. MySQL自带多线程同步
MySQL5.6开始支持主库和从库数据同步，走多线程 。但是，限制也是比较明显的，只能以库为单位 。MySQL数据同步是通过binlog日志，主库写入到binlog日志的操作，是具有顺序的，尤其当SQL操作中含有对于表结构的修改等操作，对于后续的SQL语句操作是有影响的 。因此 ， 从库同步数据，必须走单进程 。
2. 自己实现解析binlog，多线程写入 。
以数据库的表为单位，解析binlog多张表同时做数据同步 。这样做的话 ， 的确能够加快数据同步的效率，但是，如果表和表之间存在结构关系或者数据依赖的话，则同样存在写入顺序的问题 。这种方式，可用于一些比较稳定并且相对独立的数据表 。
国内一线互联网公司，大部分都是通过这种方式 ， 来加快数据同步效率 。还有更为激进的做法，是直接解析binlog，忽略以表为单位，直接写入 。但是这种做法，实现复杂，使用范围就更受到限制，只能用于一些场景特殊的数据库中（没有表结构变更，表和表之间没有数据依赖等特殊表） 。

推荐阅读


上一篇：c语言输出属于什么工程，c语言输出到文件用什么函数

下一篇：b站竖屏全景直播，b站如何竖屏直播