锐客网

  1. 首页 > 睿知 > it技术 > >

php3亿数据查询方案 php查询数据表( 六 )

IT技术数据库


建立数据库连接池服务，有很多实现的方式，PHP的话，我推荐使用swoole（PHP的一个网络通讯拓展）来实现 。
3. Innodb缓存设置（innodb_buffer_pool_size）
innodb_buffer_pool_size这是个用来保存索引和数据的内存缓存区，如果机器是MySQL独占的机器，一般推荐为机器物理内存的80% 。在取表数据的场景中 ， 它可以减少磁盘IO 。一般来说 ， 这个值设置越大，cache命中率会越高 。
4. 分库/分表/分区 。
MySQL数据库表一般承受数据量在百万级别，再往上增长，各项性能将会出现大幅度下降，因此，当我们预见数据量会超过这个量级的时候，建议进行分库/分表/分区等操作 。最好的做法 ， 是服务在搭建之初就设计为分库分表的存储模式，从根本上杜绝中后期的风险 。不过，会牺牲一些便利性 ， 例如列表式的查询，同时，也增加了维护的复杂度 。不过，到了数据量千万级别或者以上的时候，我们会发现，它们都是值得的 。
二、 MySQL数据库多台服务搭建
1台MySQL机器，实际上是高风险的单点，因为如果它挂了，我们Web服务就不可用了 。而且，随着Web系统访问量继续增加，终于有一天，我们发现1台MySQL服务器无法支撑下去，我们开始需要使用更多的MySQL机器 。当引入多台MySQL机器的时候，很多新的问题又将产生 。
1. 建立MySQL主从，从库作为备份
这种做法纯粹为了解决“单点故障”的问题，在主库出故障的时候，切换到从库 。不过，这种做法实际上有点浪费资源，因为从库实际上被闲着了 。
2. MySQL读写分离，主库写，从库读 。
两台数据库做读写分离，主库负责写入类的操作，从库负责读的操作 。并且，如果主库发生故障，仍然不影响读的操作，同时也可以将全部读写都临时切换到从库中（需要注意流量，可能会因为流量过大，把从库也拖垮） 。
3. 主主互备 。
两台MySQL之间互为彼此的从库，同时又是主库 。这种方案 ， 既做到了访问量的压力分流，同时也解决了“单点故障”问题 。任何一台故障 ， 都还有另外一套可供使用的服务 。
不过，这种方案，只能用在两台机器的场景 。如果业务拓展还是很快的话，可以选择将业务分离，建立多个主主互备 。
三、 MySQL数据库机器之间的数据同步
每当我们解决一个问题，新的问题必然诞生在旧的解决方案上 。当我们有多台MySQL，在业务高峰期 ， 很可能出现两个库之间的数据有延迟的场景 。并且，网络和机器负载等 ， 也会影响数据同步的延迟 。我们曾经遇到过，在日访问量接近1亿的特殊场景下，出现 ， 从库数据需要很多天才能同步追上主库的数据 。这种场景下，从库基本失去效用了 。
于是，解决同步问题，就是我们下一步需要关注的点 。
1. MySQL自带多线程同步
MySQL5.6开始支持主库和从库数据同步，走多线程 。但是，限制也是比较明显的，只能以库为单位 。MySQL数据同步是通过binlog日志，主库写入到binlog日志的操作，是具有顺序的，尤其当SQL操作中含有对于表结构的修改等操作，对于后续的SQL语句操作是有影响的 。因此，从库同步数据，必须走单进程 。
2. 自己实现解析binlog ， 多线程写入 。
以数据库的表为单位，解析binlog多张表同时做数据同步 。这样做的话，的确能够加快数据同步的效率，但是，如果表和表之间存在结构关系或者数据依赖的话，则同样存在写入顺序的问题 。这种方式，可用于一些比较稳定并且相对独立的数据表 。

推荐阅读


上一篇：e440双显卡怎么切换显卡，e480双显卡怎么切换

下一篇：这个手机怎么调整，这个手机怎么调整字体大小