php查询速度慢,数据到100W分页速度3秒多分页本来就是数据越多越慢,正常情况下,绝对有条件限制,例如时间
还可以不用limit,用id段查询,弊端是不能断
PHP+MySQL高效的分页方法,如何优化LIMIT,OFFSET进行的分页?很多应用往往只展示最新或最热门的几条记录,但为了旧记录仍然可访问,所以就需要个分页的导航栏 。然而,如何通过MySQL更好的实现分页,始终是比较令人头疼的问题 。虽然没有拿来就能用的解决办法 , 但了解数据库的底层或多或少有助于优化分页查询 。
我们先从一个常用但性能很差的查询来看一看 。
SELECT *
FROM city
ORDER BY id DESC
LIMIT 0, 15
这个查询耗时0.00sec 。So,这个查询有什么问题呢?实际上,这个查询语句和参数都没有问题,因为它用到了下面表的主键,而且只读取15条记录 。
CREATE TABLE city (
id int(10) unsigned NOT NULL AUTO_INCREMENT,
city varchar(128) NOT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB;
真正的问题在于offset(分页偏移量)很大的时候 , 像下面这样:
SELECT *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
上面的查询在有2M行记录时需要0.22sec , 通过EXPLAIN查看SQL的执行计划可以发现该SQL检索了100015行,但最后只需要15行 。大的分页偏移量会增加使用的数据 , MySQL会将大量最终不会使用的数据加载到内存中 。就算我们假设大部分网站的用户只访问前几页数据,但少量的大的分页偏移量的请求也会对整个系统造成危害 。Facebook意识到了这一点,但Facebook并没有为了每秒可以处理更多的请求而去优化数据库 , 而是将重心放在将请求响应时间的方差变小 。
对于分页请求 , 还有一个信息也很重要,就是总共的记录数 。我们可以通过下面的查询很容易的获取总的记录数 。
SELECT COUNT(*)
FROM city;
然而,上面的SQL在采用InnoDB为存储引擎时需要耗费9.28sec 。一个不正确的优化是采用 SQL_CALC_FOUND_ROWS,SQL_CALC_FOUND_ROWS 可以在能够在分页查询时事先准备好符合条件的记录数 , 随后只要执行一句 select FOUND_ROWS(); 就能获得总记录数 。但是在大多数情况下 , 查询语句简短并不意味着性能的提高 。不幸的是,这种分页查询方式在许多主流框架中都有用到,下面看看这个语句的查询性能 。
SELECT SQL_CALC_FOUND_ROWS *
FROM city
ORDER BY id DESC
LIMIT 100000, 15;
这个语句耗时20.02sec,是上一个的两倍 。事实证明使用 SQL_CALC_FOUND_ROWS 做分页是很糟糕的想法 。
下面来看看到底如何优化 。文章分为两部分,第一部分是如何获取记录的总数目,第二部分是获取真正的记录 。
高效的计算行数
如果采用的引擎是MyISAM,可以直接执行COUNT(*)去获取行数即可 。相似的 , 在堆表中也会将行数存储到表的元信息中 。但如果引擎是InnoDB情况就会复杂一些,因为InnoDB不保存表的具体行数 。
我们可以将行数缓存起来,然后可以通过一个守护进程定期更新或者用户的某些操作导致缓存失效时,执行下面的语句:
SELECT COUNT(*)
FROM city
USE INDEX(PRIMARY);
获取记录
下面进入这篇文章最重要的部分,获取分页要展示的记录 。上面已经说过了,大的偏移量会影响性能,所以我们要重写查询语句 。为了演示,我们创建一个新的表“news”,按照时事性排序(最新发布的在最前面),实现一个高性能的分页 。为了简单,我们就假设最新发布的新闻的Id也是最大的 。
CREATE TABLE news(
id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT,
推荐阅读
- gis课程设计解决问题,gis软件工程课程设计的题目有哪些
- 华为鸿蒙版本参数查询,华为鸿蒙系统参数
- 山东省虚拟主机,虚拟主机管理平台
- html5直播视频解决方案的简单介绍
- linux组合命令 linux 组合命令
- 如何看待食堂营销,如何看待食堂营销问题
- 视频号上产品怎么看不见,视频号上产品怎么看不见商品
- 关于qka棋牌游戏官方的信息
- vbnet画图无法保存 excel2016无法保存vb项目