锐客网

  1. 首页 > 睿知 > it技术 > >

mysql查询慢怎么油画 mysql查询速度慢如何分析

IT技术mysql

mysql数据库表太大查询慢优化的几种方法优化方案：
主从同步 读写分离：
【mysql查询慢怎么油画 mysql查询速度慢如何分析】这个表在有设备条件的情况下 ， 读写分离，这样能减少很多压力，而且数据稳定性也能提高
纵向分表：
根据原则，每个表最多不要超过5个索引 ， 纵向拆分字段，将部分字段拆到一个新表
通常我们按以下原则进行垂直拆分:（先区分这个表中的冷热数据字段）
把不常用的字段单独放在一张表;
把text，blob等大字段拆分出来放在附表中;
经常组合查询的列放在一张表中;
缺点是：很多逻辑需要重写，带来很大的工作量 。
利用表分区：
这个是推荐的一个解决方案，不会带来重写逻辑等 ， 可以根据时间来进行表分区，相当于在同一个磁盘上，表的数据存在不同的文件夹内，能够极大的提高查询速度 。
横向分表：
1000W条数据不少的，会带来一些运维压力，备份的时候，单表备份所需时间会很长，所以可以根据服务器硬件条件进行水平分表，每个表有多少数据为准 。
Mysql 查询速度慢怎么办问题
我们有一个 SQL，用于找到没有主键 / 唯一键的表，但是在 MySQL 5.7 上运行特别慢，怎么办？
实验
我们搭建一个 MySQL 5.7 的环境，此处省略搭建步骤 。
写个简单的脚本 ， 制造一批带主键和不带主键的表：
执行一下脚本：
现在执行以下 SQL 看看效果：
...
执行了 16.80s，感觉是非常慢了 。
现在用一下 DBA 三板斧，看看执行计划：
感觉有点惨 ， 由于 information_schema.columns 是元数据表，没有必要的统计信息 。
那我们来 show warnings 看看 MySQL 改写后的 SQL：
我们格式化一下 SQL：
可以看到 MySQL 将
select from A where A.x not in (select x from B) //非关联子查询
转换成了
select from A where not exists (select 1 from B where B.x = a.x) //关联子查询
如果我们自己是 MySQL，在执行非关联子查询时，可以使用很简单的策略：
select from A where A.x not in (select x from B where ...) //非关联子查询:1. 扫描 B 表中的所有记录，找到满足条件的记录，存放在临时表 C 中，建好索引2. 扫描 A 表中的记录，与临时表 C 中的记录进行比对，直接在索引里比对，
而关联子查询就需要循环迭代：
select from A where not exists (select 1 from B where B.x = a.x and ...) //关联子查询扫描 A 表的每一条记录 rA：扫描 B 表，找到其中的第一条满足 rA 条件的记录 。
显然，关联子查询的扫描成本会高于非关联子查询 。
我们希望 MySQL 能先"缓存"子查询的结果（缓存这一步叫物化 ， MATERIALIZATION） ， 但MySQL 认为不缓存更快，我们就需要给予 MySQL 一定指导 。
...
可以看到执行时间变成了 0.67s 。
整理
我们诊断的关键点如下：
\1. 对于 information_schema 中的元数据表，执行计划不能提供有效信息 。
\2. 通过查看 MySQL 改写后的 SQL，我们猜测了优化器发生了误判 。
\3. 我们增加了 hint，指导 MySQL 正确进行优化判断 。
但目前我们的实验仅限于猜测，猜中了万事大吉，猜不中就无法做出好的诊断 。
mysql查询速度慢我们先来看第一个阶段，MySQL慢的诊断思路，一般我们会从三个方向来做：
第一个方向是MySQL内部的观测
第二个方向是外部资源的观测
第三个方向是外部需求的改造
1.1 MySQL 内部观测
我们来看MySQL内部的观测，常用的观测手段是这样的，从上往下看，第一部分是Processlist，看一下哪个SQL压力不太正常，第二步是explain，解释一下它的执行计划，第三步我们要做Profilling，如果这个SQL能再执行一次的话, 就做一个Profilling，然后高级的DBA会直接动用performance_schema，MySQL 5.7 以后直接动用sys_schema，sys_schema是一个视图，里面有便捷的各类信息，帮助大家来诊断性能 。再高级一点，我们会动用innodb_metrics进行一个对引擎的诊断 。
除了这些手段以外，大家还提出了一些乱七八糟的手段，我就不列在这了，这些是常规的一个MySQL的内部的状态观测的思路 。除了这些以外，MySQL还陆陆续续提供了一些暴露自己状态的方案，但是这些方案并没有在实践中形成套路，原因是学习成本比较高 。
1.2 外部资源观测
外部资源观测这部分，我引用了一篇文章，这篇文章的二维码我贴在上面了 。这篇文章是国外的一个神写的，标题是：60秒的快速巡检，我们来看一下它在60秒之内对服务器到底做了一个什么样的巡检 。一共十条命令，这是前五条，我们一条一条来看 。
1.uptime ， uptime告诉我们这个机器活了多久 ， 以及它的平均的负载是多少 。
2.dmesg -T | tail ， 告诉我们系统日志里边有没有什么报错 。
3.vmstat 1，告诉我们虚拟内存的状态 ， 页的换进换出有没有问题，swap有没有使用 。
4. mpstat -P ALL，告诉我们CPU压力在各个核上是不是均匀的 。
5.pidstat 1，告诉我们各个进程的对资源的占用大概是什么样子 。
我们来看一下后五条：
首先是iostat-xz 1，查看IO的问题，然后是free-m内存使用率，之后两个sar，按设备网卡设备的维度，看一下网络的消耗状态，以及总体看TCP的使用率和错误率是多少 。最后一条命令top ， 看一下大概的进程和线程的问题 。
这个就是对于外部资源的诊断，这十条命令揭示了应该去诊断哪些外部资源 。
1.3 外部需求改造
第三个诊断思路是外部的需求改造，我在这里引用了一篇文档，这篇文档是MySQL的官方文档中的一章，这一章叫Examples of Common Queries，文档中介绍了常规的SQL怎么写, 给出了一些例子 。文章的链接二维码在slide上 。
我们来看一下它其中提到的一个例子 。
它做的事情是从一个表里边去选取 ， 这张表有三列，article、dealer、price，选取每个作者的最贵的商品列在结果集中，这是它的最原始的SQL，非常符合业务的写法 ， 但是它是个关联子查询 。
关联子查询成本是很贵的 ， 所以上面的文档会教你快速地把它转成一个非关联子查询，大家可以看到中间的子查询和外边的查询之间是没有关联性的 。
第三步，会教大家直接把子查询拿掉，然后转成这样一个SQL ， 这个就叫业务改造，前后三个SQL的成本都不一样，把关联子查询拆掉的成本 ， 拆掉以后SQL会跑得非常好，但这个SQL已经不能良好表义了，只有在诊断到SQL成本比较高的情况下才建议大家使用这种方式 。
为什么它能够把一个关联子查询拆掉呢？
这背后的原理是关系代数，所有的SQL都可以被表达成等价的关系代数式，关系代数式之间有等价关系，这个等价关系通过变换可以把关联子查询拆掉 。
上面的这篇文档是一个大学的教材，它从头教了关于代数和SQL之间的关系 。然后一步步推导怎么去简化这句SQL 。
第一，MySQL本身提供了很多命令来观察MySQL自身的各类状态，大家从上往下检一般能检到SQL的问题或者服务器的问题 。
第二，从服务器的角度，我们从巡检的脚本角度入手 ， 服务器的资源就这几种，观测手法也就那么几种，我们把服务器的资源全部都观察一圈就可以了 。
第三，如果实在搞不定，需求方一定要按照数据库容易接受的方式去写SQL，这个成本会下降的非常快 ， 这个是常规的MySQL慢的诊断思路 。
mysql数据库有100万 数据 ， 查询起来很慢了，如何优化你好，你可以根据条件去添加索引，例如：
一、
所有mysql索引列类型都可以被索引，对来相关类使用索引可以提高select查询性能，根据mysql索引数，可以是最大索引与最小索引，每种存储引擎对每个表的至少支持16的索引 。总索引长度为256字节 。
mysim和innodb存储引擎的表默认创建索引都是btree索引，目前mysql还不支持函数索引，但支持前缘索引，对字段前N个字符创建索引
二、mysql创建索引语法
Create [unioun|fulltext|spatial] index indexname[using indextype] on tablename( tablenamecol)
index_col_name:
col_name[ (length)][asc |desc]
如果你创建索引时搞错了，需要修改mysql索引我们可以用alert来修改索引，语法与create index创建索引差不多 ， 我们就不说了，可以查看相关手册 。
下面我们来看一个关于mysql创建索引实例教程 。
mysqlcreate index cityname on city(city(2));
Query Ok,600 rows affected (0.26 sec)
Records :600 Duplicates:0 Warings 0:
我们现在来以city为条件进行查询，如下面 。
-explain select * from city where city ='' G
id:1
......
possible_keys:cityname
key:cityname
好了，现在我们来看看mysql删除索引等实例
Drop indexname on tablename
实例，我现在要删除刚才创建city索引
drop index cityname on city;
Query ok, .....
不过通常对百万级数据的查询或者其他操作 ， 都改换其他的大型的数据库了，希望能帮到你 ， 望采纳 。
如何解决mysql 查询和更新速度慢问题
我们有一个 SQL，用于找到没有主键 / 唯一键的表，但是在 MySQL 5.7 上运行特别慢 ， 怎么办?
实验
我们搭建一个 MySQL 5.7 的环境，此处省略搭建步骤 。
写个简单的脚本，制造一批带主键和不带主键的表：
执行一下脚本：
现在执行以下 SQL 看看效果：
...
执行了 16.80s，感觉是非常慢了 。
现在用一下 DBA 三板斧 ， 看看执行计划：
感觉有点惨 ， 由于 information_schema.columns 是元数据表，没有必要的统计信息 。
那我们来 show warnings 看看 MySQL 改写后的 SQL：
我们格式化一下 SQL：
可以看到 MySQL 将
select from A where A.x not in (select x from B) //非关联子查询
转换成了
select from A where not exists (select 1 from B where B.x = a.x) //关联子查询
如果我们自己是 MySQL，在执行非关联子查询时，可以使用很简单的策略：
select from A where A.x not in (select x from B where ...) //非关联子查询:1. 扫描 B 表中的所有记录，找到满足条件的记录，存放在临时表 C 中，建好索引2. 扫描 A 表中的记录，与临时表 C 中的记录进行比对，直接在索引里比对，
而关联子查询就需要循环迭代：
select from A where not exists (select 1 from B where B.x = a.x and ...) //关联子查询扫描 A 表的每一条记录 rA：扫描 B 表，找到其中的第一条满足 rA 条件的记录 。
显然，关联子查询的扫描成本会高于非关联子查询 。
我们希望 MySQL 能先"缓存"子查询的结果（缓存这一步叫物化，MATERIALIZATION），但MySQL 认为不缓存更快，我们就需要给予 MySQL 一定指导 。
...
可以看到执行时间变成了 0.67s 。
整理
我们诊断的关键点如下：
\1. 对于 information_schema 中的元数据表，执行计划不能提供有效信息 。
\2. 通过查看 MySQL 改写后的 SQL，我们猜测了优化器发生了误判 。
\3. 我们增加了 hint，指导 MySQL 正确进行优化判断 。
但目前我们的实验仅限于猜测，猜中了万事大吉，猜不中就无法做出好的诊断 。
MySQL查询效率很慢的问题如何分析和解决MySQL 在崩溃恢复时，会遍历打开所有 ibd 文件的 header page 验证数据字典的准确性，如果 MySQL 中包含了大量表，这个校验过程就会比较耗时 。MySQL 下崩溃恢复确实和表数量有关，表总数越大，崩溃恢复时间越长 。另外磁盘 IOPS 也会影响崩溃恢复时间，像这里开发库的 HDD IOPS 较低，因此面对大量的表空间，校验速度就非常缓慢 。另外一个发现 ， MySQL 8 下正常启用时居然也会进行表空间校验，而故障恢复时则会额外再进行一次表空间校验，等于校验了 2 遍 。不过 MySQL 8.0 里多了一个特性，即表数量超过 5W 时，会启用多线程扫描，加快表空间校验过程 。
如何跳过校验MySQL 5.7 下有方法可以跳过崩溃恢复时的表空间校验过程嘛？查阅了资料，方法主要有两种：
1. 配置 innodb_force_recovery可以使 srv_force_recovery != 0，那么 validate= false，即可以跳过表空间校验 。实际测试的时候设置 innodb_force_recovery =1，也就是强制恢复跳过坏页，就可以跳过校验，然后重启就是正常启动了 。通过这种临时方式可以避免崩溃恢复后非常耗时的表空间校验过程，快速启动 MySQL ， 个人目前暂时未发现有什么隐患 。2. 使用共享表空间替代独立表空间这样就不需要打开 N 个 ibd 文件了，只需要打开一个 ibdata 文件即可，大大节省了校验时间 。自从听了姜老师讲过使用共享表空间替代独立表空间解决 drop 大表时性能抖动的原理后，感觉共享表空间在很多业务环境下 ， 反而更有优势 。
临时冒出另外一种解决想法，即用 GDB 调试崩溃恢复 ， 通过临时修改 validate 变量值让 MySQL 跳过表空间验证过程，然后让 MySQL 正常关闭，重新启动就可以正常启动了 。但是实际测试发现，如果以 debug 模式运行，确实可以临时修改 validate 变量，跳过表空间验证过程，但是 debug 模式下代码运行效率大打折扣 ， 反而耗时更长 。而以非 debug 模式运行，则无法修改 validate 变量，想法破灭 。
mysql查询慢怎么油画的介绍就聊到这里吧 ， 感谢你花时间阅读本站内容，更多关于mysql查询速度慢如何分析、mysql查询慢怎么油画的信息别忘了在本站进行查找喔 。

    推荐阅读


    上一篇：爆了下载，爆了小说

    下一篇：xp玩网络游戏，玩网络游戏的坏处有哪些