锐客网

  1. 首页 > 睿知 > it技术 > >

mysql入库慢了怎么办 mysql入库速度太慢( 二 )

IT技术执行


6.预处理完毕之后,此时得到一棵比较规范的树,这棵树就是要拿去马上做执行的树,比起之前的那棵树,这棵得到了一些优化
7.查询优化器，是MySQL里面最关键的东西,我们写任何一条SQL,比如SELECT * FROM USER WHERE USERNAME = toby AND PASSWORD = 1,它会怎么去执行?它是先执行username = toby还是password = 1?每一条SQL的执行顺序查询优化器就是根据MySQL对数据统计表的一些信息,比如索引,比如表一共有多少数据,MySQL都是有缓存起来的,在真正执行SQL之前,他会根据自己的这些数据,进行一个综合的判定,判断这一次在多种执行方式里面,到底选哪一种执行方式,可能运行的最快.这一步是MySQL性能中,最关键的核心点,也是我们的优化原则.我们平时所讲的优化SQL,其实说白了,就是想让查询优化器,按照我们的想法,帮我们选择最优的执行方案,因为我们比MySQL更懂我们的数据.MySQL看数据,仅仅只是自己收集到的信息,这些信息可能是不准确的,MySQL根据这些信息选了一个它自认为最优的方案,但是这个方案可能和我们想象的不一样.
8.这里的查询执行计划,也就是MySQL查询中的执行计划,比如要先执行username = toby还是password = 1
9.这个执行计划会传给查询执行引擎,执行引擎选择存储引擎来执行这一份传过来的计划,到磁盘中的文件中去查询,这个时候重点来了,影响这个查询性能最根本的原因是什么?就是硬盘的机械运动,也就是我们平时熟悉的IO,所以一条查询语句是快还是慢,就是根据这个时间的IO来确定的.那怎么执行IO又是什么来确定的?就是传过来的这一份执行计划.(优化就是制定一个我们认为最快的执行方案,最节省IO,和执行最快)
10.如果开了查询缓存,则返回结果给客户端,并且查询缓存也放一份 。
mysql大量数据插入慢的问题这个是需要做一些设置的 。主要设置 rewriteBatchedStatements参数 。原理如下：
MySQL Jdbc驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散 ， 一条一条地发给MySQL数据库，直接造成较低的性能 。
只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL (jdbc:mysql://ip:port/db?rewriteBatchedStatements=true) 。不过，驱动具体是怎么样批量执行的？　你是不是需要看一下内幕，才敢放心地使用这个选项？ 下文会给出答案 。
另外 ， 有人说rewriteBatchedStatements只对INSERT有效，有人说它对UPDATE/DELETE也有效 。为此我做了一些实验（详见下文），结论是： 这个选项对INSERT/UPDATE/DELETE都有效 ， 只不过对INSERT它为会预先重排一下SQL语句 。
注：本文使用的mysql驱动版本是5.1.12
实验记录：未打开rewriteBatchedStatements时
未打开rewriteBatchedStatements时 ， 根据wireshark嗅探出的mysql报文可以看出，
batchDelete(10条记录)=发送10次delete 请求
【mysql入库慢了怎么办 mysql入库速度太慢】batchUpdate(10条记录)=发送10次update 请求
batchInsert(10条记录)=发送10次insert 请求
也就是说，batchXXX()的确不起作用
实验记录：打开了rewriteBatchedStatements后
打开rewriteBatchedStatements后，根据wireshark嗅探出的mysql报文可以看出
batchDelete(10条记录)=发送一次请求，内容为”delete from t where id = 1; delete from t where id = 2; delete from t where id = 3; ….”
batchUpdate(10条记录)=发送一次请求，内容为”update t set … where id = 1; update t set … where id = 2; update t set … where id = 3 …”
batchInsert(10条记录)=发送一次请求 ， 内容为”insert into t (…) values (…) , (…), (…)”
对delete和update ， 驱动所做的事就是把多条sql语句累积起来再一次性发出去；而对于insert，驱动则会把多条sql语句重写成一条风格很酷的sql语句，然后再发出去 。官方文档说，这种insert写法可以提高性能（”This is considerably faster (many times faster in some cases) than using separate single-row INSERT statements”）

推荐阅读


上一篇：hbase物联网表模型，hbase数据模型实例

下一篇：电视柜该怎么摆好看，电视柜怎样摆放装饰品