北大青鸟设计培训:mysql数据库的优化方法?我们都知道,服务器数据库的开发一般都是通过java或者是PHP语言来编程实现的,而为了提高我们数据库的运行速度和效率,数据库优化也成为了我们每日的工作重点,今天,昌平IT培训就一起来了解一下mysql服务器数据库的优化方法 。
为什么要了解索引真实案例案例一:大学有段时间学习爬虫,爬取了知乎300w用户答题数据,存储到mysql数据中 。
那时不了解索引,一条简单的“根据用户名搜索全部回答的sql“需要执行半分钟左右,完全满足不了正常的使用 。
案例二:近线上应用的数据库频频出现多条慢sql风险提示,而工作以来,对数据库优化方面所知甚少 。
例如一个用户数据页面需要执行很多次数据库查询,性能很慢,通过增加超时时间勉强可以访问,但是性能上需要优化 。
索引的优点合适的索引,可以大大减小mysql服务器扫描的数据量,避免内存排序和临时表,提高应用程序的查询性能 。
索引的类型mysql数据中有多种索引类型,primarykey , unique,normal,但底层存储的数据结构都是BTREE;有些存储引擎还提供hash索引,全文索引 。
BTREE是常见的优化要面对的索引结构,都是基于BTREE的讨论 。
B-TREE查询数据简单暴力的方式是遍历所有记录;如果数据不重复,就可以通过组织成一颗排序二叉树,通过二分查找算法来查询,大大提高查询性能 。
而BTREE是一种更强大的排序树,支持多个分支,高度更低,数据的插入、删除、更新更快 。
现代数据库的索引文件和文件系统的文件块都被组织成BTREE 。
btree的每个节点都包含有key,data和只想子节点指针 。
btree有度的概念d=1 。
假设btree的度为d , 则每个内部节点可以有n=[d 1,2d 1)个key,n 1个子节点指针 。
树的大高度为h=Logb[(N 1)/2] 。
索引和文件系统中,B-TREE的节点常设计成接近一个内存页大小(也是磁盘扇区大小) , 且树的度非常大 。
这样磁盘I/O的次数,就等于树的高度h 。
假设b=100,一百万个节点的树,h将只有3层 。
即 , 只有3次磁盘I/O就可以查找完毕,性能非常高 。
索引查询建立索引后,合适的查询语句才能大发挥索引的优势 。
另外,由于查询优化器可以解析客户端的sql语句,会调整sql的查询语句的条件顺序去匹配合适的索引 。
超详细MySQL数据库优化 数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,而另一方面需要合理的结构设计和参数调整,以提高用户的相应速度,同时还要尽可能的节约系统资源,以便让系统提供更大的负荷.
1. 优化一览图
2. 优化
笔者将优化分为了两大类,软优化和硬优化,软优化一般是操作数据库即可,而硬优化则是操作服务器硬件及参数设置.
2.1 软优化
2.1.1 查询语句优化
1.首先我们可以用EXPLAIN或DESCRIBE(简写:DESC)命令分析一条查询语句的执行信息.
2.例:
显示:
其中会显示索引和查询数据读取数据条数等信息.
2.1.2 优化子查询
在MySQL中,尽量使用JOIN来代替子查询.因为子查询需要嵌套查询,嵌套查询时会建立一张临时表,临时表的建立和删除都会有较大的系统开销,而连接查询不会创建临时表,因此效率比嵌套子查询高.
2.1.3 使用索引
索引是提高数据库查询速度最重要的方法之一,关于索引可以参高笔者MySQL数据库索引一文,介绍比较详细,此处记录使用索引的三大注意事项:
2.1.4 分解表
对于字段较多的表,如果某些字段使用频率较低,此时应当,将其分离出来从而形成新的表,
2.1.5 中间表
对于将大量连接查询的表可以创建中间表,从而减少在查询时造成的连接耗时.
2.1.6 增加冗余字段
类似于创建中间表,增加冗余也是为了减少连接查询.
2.1.7 分析表,,检查表,优化表
分析表主要是分析表中关键字的分布,检查表主要是检查表中是否存在错误,优化表主要是消除删除或更新造成的表空间浪费.
1. 分析表: 使用 ANALYZE 关键字,如ANALYZE TABLE user;
2. 检查表: 使用 CHECK关键字,如CHECK TABLE user [option]
option 只对MyISAM有效,共五个参数值:
3. 优化表:使用OPTIMIZE关键字,如OPTIMIZE [LOCAL|NO_WRITE_TO_BINLOG] TABLE user;
LOCAL|NO_WRITE_TO_BINLOG都是表示不写入日志.,优化表只对VARCHAR,BLOB和TEXT有效,通过OPTIMIZE TABLE语句可以消除文件碎片,在执行过程中会加上只读锁.
2.2 硬优化
2.2.1 硬件三件套
1.配置多核心和频率高的cpu,多核心可以执行多个线程.
2.配置大内存,提高内存,即可提高缓存区容量,因此能减少磁盘I/O时间,从而提高响应速度.
3.配置高速磁盘或合理分布磁盘:高速磁盘提高I/O,分布磁盘能提高并行操作的能力.
2.2.2 优化数据库参数
优化数据库参数可以提高资源利用率,从而提高MySQL服务器性能.MySQL服务的配置参数都在my.cnf或my.ini,下面列出性能影响较大的几个参数.
2.2.3 分库分表
因为数据库压力过大mysql怎么调优化 , 首先一个问题就是高峰期系统性能可能会降低,因为数据库负载过高对性能会有影响 。另外一个,压力过大把mysql怎么调优化你的数据库给搞挂了怎么办mysql怎么调优化?所以此时你必须得对系统做分库分表读写分离,也就是把一个库拆分为多个库,部署在多个数据库服务上,这时作为主库承载写入请求 。然后每个主库都挂载至少一个从库,由从库来承载读请求 。
2.2.4 缓存集群
如果用户量越来越大 , 此时你可以不停的加机器,比如说系统层面不停加机器,就可以承载更高的并发请求 。然后数据库层面如果写入并发越来越高,就扩容加数据库服务器,通过分库分表是可以支持扩容机器的 , 如果数据库层面的读并发越来越高,就扩容加更多的从库 。但是这里有一个很大的问题:数据库其实本身不是用来承载高并发请求的,所以通常来说,数据库单机每秒承载的并发就在几千的数量级,而且数据库使用的机器都是比较高配置,比较昂贵的机器 , 成本很高 。如果你就是简单的不停的加机器 , 其实是不对的 。所以在高并发架构里通常都有缓存这个环节,缓存系统的设计就是为了承载高并发而生 。所以单机承载的并发量都在每秒几万,甚至每秒数十万,对高并发的承载能力比数据库系统要高出一到两个数量级 。所以你完全可以根据系统的业务特性,对那种写少读多的请求,引入缓存集群 。具体来说,就是在写数据库的时候同时写一份数据到缓存集群里,然后用缓存集群来承载大部分的读请求 。这样的话,通过缓存集群,就可以用更少的机器资源承载更高的并发 。
一个完整而复杂的高并发系统架构中,一定会包含:各种复杂的自研基础架构系统 。各种精妙的架构设计.因此一篇小文顶多具有抛砖引玉的效果,但是数据库优化的思想差不多就这些了.
linux 下怎么优化mysql占用内存?修改mysql配置文件,优化缓存大小和连接数连接方式,优化sql语句 ,记得mysql好像是有工具可以查看最占用资源的sql语句 , 找到他,优化他 。
安装好mysql后,配制文件应该在/usr/local/mysql/share/mysql目录中,配制文件有几个 , 有my-huge.cnf my-medium.cnf my-large.cnf my-small.cnf,不同的流量的网站和不同配制的服务器环境,当然需要有不同的配制文件了 。
一般的情况下,my-medium.cnf这个配制文件就能满足我们的大多需要;一般我们会把配置文件拷贝到/etc/my.cnf 只需要修改这个配置文件就可以了,使用mysqladmin variables extended-status _u root _p 可以看到目前的参数,有3个配置参数是最重要的 , 即key_buffer_size,query_cache_size,table_cache 。
key_buffer_size只对MyISAM表起作用,
key_buffer_size指定索引缓冲区的大小,它决定索引处理的速度,尤其是索引读的速度 。一般我们设为16M,实际上稍微大一点的站点 这个数字是远远不够的,通过检查状态值Key_read_requests和Key_reads,可以知道key_buffer_size设置是否合理 。比例 key_reads / key_read_requests应该尽可能的低,至少是1:100,1:1000更好(上述状态值可以使用SHOW STATUS LIKE ‘key_read%’获得) 。或者如果你装了phpmyadmin 可以通过服务器运行状态看到,笔者推荐用phpmyadmin管理mysql , 以下的状态值都是本人通过phpmyadmin获得的实例分析:
这个服务器已经运行了20天
key_buffer_size _ 128M
key_read_requests _ 650759289
key_reads - 79112
比例接近1:8000 健康状况非常好
mysql怎么优化,都要怎么做mysql优化是一个大方向,大的是要分布式、读写分离,小的是对sql语句进行优化 。不过大多问的也是对sql语句优化,网上很多资料 , 我就大体说说 。
1、explain 索引 。
在你要查询的语句前加explain,看下有没有用到索引,如果出现type为all的,则说明有必要添加下索引 。(附多表查询速度比较:表关联existsin)慢查询优化是一大块 。
2、预统计 。
很经常需要对历史的数据进行过滤统计 。比如移动需要统计上个月电话小时数超过N小时的人,那么如果直接取原始数据,那将很慢,此时如果每天晚上凌晨都对数据进行预统计,统计每个人每天电话时数,那再来过滤就很快 。
3、分表分区 。
分表分区也是为了提高搜索速度 。例如,公交车的gps行驶记录,gps每隔15s报一次,一辆车一天运行12小时,一天就要插入4*60*12条记录,N辆车就要再乘 , 其数量极大 , 所以经常按月分表 , 分表里再按上报时间做日分区,这样就达到很大的优化,想查询某段时间,mysql很快就可以定位到 。
4、表结构 。
表结构很重要,经常需要多表关联查询一些字段,有时可以冗余下放到同一张表 。
mysql优化很有意思,多去查阅些资料,多去尝试 , 对你有好处的 。
怎么进行mysql数据库优化?有八个方面可以对mysql进行优化:
1、选取最适用的字段属性
MySQL可以很好的支持大数据量的存?。?但是一般说来,数据库中的表越?。谒厦嬷葱械牟檠簿突嵩娇?。因此 , 在创建表的时候 , 为了获得更好的性能,我们可以将表中字段的宽度设得尽可能小 。
2. 使用连接(JOIN)来代替子查询(Sub-Queries)
MySQL从4.1开始支持SQL的子查询 。这个技术可以使用SELECT语句来创建一个单列的查询结果 , 然后把这个结果作为过滤条件用在另一个查询中 。
3、使用联合(UNION)来代替手动创建的临时表
MySQL从4.0的版本开始支持union查询,它可以把需要使用临时表的两条或更多的select查询合并的一个查询中 。在客户端的查询会话结束的时候,临时表会被自动删除,从而保证数据库整齐、高效 。
4、事务
尽管我们可以使用子查询(Sub-Queries)、连接(JOIN)和联合(UNION)来创建各种各样的查询,但不是所有的数据库操作都可以只用一条或少数几条SQL语句就可以完成的 。更多的时候是需要用到一系列的语句来完成某种工作 。但是在这种情况下,当这个语句块中的某一条语句运行出错的时候,整个语句块的操作就会变得不确定起来 。设想一下,要把某个数据同时插入两个相关联的表中,可能会出现这样的情况:第一个表中成功更新后,数据库突然出现意外状况,造成第二个表中的操作没有完成,这样,就会造成数据的不完整,甚至会破坏数据库中的数据 。要避免这种情况,就应该使用事务 , 它的作用是:要么语句块中每条语句都操作成功,要么都失败
5、锁定表
尽管事务是维护数据库完整性的一个非常好的方法,但却因为它的独占性,有时会影响数据库的性能,尤其是在很大的应用系统中 。由于在事务执行的过程中,数据库将会被锁定,因此其它的用户请求只能暂时等待直到该事务结束 。其实,有些情况下我们可以通过锁定表的方法来获得更好的性能 。
6、使用外键
锁定表的方法可以维护数据的完整性,但是它却不能保证数据的关联性 。这个时候我们就可以使用外键 。
7、使用索引
索引是提高数据库性能的常用方法,它可以令数据库服务器以比没有索引快得多的速度检索特定的行 , 尤其是在查询语句当中包含有MAX(),MIN()和ORDERBY这些命令的时候,性能提高更为明显 。
8、优化的查询语句
绝大多数情况下,使用索引可以提高查询的速度,但如果SQL语句使用不恰当的话 , 索引将无法发挥它应有的作用 。
mysql优化的几种方法1、选取最适用的字段属性
MySQL 可以很好的支持大数据量的存取 , 但是一般说来 , 数据库中的表越?。谒厦嬷葱械牟檠簿突嵩娇?。因此,在创建表的时候,为了获得更好的性能,我们可以将表中字段的宽度设得尽可能小 。例如,在定义邮政编码这个字段时,如果将其设置为CHAR(255),显然给数据库增加了不必要的空间,甚至使用VARCHAR这种类型也是多余的,因为CHAR(6)就可以很好的完成任务了 。同样的,如果可以的话,我们应该使用MEDIUMINT而不是BIGIN来定义整型字段 。
另外一个提高效率的方法是在可能的情况下,应该尽量把字段设置为NOT NULL,这样在将来执行查询的时候,数据库不用去比较NULL值 。
对于某些文本字段,例如“省份”或者“性别”,我们可以将它们定义为ENUM类型 。因为在MySQL中,ENUM类型被当作数值型数据来处理,而数值型数据被处理起来的速度要比文本类型快得多 。这样,我们又可以提高数据库的性能 。
2、使用连接(JOIN)来代替子查询(Sub-Queries)
MySQL 从4.1开始支持SQL的子查询 。这个技术可以使用SELECT语句来创建一个单列的查询结果 , 然后把这个结果作为过滤条件用在另一个查询中 。例如,我们要将客户基本信息表中没有任何订单的客户删除掉,就可以利用子查询先从销售信息表中将所有发出订单的客户ID取出来,然后将结果传递给主查询,如下所示:
DELETE FROM customerinfo
WHERE CustomerID NOT in (SELECT CustomerID FROM salesinfo )
使用子查询可以一次性的完成很多逻辑上需要多个步骤才能完成的SQL操作,同时也可以避免事务或者表锁死 , 并且写起来也很容易 。但是,有些情况下,子查询可以被更有效率的连接(JOIN).. 替代 。例如,假设我们要将所有没有订单记录的用户取出来,可以用下面这个查询完成:
SELECT * FROM customerinfo
WHERE CustomerID NOT in (SELECT CustomerID FROM salesinfo )
如果使用连接(JOIN).. 来完成这个查询工作,速度将会快很多 。尤其是当salesinfo表中对CustomerID建有索引的话,性能将会更好,查询如下:
SELECT * FROM customerinfo
LEFT JOIN salesinfoON customerinfo.CustomerID=salesinfo.
CustomerID
WHERE salesinfo.CustomerID IS NULL
连接(JOIN).. 之所以更有效率一些,是因为 MySQL不需要在内存中创建临时表来完成这个逻辑上的需要两个步骤的查询工作 。
3、使用联合(UNION)来代替手动创建的临时表
MySQL 从 4.0 的版本开始支持 UNION 查询,它可以把需要使用临时表的两条或更多的 SELECT 查询合并的一个查询中 。在客户端的查询会话结束的时候 , 临时表会被自动删除,从而保证数据库整齐、高效 。使用 UNION 来创建查询的时候,我们只需要用 UNION作为关键字把多个 SELECT 语句连接起来就可以了 , 要注意的是所有 SELECT 语句中的字段数目要想同 。下面的例子就演示了一个使用 UNION的查询 。
SELECT Name, Phone FROM client
UNION
SELECT Name, BirthDate FROM author
UNION
SELECT Name, Supplier FROM product
4、事务
尽管我们可以使用子查询(Sub-Queries)、连接(JOIN)和联合(UNION)来创建各种各样的查询,但不是所有的数据库操作都可以只用一条或少数几条SQL语句就可以完成的 。更多的时候是需要用到一系列的语句来完成某种工作 。但是在这种情况下 , 当这个语句块中的某一条语句运行出错的时候,整个语句块的操作就会变得不确定起来 。设想一下,要把某个数据同时插入两个相关联的表中,可能会出现这样的情况:第一个表中成功更新后,数据库突然出现意外状况,造成第二个表中的操作没有完成,这样 , 就会造成数据的不完整,甚至会破坏数据库中的数据 。要避免这种情况,就应该使用事务,它的作用是:要么语句块中每条语句都操作成功,要么都失败 。换句话说,就是可以保持数据库中数据的一致性和完整性 。事物以BEGIN 关键字开始,COMMIT关键字结束 。在这之间的一条SQL操作失败,那么,ROLLBACK命令就可以把数据库恢复到BEGIN开始之前的状态 。
BEGIN;
INSERT INTO salesinfo SET CustomerID=14;
UPDATE inventory SET Quantity=11
WHERE item='book';
COMMIT;
事务的另一个重要作用是当多个用户同时使用相同的数据源时,它可以利用锁定数据库的方法来为用户提供一种安全的访问方式 , 这样可以保证用户的操作不被其它的用户所干扰 。
5、锁定表
尽管事务是维护数据库完整性的一个非常好的方法,但却因为它的独占性,有时会影响数据库的性能 , 尤其是在很大的应用系统中 。由于在事务执行的过程中,数据库将会被锁定 , 因此其它的用户请求只能暂时等待直到该事务结束 。如果一个数据库系统只有少数几个用户
来使用,事务造成的影响不会成为一个太大的问题;但假设有成千上万的用户同时访问一个数据库系统,例如访问一个电子商务网站,就会产生比较严重的响应延迟 。
其实,有些情况下我们可以通过锁定表的方法来获得更好的性能 。下面的例子就用锁定表的方法来完成前面一个例子中事务的功能 。
LOCK TABLE inventory WRITE
SELECT Quantity FROM inventory
WHEREItem='book';
...
UPDATE inventory SET Quantity=11
WHEREItem='book';
UNLOCK TABLES
这里 , 我们用一个 SELECT 语句取出初始数据,通过一些计算,用 UPDATE 语句将新值更新到表中 。包含有 WRITE 关键字的 LOCK TABLE 语句可以保证在 UNLOCK TABLES 命令被执行之前 , 不会有其它的访问来对 inventory 进行插入、更新或者删除的操作 。
6、使用外键
锁定表的方法可以维护数据的完整性,但是它却不能保证数据的关联性 。这个时候我们就可以使用外键 。例如,外键可以保证每一条销售记录都指向某一个存在的客户 。在这里,外键可以把customerinfo 表中的CustomerID映射到salesinfo表中CustomerID , 任何一条没有合法CustomerID的记录都不会被更新或插入到 salesinfo中 。
CREATE TABLE customerinfo
(
CustomerID INT NOT NULL ,
PRIMARY KEY ( CustomerID )
) TYPE = INNODB;
CREATE TABLE salesinfo
(
SalesID INT NOT NULL,
CustomerID INT NOT NULL,
PRIMARY KEY(CustomerID, SalesID),
FOREIGN KEY (CustomerID) REFERENCES customerinfo
(CustomerID) ON DELETECASCADE
) TYPE = INNODB;
注意例子中的参数“ON DELETE CASCADE” 。该参数保证当 customerinfo 表中的一条客户记录被删除的时候 , salesinfo 表中所有与该客户相关的记录也会被自动删除 。如果要在 MySQL 中使用外键,一定要记住在创建表的时候将表的类型定义为事务安全表 InnoDB类型 。该类型不是 MySQL 表的默认类型 。定义的方法是在 CREATE TABLE 语句中加上 TYPE=INNODB 。如例中所示 。
7、使用索引
索引是提高数据库性能的常用方法,它可以令数据库服务器以比没有索引快得多的速度检索特定的行,尤其是在查询语句当中包含有MAX(), MIN()和ORDERBY这些命令的时候,性能提高更为明显 。那该对哪些字段建立索引呢?一般说来,索引应建立在那些将用于JOIN, WHERE判断和ORDER BY排序的字段上 。尽量不要对数据库中某个含有大量重复的值的字段建立索引 。对于一个ENUM类型的字段来说,出现大量重复值是很有可能的情况,例如 customerinfo中的“province”.. 字段,在这样的字段上建立索引将不会有什么帮助;相反,还有可能降低数据库的性能 。我们在创建表的时候可以同时创建合适的索引,也可以使用ALTER TABLE或CREATE INDEX在以后创建索引 。此外 , MySQL
从版本3.23.23开始支持全文索引和搜索 。全文索引在 MySQL 中是一个FULLTEXT类型索引,但仅能用于MyISAM 类型的表 。对于一个大的数据库,将数据装载到一个没有FULLTEXT索引的表中,然后再使用ALTER TABLE或CREATE INDEX创建索引,将是非常快的 。但如果将数据装载到一个已经有FULLTEXT索引的表中 , 执行过程将会非常慢 。
8、优化的查询语句
绝大多数情况下,使用索引可以提高查询的速度,但如果SQL语句使用不恰当的话,索引将无法发挥它应有的作用 。下面是应该注意的几个方面 。首先,最好是在相同类型的字段间进行比较的操作 。在MySQL 3.23版之前,这甚至是一个必须的条件 。例如不能将一个建有索引的INT字段和BIGINT字段进行比较;但是作为特殊的情况,在CHAR类型的字段和 VARCHAR类型字段的字段大小相同的时候,可以将它们进行比较 。其次,在建有索引的字段上尽量不要使用函数进行操作 。
例如,在一个DATE类型的字段上使用YEAE()函数时,将会使索引不能发挥应有的作用 。所以,下面的两个查询虽然返回的结果一样,但后者要比前者快得多 。
SELECT * FROM order WHERE YEAR(OrderDate)2001;
SELECT * FROM order WHERE OrderDate"2001-01-01";
同样的情形也会发生在对数值型字段进行计算的时候:
SELECT * FROM inventory WHERE Amount/724;
SELECT * FROM inventory WHERE Amount24*7;
【mysql怎么调优化 mysql优化参数详解】上面的两个查询也是返回相同的结果,但后面的查询将比前面的一个快很多 。第三 , 在搜索字符型字段时,我们有时会使用 LIKE 关键字和通配符 , 这种做法虽然简单,但却也是以牺牲系统性能为代价的 。例如下面的查询将会比较表中的每一条记录 。
SELECT * FROM books
WHERE name like "MySQL%"
但是如果换用下面的查询 , 返回的结果一样,但速度就要快上很多:
SELECT * FROM books
WHERE name="MySQL"and name"MySQM"
最后,应该注意避免在查询中让MySQL进行自动类型转换,因为转换过程也会使索引变得不起作用 。
关于mysql怎么调优化和mysql优化参数详解的介绍到此就结束了 , 不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息 , 记得收藏关注本站 。
推荐阅读
- 光圈拍摄设备是什么,光圈在拍摄中有什么作用
- liunx连接oracle区别,linux链接oracle数据库
- 全球农场经营游戏,全球农场我的农场亿点强
- java服务器框架,java服务器监控框架
- linux打印命令行 linux 打印命令
- 商用小程序怎么申请,小程序商铺怎么开通
- 直播刷礼物代表什么意思,直播间刷礼物什么意思
- 视频号直播流速单速,视频号直播流量突然下降
- go语言登录设置 go语言 ui