【my.cnf 配置文件详解】Mysql 作为最常用的数据库软件,对于关系型数据库来说无疑是比较优秀的,随着版本的
不断更新,其功能也在增长。my.cnf 作为 mysql 的核心配置文件,很有必要知道一下。
[root@localhost ~]# mysql --version
mysql Ver 14.14 Distrib 5.6.16, for Linux (x86_64) using EditLine wrapper -------------------------------------------------------------------------------------
[client]
port =3306
#default-character-set=utf8
[mysqld_safe]
open-files-limit = 32768
[mysqld]
port = 3306【监听端口】
socket =/tmp/mysqld.sock【socket 文件】
pid-file =/usr/local/mysql/data/mysqld.pid【pid 文件】
basedir =/usr/local/mysql【安装目录】
datadir =/usr/local/mysql/data【数据目录】
#character-set-server =utf8【字符设置】
skip-external-locking【避免 mysql 的外部锁定,保持 mysql 的稳定性】
skip-name-resolve【避免 mysql 对外部的连接进行 DNS 解析,若使用此设置,那么远
程主机连接时只能使用 ip,而不能使用域名】
max_connections =3000【mysql 允许最大连接进程数】
max_connect_errors =10【每个客户端允许异常终端的次数,如果达到此限制,这
个客户端将会被 mysql 服务阻止直到执行了‘FLUSH HOSTS’或者服务重启】
table_open_cache =2048
max_allowed_packet =16M【设置网络传输中传输消息的最大值,默认为 1M,最大
可以是 1G】
binlog_cache_size =8M【设置 bin-log 缓存大小】
max_heap_table_size =64M
2
read_buffer_size =2M【指定 MYISAM 表全表扫描的缓冲大小】
read_rnd_buffer_size =16M
sort_buffer_size =8M【设置排序缓冲区来处理队列所引起的排序,默认为 2M,
该参数对应分配到的内存是每个连接独占的,如有 100 个连接,则会分配排序缓冲区大小
为 2*100,推荐设置为 6M-8M】
join_buffer_size = 8M【设定联合查询操作所使用的缓冲区大小】
thread_cache_size = 8【threadcache 池可以缓存连接线程的最大数量,默认为
0,该值表示可以重新利用保存在缓存中线程的数量,当断开连接时若缓存中还有空间,那
么客户端的线程将被放到缓存中,如果线程重新被请求,那么请求将从缓存中读取,若果
缓存中是空的或者是新的请求,那么线程将被重新创建。设置规律为:1G 内存设置为 8,2G
内存设置为 16,4G 以上设置为 64】
thread_concurrency = 8【根据 cpu 的数量而定】
query_cache_size = 64M【指定 mysql 的查询缓存区大小,用来缓冲 select 结
果 , 这 样 当 下 次 查 询 同 一 结 果 会 直 接 从 内 存 读 取 , 提 高 效 率 , 可 根 据
Qcache_lowmem_prunes 的大小来判断当前的负载是否足够高】
query_cache_limit = 2M【只有小于该值的结果才会被缓冲,根据实际情况而定,
如果该值过大则会覆盖其他所有的查询结果】
ft_min_word_len = 4【被全文检索索引的最小字长,修改此值之后,你需要重
建你的 FULLTEXT 索引】
default_storage_engine = INNODB【指定默认的存储引擎】
thread_stack =192K【线程使用的堆栈大小,此容量的内存在每次连接时被预留,默认
设置基本可以满足大多数的应用,除非你有特殊需求,你可以修改此值的大小】
transaction_isolation =REPEATABLE-READ 【 指 定 默 认 的 事 务 隔 离 级 别 (READ
UNCOMMITIED:读未提交,READ-COMMITTE:读已提交,REPEATABLE READ:可重复读,
SERIALIZABLE:串行)】
tmp_table_size = 128M【内存临时表的大小,如果超过该值,会将临时表写入到数据盘
里面】
server-id = 21【serverid 可以作为此数据库的唯一标识符,在主从架构中必须启用该选
项】
key_buffer_size = 128M【指定索引缓冲区的大小,内存为 4G 是设置为 256M 或
384M】
bulk_insert_buffer_size = 64M【设置批量插入数据缓存大小,可以有效提高插入效率,
默认为 8M】
3
####LOG
slow_query_log=1【设置慢查询间隔时间】
slow_query_log_file=db-slow.log【指定文件名称】
long_query_time = 1
binlog_cache_size = 4M
max_binlog_cache_size = 8M【指定 bin-log 缓存日志大小】
max_binlog_size = 1G【指定 bin-log 日志最大值】
binlog-format = MIXED【设置 bin-log 日志格式,binlog 的格式有三种:STATEMENT(基
于 sql 语句的复制),ROW(基于行的复制),MIXED(混合模式)】
expire_logs_days = 15【指定日志的保存时间】
log-error=db-mysql.err
log-bin=db-log-bin【开启二进制日志功能】
relay-log=db-relay-bin【设置中继日志,在主从架构中使用,从库读取中继日志来更新
数据】
myisam_sort_buffer_size = 128M【MyISAM 表发生变化时重新排序所需的缓冲】
myisam_max_sort_file_size = 10G【MySQL 重建索引时所允许的最大临时文件大小(当
REPAIR,ALTER TABLE 或者是 LOAD DATA INFILE),如果大于设定值,则索引会通过键值
缓冲创建】
myisam_repair_threads = 1【如果一个表拥有超过一个索引,MyISAM 可以通过并行排
序使用超过一个线程去修复它们】
myisam_recover【开启自动检查和修复没有正确关闭的 MyISAM 表】
innodb_force_recovery=1
innodb_additional_mem_pool_size = 16M【此参数指定 InnoDB 存储的数据目录信息
和其它内部数据结构的内存池大小,不是一个强制性参数】
innodb_buffer_pool_size = 512M【这对 InnoDB 很重要,指定 InnoDB 的缓冲池大小,
InnoDB 把数据和索引都缓存起来,根据实际情况而定,如果数据浮动量较大,则可以考
虑把值设置稍大一些】
innodb_data_file_path = ibdata1:100M:autoextend【表空间文件,属于重要数据】
innodb_data_home_dir = /usr/local/mysql/dat
4
及系统的调度方式】
innodb_flush_log_at_trx_commit = 1【设置为 1,将在每次提交事务后将日志写入磁盘;
设置为 0 表示事务日志写入日志文件,而日志文件每秒刷新到磁盘一次。设置为 2 表示事
务日志将在提交时写入日志,但日志文件每次刷新到磁盘一次】
innodb_log_buffer_size = 8M【设置日志文件所使用的内存大小,以 M 为单位,不宜过
大,否则出现意外之后,有可能丢失数据,1-8 之间一般都可以了】
innodb_log_file_size = 1G【确定数据日志文件的大小,以 M 为单位,更大的设置可以提
高性能,但同时也会增加故障恢复所需要的时间】
innodb_log_files_in_group = 3【设置 mysql 可以通过循环方式将日志文件写到多个文
件,推荐设置为 3M】
innodb_log_group_home_dir = /usr/local/mysql/data
innodb_max_dirty_pages_pct = 90【Buffer_Pool 中 Dirty_Page 所占的数量,直接影响
InnoDB 的关闭时间。参数 innodb_max_dirty_pages_pct 可以直接控制了 Dirty_Page
在 Buffer_Pool 中所占的比率,而且幸运的是 innodb_max_dirty_pages_pct 是可以动态
改变的。所以,在关闭 InnoDB 之前先将 innodb_max_dirty_pages_pct 调小,强制数据
块 Flush 一段时间,则能够大大缩短 MySQL 关闭的时间。】
innodb_lock_wait_timeout = 120【InnoDB 有其内置的死锁检测机制,能导致未完成的
事务回滚。但是,如果结合 InnoDB 使用 MyISAM 的 lock tables 语句或第三方事务引擎, 则 InnoDB 无法识别死锁。为消除这种可能性,可以将 innodb_lock_wait_timeout 设置
为一个整数值,指示 MySQL 在允许其他事务修改那些最终受事务回滚的数据之前要等待
多长时间(秒数)】
innodb_file_per_table = 1【开启独享表空间。0 代表关闭,1 代表开启】
[mysqldump]
quick
max_allowed_packet = 32M
[mysql]
no-auto-rehash
[isamchk]
key_buffer = 256M
sort_buffer_size = 256M
read_buffer = 4M
5
write_buffer = 4M
[myisamchk]
key_buffer = 256M
sort_buffer_size = 256M
read_buffer = 4M
write_buffer = 4M
======================================= MYSQL 性能查看(命中率,慢查询)
网上有很多的文章教怎么配置 MySQL 服务器,但考虑到服务器硬件配置的不同,具体应
用的差别,那些文章的做法只能作为初步设置参考,我们需要根据自己的情况进行配置优
化,好的做法是 MySQL 服务器稳定运行了一段时间后运行,根据服务器的”状态”进行
优化。
mysql> show global status;
可以列出 MySQL 服务器运行各种状态值,另外,查询 MySQL 服务器配置信息语句:
mysql> show variables;
一、慢查询
mysql> show variables like ‘%slow%’;
±-----------------±------+
| Variable_name | Value |
±-----------------±------+
| log_slow_queries | ON |
| slow_launch_time | 2 |
±-----------------±------+
mysql> show global status like ‘%slow%’;
±--------------------±------+
| Variable_name | Value |
±--------------------±------+
| Slow_launch_threads | 0 |
| Slow_queries | 4148 |
±--------------------±------+
配置中打开了记录慢查询,执行时间超过 2 秒的即为慢查询,系统显示有 4148 个慢
6
查询,你可以分析慢查询日志,找出有问题的 SQL 语句,慢查询时间不宜设置过长,否则
意义不大,最好在 5 秒以内,如果你需要微秒级别的慢查询,可以考虑给 MySQL 打补丁:
http://www.percona.com/docs/wiki/release:start,记得找对应的版本。
打开慢查询日志可能会对系统性能有一点点影响,如果你的 MySQL 是主-从结构,可
以考虑打开其中一台从服务器的慢查询日志,这样既可以监控慢查询,对系统性能影响又
小。
二、连接数
经常会遇见”MySQL: ERROR 1040: Too many connections”的情况,一种是访问
量确实很高,MySQL 服务器抗不住,这个时候就要考虑增加从服务器分散读压力,另外一
种情况是 MySQL 配置文件中 max_connections 值过小:
mysql> show variables like ‘max_connections’;
±----------------±------+
| Variable_name | Value |
±----------------±------+
| max_connections | 256 |
±----------------±------+
这台 MySQL 服务器最大连接数是 256,然后查询一下服务器响应的最大连接数:
mysql> show global status like ‘Max_used_connections’;
MySQL 服务器过去的最大连接数是 245,没有达到服务器连接数上限 256,应该没有
出现 1040 错误,比较理想的设置是:
Max_used_connections / max_connections * 100% ≈ 85%
最大连接数占上限连接数的 85%左右,如果发现比例在 10%以下,MySQL 服务器连
接数上限设置的过高了。
三、Key_buffer_size
key_buffer_size 是对 MyISAM 表性能影响最大的一个参数,下面一台以 MyISAM 为
主要存储引擎服务器的配置:
mysql> show variables like ‘key_buffer_size’;
±----------------±-----------+
| Variable_name | Value |
±----------------±-----------+
| key_buffer_size | 536870912 |
7
±----------------±-----------+
分配了 512MB 内存给 key_buffer_size,我们再看一下 key_buffer_size 的使用情况:
mysql> show global status like ‘key_read%’;
±-----------------------±------------+
| Variable_name | Value | mysql
±-----------------------±------------+
| Key_read_requests | 27813678764 |
| Key_reads | 6798830 |
±-----------------------±------------+ 一共有 27813678764 个索引读取请求,有 6798830 个请求在内存中没有找到直接
从硬盘读取索引,计算索引未命中缓存的概率:
key_cache_miss_rate = Key_reads / Key_read_requests * 100%
比如上面的数据,key_cache_miss_rate 为 0.0244%,4000 个索引读取请求才有一
个直接读硬盘,已经很 BT 了,key_cache_miss_rate 在 0.1%以下都很好(每 1000 个请求有
一个直接读硬盘),如果 key_cache_miss_rate 在 0.01%以下的话,key_buffer_size 分配
的过多,可以适当减少。
MySQL 服务器还提供了 key_blocks_*参数:
mysql> show global status like ‘key_blocks_u%’;
±-----------------------±------------+
| Variable_name | Value |
±-----------------------±------------+
| Key_blocks_unused | 0 |
| Key_blocks_used | 413543 |
±-----------------------±------------+
Key_blocks_unused 表示未使用的缓存簇(blocks)数,Key_blocks_used 表示曾经用
到的最大的 blocks 数,比如这台服务器,所有的缓存都用到了,要么增加 key_buffer_size,
要么就是过渡索引了,把缓存占满了。比较理想的设置:
Key_blocks_used / (Key_blocks_unused + Key_blocks_used) * 100% ≈ 80%
四、临时表
mysql> show global status like ‘created_tmp%’;
±------------------------±--------+
| Variable_name | Value |
8
±------------------------±--------+
| Created_tmp_disk_tables | 21197 |
| Created_tmp_files | 58 |
| Created_tmp_tables | 1771587 |
±------------------------±--------+
每次创建临时表,Created_tmp_tables 增加,如果是在磁盘上创建临时表,
Created_tmp_disk_tables 也增加,Created_tmp_files 表示 MySQL 服务创建的临时文件
文件数,比较理想的配置是:
Created_tmp_disk_tables / Created_tmp_tables * 100% <= 25%
比如上面的服务器 Created_tmp_disk_tables / Created_tmp_tables * 100% =
1.20%,应该相当好了。我们再看一下 MySQL 服务器对临时表的配置:
mysql> show variables where Variable_name in (‘tmp_table_size’, ‘max_heap_table_size’);
±--------------------±----------+
| Variable_name | Value |
±--------------------±----------+
| max_heap_table_size | 268435456 |
| tmp_table_size | 536870912 |
±--------------------±----------+
只有 256MB 以下的临时表才能全部放内存,超过的就会用到硬盘临时表。
五、Open Table 情况
mysql> show global status like ‘open%tables%’;
±--------------±------+
| Variable_name | Value |
±--------------±------+
| Open_tables | 919 |
| Opened_tables | 1951 |
±--------------±------+
Open_tables 表示打开表的数量,Opened_tables 表示打开过的表数量,如果
Opened_tables 数 量 过 大 , 说 明 配 置 中 table_cache(5.1.3 之 后 这 个 值 叫 做
table_open_cache)值可能太小,我们查询一下服务器 table_cache 值:
mysql> show variables like ‘table_cache’;
±--------------±------+
9
| Variable_name | Value |
±--------------±------+
| table_cache | 2048 |
±--------------±------+
比较合适的值为:
Open_tables / Opened_tables * 100% >= 85%
Open_tables / table_cache * 100% <= 95%
六、进程使用情况
mysql> show global status like ‘Thread%’;
±------------------±------+
| Variable_name | Value |
±------------------±------+
| Threads_cached | 46 |
| Threads_connected | 2 |
| Threads_created | 570 |
| Threads_running | 1 |
±------------------±------+
如果我们在 MySQL 服务器配置文件中设置了 thread_cache_size,当客户端断开之
后,服务器处理此客户的线程将会缓存起来以响应下一个客户而不是销毁(前提是缓存数未
达上限)。Threads_created 表示创建过的线程数,如果发现 Threads_created 值过大的话,
表明 MySQL 服务器一直在创建线程,这也是比较耗资源,可以适当增加配置文件中
thread_cache_size 值,查询服务器 thread_cache_size 配置:
mysql> show variables like ‘thread_cache_size’;
±------------------±------+
| Variable_name | Value |
±------------------±------+
| thread_cache_size | 64 |
±------------------±------+
示例中的服务器还是挺健康的。
七、查询缓存(query cache)
mysql> show global status like ‘qcache%’;
10
±------------------------±----------+
| Variable_name | Value |
±------------------------±----------+
| Qcache_free_blocks | 22756 |
| Qcache_free_memory | 76764704 |
| Qcache_hits | 213028692 |
| Qcache_inserts | 208894227 |
| Qcache_lowmem_prunes | 4010916 |
| Qcache_not_cached | 13385031 |
| Qcache_queries_in_cache | 43560 |
| Qcache_total_blocks | 111212 |
±------------------------±----------+
MySQL 查询缓存变量解释:
Qcache_free_blocks:缓存中相邻内存块的个数。数目大说明可能有碎片。FLUSH
QUERY CACHE 会对缓存中的碎片进行整理,从而得到一个空闲块。
Qcache_free_memory:缓存中的空闲内存。
Qcache_hits:每次查询在缓存中命中时就增大
Qcache_inserts:每次插入一个查询时就增大。命中次数除以插入次数就是不中比率。
Qcache_lowmem_prunes:缓存出现内存不足并且必须要进行清理以便为更多查询
提供空间的次数。这个数字最好长时间来看;
如果这个数字在不断增长,就表示可能碎片非
常严重,或者内存很少。(上面的 free_blocks 和 free_memory 可以告诉您属于哪种情况)
Qcache_not_cached:不适合进行缓存的查询的数量,通常是由于这些查询不是
SELECT 语句或者用了 now()之类的函数。
Qcache_queries_in_cache:当前缓存的查询(和响应)的数量。
Qcache_total_blocks:缓存中块的数量。
我们再查询一下服务器关于 query_cache 的配置:
mysql> show variables like ‘query_cache%’;
±-----------------------------±----------+
| Variable_name | Value |
±-----------------------------±----------+
| query_cache_limit | 2097152 |
| query_cache_min_res_unit | 4096 |
| query_cache_size | 203423744 |
11
| query_cache_type | ON |
| query_cache_wlock_invalidate | OFF |
+——————————+———–+
各字段的解释:
query_cache_limit:超过此大小的查询将不缓存
query_cache_min_res_unit:缓存块的最小大小
query_cache_size:查询缓存大小
query_cache_type:缓存类型,决定缓存什么样的查询,示例中表示不缓存 select
sql_no_cache 查询
query_cache_wlock_invalidate:当有其他客户端正在对 MyISAM 表进行写操作时,
如果查询在 query cache 中,是否返回 cache 结果还是等写操作完成再读表获取结果。
query_cache_min_res_unit 的配置是一柄”双刃剑”,默认是 4KB,设置值大对大数
据查询有好处,但如果你的查询都是小数据查询,就容易造成内存碎片和浪费。
查询缓存碎片率 = Qcache_free_blocks / Qcache_total_blocks * 100%
如果查询缓存碎片率超过 20%,可以用 FLUSH QUERY CACHE 整理缓存碎片,或者
试试减小 query_cache_min_res_unit,如果你的查询都是小数据量的话。
查 询 缓 存 利 用 率 = (query_cache_size - Qcache_free_memory) /
query_cache_size * 100%
查询缓存利用率在 25%以下的话说明 query_cache_size 设置的过大,可适当减小;
查
询 缓 存 利 用 率 在 80% 以 上 而 且 Qcache_lowmem_prunes > 50 的 话 说 明
query_cache_size 可能有点小,要不就是碎片太多。
查询缓存命中率 = (Qcache_hits - Qcache_inserts) / Qcache_hits * 100%
示例服务器 查询缓存碎片率 = 20.46%,查询缓存利用率 = 62.26%,查询缓存命中
八、排序使用情况 率 = 1.94%,命中率很差,可能写操作比较频繁吧,而且可能有些碎片。
mysql> show global status like ‘sort%’;
±------------------±-----------+
| Variable_name | Value |
±------------------±-----------+
| Sort_merge_passes | 29 |
| Sort_range | 37432840 |
| Sort_rows | 9178691532 |
| Sort_scan | 1860569 |
12
±------------------±-----------+
Sort_merge_passes 包括两步。MySQL 首先会尝试在内存中做排序,使用的内存
大小由系统变量 Sort_buffer_size 决定,如果它的大小不够把所有的记录都读到内存中,
MySQL 就会把每次在内存中排序的结果存到临时文件中,等 MySQL 找到所有记录之
后,再把临时文件中的记录做一次排序。这再次排序就会增加 Sort_merge_passes。实际
上 , MySQL 会 用 另 一 个 临 时 文 件 来 存 再 次 排 序 的 结 果 , 所 以 通 常 会 看 到
Sort_merge_passes 增加的数值是建临时文件数的两倍。因为用到了临时文件,所以速度
可能会比较慢,增加 Sort_buffer_size 会减少 Sort_merge_passes 和 创建临时文件的
次数。但盲目的增加 Sort_buffer_size 并不一定能提高速度,见 How fast can you sort
data with MySQL
九、文件打开数(open_files)
mysql> show global status like ‘open_files’;
±--------------±------+
| Variable_name | Value |
±--------------±------+
| Open_files | 1410 |
±--------------±------+
mysql> show variables like ‘open_files_limit’;
±-----------------±------+
| Variable_name | Value |
±-----------------±------+
| open_files_limit | 4590 |
±-----------------±------+
比较合适的设置:Open_files / open_files_limit * 100% <= 75%
十、表锁情况
mysql> show global status like ‘table_locks%’;
±----------------------±----------+
| Variable_name | Value |
±----------------------±----------+
| Table_locks_immediate | 490206328 |
| Table_locks_waited | 2084912 |
±----------------------±----------+
13
Table_locks_immediate 表示立即释放表锁数,Table_locks_waited 表示需要等待的
表锁数,如果 Table_locks_immediate / Table_locks_waited > 5000,最好采用 InnoDB
引擎,因为 InnoDB 是行锁而 MyISAM 是表锁,对于高并发写入的应用 InnoDB 效果会好
些。示例中的服务器 Table_locks_immediate / Table_locks_waited = 235,MyISAM 就
足够了。
十一、表扫描情况
mysql> show global status like ‘handler_read%’;
±----------------------±------------+
| Variable_name | Value |
±----------------------±------------+
| Handler_read_first | 5803750 |
| Handler_read_key | 6049319850 |
| Handler_read_next | 94440908210 |
| Handler_read_prev | 34822001724 |
| Handler_read_rnd | 405482605 |
| Handler_read_rnd_next | 18912877839 |
±----------------------±------------+
调出服务器完成的查询请求次数:
mysql> show global status like ‘com_select’;
±--------------±----------+
| Variable_name | Value |
±--------------±----------+
| Com_select | 222693559 |
±--------------±----------+
表扫描率 = Handler_计算表扫描率:read_rnd_next / Com_select
如果表扫描率超过 4000,说明进行了太多表扫描,很有可能索引没有建好,增加
read_buffer_size 值会有一些好处,但最好不要超过 8MB。
后记:
文中提到一些数字都是参考值,了解基本原理就可以,除了 MySQL 提供的各种 status
值外,操作系统的一些性能指标也很重要,比如常用的 top,iostat 等,尤其是 iostat,现
在的系统瓶颈一般都在磁盘 IO 上,关于 iostat 的使用.