mysql的分片怎么写 mysql 分区 分片 分库 分表( 二 )


一,先说一下为什么要分表
当一张的数据达到几百万时 , 你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了 。分表的目的就在于此,减小数据库的负担,缩短查询时间 。
根据个人经验 , mysql执行一个sql的过程如下:
1,接收到sql;2,把sql放到排队队列中 ;3,执行sql;4,返回执行结果 。在这个执行过程中最花时间在什么地方呢?第一 , 是排队等待的时间,第二,sql的执行时间 。其实这二个是一回事 , 等待的同时,肯定有sql在执行 。所以我们要缩短sql的执行时间 。
mysql中有一种机制是表锁定和行锁定,为什么要出现这种机制,是为了保证数据的完整性,我举个例子来说吧,如果有二个sql都要修改同一张表的同一条数据,这个时候怎么办呢 , 是不是二个sql都可以同时修改这条数据呢?很显然mysql对这种情况的处理是,一种是表锁定(myisam存储引擎) , 一个是行锁定(innodb存储引擎) 。表锁定表示你们都不能对这张表进行操作,必须等我对表操作完才行 。行锁定也一样 , 别的sql必须等我对这条数据操作完了,才能对这条数据进行操作 。如果数据太多,一次执行的时间太长,等待的时间就越长 , 这也是我们为什么要分表的原因 。
二,分表
1 , 做mysql集群,例如:利用mysql cluster,mysql proxy,mysql replication,drdb等等
有人会问mysql集群 , 根分表有什么关系吗?虽然它不是实际意义上的分表,但是它启到了分表的作用,做集群的意义是什么呢?为一个数据库减轻负担 , 说白了就是减少sql排队队列中的sql的数量,举个例子:有10个sql请求,如果放在一个数据库服务器的排队队列中 , 他要等很长时间,如果把这10个sql请求,分配到5个数据库服务器的排队队列中 , 一个数据库服务器的队列中只有2个,这样等待时间是不是大大的缩短了呢?这已经很明显了 。所以我把它列到了分表的范围以内,我做过一些mysql的集群:
linux mysql proxy 的安装 , 配置 , 以及读写分离
mysql replication 互为主从的安装及配置,以及数据同步
优点:扩展性好,没有多个分表后的复杂操作(php代码)
缺点:单个表的数据量还是没有变 , 一次操作所花的时间还是那么多 , 硬件开销大 。
2,预先估计会出现大数据量并且访问频繁的表,将其分为若干个表
这种预估大差不差的,论坛里面发表帖子的表 , 时间长了这张表肯定很大,几十万 , 几百万都有可能 。聊天室里面信息表 , 几十个人在一起一聊一个晚上,时间长了,这张表的数据肯定很大 。像这样的情况很多 。所以这种能预估出来的大数据量表,我们就事先分出个N个表,这个N是多少,根据实际情况而定 。以聊天信息表为例:
我事先建100个这样的表,message_00,message_01,message_02..........message_98,message_99.然后根据用户的ID来判断这个用户的聊天信息放到哪张表里面,你可以用hash的方式来获得,可以用求余的方式来获得,方法很多,各人想各人的吧 。下面用hash的方法来获得表名:
查看复制打印?
?php
function get_hash_table($table,$userid) {
$str = crc32($userid);
if($str0){
$hash = "0".substr(abs($str), 0, 1);
}else{
$hash = substr($str, 0, 2);
}
return $table."_".$hash;
}
echo get_hash_table('message','user18991');//结果为message_10
echo get_hash_table('message','user34523');//结果为message_13

推荐阅读