Twitter的分布式自增ID算法Snowflake
在分布式系统中,需要生成全局UID的场合还是比较多的,twitter的snowflake解决了这种需求,实现也还是很简单的,除去配置信息,核心代码就是毫秒级时间41位 机器ID 10位 毫秒内序列12位 。
跨分片的排序分页
一般来讲,分页时需要按照指定字段进行排序 。当排序字段就是分片字段的时候 , 我们通过分片规则可以比较容易定位到指定的分片,而当排序字段非分片字段的时候,情况就会变得比较复杂了 。为了最终结果的准确性,我们需要在不同的分片节点中将数据进行排序并返回,并将不同分片返回的结果集进行汇总和再次排序,最后再返回给用户 。
访问外网的mysql数据库比较慢是怎么解决服务器放在局域网内进行测试时,数据库的访问速度还是很快 。但当服务器放到外网后,数据库的访问速度就变得非常慢 。
后来在网上发现解决方法,my.ini里面添加
[mysqld]
skip-name-resolve
这样速度就快了!
skip-name-resolve
选项就能禁用DNS解析 , 连接速度会快很多 。不过 , 这样的话就不能在MySQL的授权表中使用主机名了而只能用ip格式 。
就MySQL本身而言,问题出在在mysql dns反解析
mysqlshow processlist;
| 20681949 | unauthenticated user | 10.10.4.193:52497 | NULL | Connect | | Reading from net | NULL |
| 20681948 | unauthenticated user | 10.10.4.193:52495 | NULL | Connect | | Reading from net | NULL
发现有非常多的 unauthenticated user 尝试做登入使用 mysql 的情况,当这种情况无限制发生时就会造成系统十分缓慢 。
查阅mysql官方网站得知,这属于官方一个系统上的特殊设定 , 就把他当成mysql的一个bug算了 , 不管链接的的方式是经过 hosts 或是 IP 的模式,他都会对 DNS 做反查 。mysqld 会尝试去反查 IP - dns,由于反查解析过慢,就会无法应付过量的查询 。
如果mysql里面的数据过多,查询太慢怎么办?问题
我们有一个 SQL , 用于找到没有主键 / 唯一键的表,但是在 MySQL 5.7 上运行特别慢,怎么办?
实验
我们搭建一个 MySQL 5.7 的环境,此处省略搭建步骤 。
写个简单的脚本,制造一批带主键和不带主键的表:
执行一下脚本:
现在执行以下 SQL 看看效果:
...
执行了 16.80s,感觉是非常慢了 。
现在用一下 DBA 三板斧 , 看看执行计划:
感觉有点惨 , 由于 information_schema.columns 是元数据表,没有必要的统计信息 。
那我们来 show warnings 看看 MySQL 改写后的 SQL:
我们格式化一下 SQL:
可以看到 MySQL 将
select from A where A.x not in (select x from B) //非关联子查询
转换成了
select from A where not exists (select 1 from B where B.x = a.x) //关联子查询
如果我们自己是 MySQL,在执行非关联子查询时,可以使用很简单的策略:
select from A where A.x not in (select x from B where ...) //非关联子查询:1. 扫描 B 表中的所有记录,找到满足条件的记录,存放在临时表 C 中 , 建好索引2. 扫描 A 表中的记录,与临时表 C 中的记录进行比对,直接在索引里比对,
而关联子查询就需要循环迭代:
select from A where not exists (select 1 from B where B.x = a.x and ...) //关联子查询扫描 A 表的每一条记录 rA:扫描 B 表,找到其中的第一条满足 rA 条件的记录 。
显然,关联子查询的扫描成本会高于非关联子查询 。
我们希望 MySQL 能先"缓存"子查询的结果(缓存这一步叫物化,MATERIALIZATION) , 但MySQL 认为不缓存更快,我们就需要给予 MySQL 一定指导 。
推荐阅读
- 新手怎样直播带货卖货呢,新手怎么带货直播
- erp系统怎么才能卸载掉,erp软件怎么操作
- ios微博系统绑定,微博绑定apple
- sapcrm演示,sapcefm
- 微信视频号商品怎么删评论,微信视频号怎么删除评论过的视频
- 抖音直播拼多多上教运营,抖音直播拼多多上教运营可靠吗
- 初始化函数python的简单介绍
- 包含mysqlddlpostgresql的词条
- chatgpt填词造句,chatting造句