金鞍玉勒寻芳客,未信我庐别有春。这篇文章主要讲述SQL SERVER时间换空间,空间换时间 以及什么是好SQL相关的知识,希望能为你提供帮助。
希望这期不要掉粉,因为在说SQL SERVER 但实际上这期如果你放到所有的数据库上去看,也是有营养的,虽然放到了一般不会发文的周六,也没想有多少观众,就当自己对某些东西的回顾和反思。
先说问题,最近的SQL SERVER 内存消耗的厉害,在这之前是建立了一堆的索引,来提高查询的效率,内存的使用也在悄然的上涨.
一般来说,数据库有需求是正常合理的需求,就应该给,大部分人的第一反应,是不是有慢语句,是不是有消耗内存的东西在运行,是否应该优化或杀死。
语句当然要优化,索引当然要加,但过度的优化和大量的索引走向的就是另一个极端。SQL SERVER 本身与其他的 ORACLE ,POSTGRESQL ,mysql 三个传统数据库在内存的管理方面是比较“放羊”方式的管理,你安装后最大内存和最小内存都是不用设置的,系统会自动的进行处理。
其实这里有两个矛盾点,这在其他的数据库上也是存在的
1 防止buffer变得过大,以至于系统的内存不足
2 通过最大化缓冲池来最小化数据库文件频繁在I/O和内存中频繁的交换
这是放到大部分数据库都应该能被认可的一个点, 在一个负载过重的系统上,大型的查询无法获得所需要的内存的最小量,带来的就是处理这个SQL 的等待,而如果此时你的数据库还支持并行,POSTGRESQL ORACLE SQL SERVER ,等都支持并行,此时的并行对于大型的查询并不会好到哪里去,而会让事情变得更糟糕,因为我本身内存不足,而你要并行处理,内存就更加的不足,加速I/O的压力。
所以搞清楚到底是内存不足或软件的设计上有问题,这两件事情就被提到了台面上。个人倾向在目前硬件的价格较低的情况下,尽量的去添加硬件,而软件的某些架构和处理方式要改变是很难的,这和很多事情都有关,这里就不展开了。
在SQL SERVER 中如果得不到足够的内存,则查询可能会走另外的执行计划,并且会占用TEMP库(物理I/O)的方式处理,而性能就会走向另一个极端。
现在回到上面的那个问题,一个SQL 如果他执行的快,就说明很好,这样的想法对不对,个人认为,to young to simple。
我会从以下维度来考虑一个SQL 到底OK 不OK
1 执行时间,这当然的考虑, 否则你的客户就要投诉你了
2 每个SQL 占用的内存(我会对一些复杂的SQL 来看看到底会占用多少内存,怎么看后面说)
3
SQL 的复杂度,如果一个SQL 本身很复杂,那就要拆
关于第三个问题可能马上就有人问,我就喜欢写复杂的SQL 我又没有用MYSQL ,ORACLE
SQL SERVER 不就是让人写复杂SQL 的,通过一个SQL 来解决复杂的逻辑,不是一件好事情。
实际上这的两面看,的确一个SQL 能解决的问题,换成多个SQL 来解决,效率上可能还真的是一个SQL 可能占有优势,(实际上也不尽其然,很多情况拆开运行倒是比写一个上百行的SQL 要快),但一般这样想的人,都没有一个并发的感念和想法,你的一个SQL 运行下去,会不会在单位时间里面多次重复运行,那他们要占有的资源很可能就重叠了,那重叠会怎么样,锁呗,死锁呗,锁等待呗,各种latch 锁呗。
所以SQL 的复杂度和并发本身就是一个矛盾体,放到其他数据库也是一样。
另外一个SQL 执行的快慢,他不是固定的,和你的天时地利人和(其实就是资源,并发,单位时间)是绑定的,而机器的资源可是动态的,所以一直强调语句要多少秒执行出来的做法,你的前提是,资源可别短人家的,并且系统的并发到底高不高,执行的频率是多少,等等问题,而一味要求一个SQL 要多少秒出来,前边的事情不想,后面的要求就很难达到。
下面是一个数据库的占用内存的情况,可以看到有的表的主键占用的内存都已经达到G级别,在证明这个系统很繁忙的情况下,也是能分析出一些其他的问题。
另外一个事情,SQL SERVER 本身是不会乱分配内存的,如果它达到了某个更高的内存消耗标准,自然会申请获得更多的内存,所以想限制内存的使用只能是徒劳的行为,最后用磁盘模拟内存那结果也是相当的好看,你可以查看一个数据库中某个线程的SQL占用内存的情况,下面这个语句占用的内存就被捕捉到了,所以在看一个语句的占用CPU 时间,逻辑扫描数,物理扫描数,还是要关心一下内存的使用情况。
其实在考虑一个SQL 是不是更快的时候,时间的节省,可能带来的就是空间的损失(这里不光指的是内存),所以还是那句话,空间换时间,时间换空间,在每种数据库上都是可以找寻的一句“金句”。在硬件性能不足的情况下,在怎么优化语句也是徒劳,同时在强悍的硬件,也架不住某些SQL。
【SQL SERVER时间换空间,空间换时间 以及什么是好SQL】
推荐阅读
- Zookeeper - 数据处理/存储
- MYSQL性能优化-- index 使用方法公式
- 尽一份孝心,为家人做一个老人防摔报警系统
- 数据库简史,戏说中国数据库诸侯史
- MYSQL如果索引优化仅仅是添加索引,too young to simple
- MYSQL ICP 索引下推为什么他行,你不行()
- Mongodb模式设计案例一例
- PostgreSQL逻辑复制学习中的深入与疑问
- 百度工程师教你玩转设计模式(单例模式)