前面讲了Redis高并发缓存架构性能优化,其中对于缓存穿透/失效
以及缓存雪崩
的部分进行了粗略的理解,下面看看八股文的理解,大家可以根据自身理解去记忆
缓存异常场景
缓存雪崩 缓存雪崩
是指缓存同一时间大面积的失效,所以后面的请求都会落到数据库上,造成数据库短时间内承受大量请求而崩掉
解决方案
- 缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生
- 一般并发量不是特别多的时候,使用最多的解决方案就是加锁排队
- 给每一个缓存数据增加相应的缓存标记,记录缓存的是否失效,如果缓存标记失效,就更新数据缓存
缓存穿透
是指缓存和数据库中都没有的数据,导致所有的请求都落到数据库上,造成数据库短时间内承受大量的请求而崩掉解决方案
- 接口层增加校验,如用户鉴权校验,id做基础校验,id<=0的直接拦截掉
- 从缓存取不到的数据,在数据库也没有取到,这时可以将对应的key的值设置为空,缓存有效时间可以短点,比如30s,如果设置太长会导致正常情况也无法使用。这样可以防止攻击用户反复用同一个id暴力攻击
- 采用布隆过滤器,将所有可能存在的数据哈希到一个足够大的bitmap中,一个一定不存在的数据会被这个bitmap拦截掉,从而避免了对底层村塾系统的查询压力
缓存击穿
是指缓存中没有但数据库中有的数据(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没有读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力。和缓存雪崩不同的是,缓存击穿指并发查同一条数据,缓存雪崩是不同数据都过期了,很多数据都查不到从而去查数据库
解决方案
- 设置热点数据永远不过期
- 加互斥锁
缓存预热
是指系统上线后,将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题,用户直接查询实现被预热的缓存数据即可解决方案
- 直接写个缓存刷新页面,上线时手工操作一下
- 数据量不大,可以在项目启动的时候自动进行加载
- 定时刷新缓存
缓存降级
的最终目的是保证核心服务客用户,即使是有损的。而且有些服务是无法降级的(比如加入购物车,结算)在进行降级之前对系统进行梳理,看看系统是不是可以丢卒保帅,从而梳理出哪些必须誓死保护,哪些可以降级,比如可以参考日志级别设置预案
- 一般: 比如有些服务偶尔因为网络抖动或者服务正在上线而超时,可以自动降级
- 警告:有些服务在一段时间内成功率有波动(如在95~100%之间),可以自动降级或人工降级,并发送告警
- 错误: 比如可用于低于90%,或者数据库连接池被打爆了,或者访问量突然猛增到系统能承受的最大阈值,此时可以根据情况自动降级或者人工降级
- 严重错误: 比如因为特殊原因数据错误了,此时需要紧急人工降级。
Redis出现问题,不去数据库查询,而是直接返回默认值给用户
热点数据和冷数据 热点数据,缓存才有价值
对于冷数据而言,大部分数据可能还没有再次访问到就已经被挤出内存,不仅占用内存,而且价值不大。频繁修改的数据,看情况考虑使用缓存
对于热点数据,比如某导航信息,某产品,缓存以后可能读取数百万次
数据更新前至少读取两次,缓存才有意义,这样是最基本的策略,如果缓存还没有起作用就失效了,那就没有太大价值了
那存不存在,修改频率很高,但是又不得不考虑缓存的场景呢? 有,比如这个读取接口对数据库的压力很大,但是又是热点数据,这个时候需要考虑通过缓存手段,减少数据库的压力,比如我们的某助手产品,点赞数,收藏数,分享数等是非常典型的热点数据,但是又不断变化,此时就需要将数据同步保存到Redis缓存,减少数据库压力
缓存热点key 缓存中的一个key,比如一个促销商品,在某个时间点过期的时候,恰好在这个时间点对这个key有大量的并发请求过来,这些请求发现缓存过期一般都会从后端DB加载数据并回设置到缓存,这个时候大并发的请求会瞬间把后端DB压垮
【缓存|缓存异常场景】
解决方案
- 对缓存查询加锁,如果key不存就加锁,然后查DB入缓存,然后解锁,其他进程如果发现有锁就等待,然后等解锁后返回数据或者进入DB查询
缓存击穿
:单个key过期,恰好大量请求访问这个key,然后穿过缓存落到了数据库- 设置热点数据永不过期
- 使用互斥锁排队
缓存雪崩
:大量key同时失效,或者其他原因导致缓存不可用了,大量请求落到数据库- 缓存过期时间设置随机
- 一般并发量不多时,使用互斥锁排队
- 给缓存加标记,如果失效及时更新
缓存穿透
:缓存和数据库中都没有数据,穿过缓存全部落到数据库- 缓存空对象
- 布隆过滤器
- 网关校验拦截
缓存预热
:系统上线后,将相关缓存数据直接加载到缓存系统,这样可以避免用户直接先请求数据库,然后再将数据传给缓存的操作- 数据量不大的时候,项目启动时自动进行加载
- 数据量大的时候,设置个定时任务脚本,进行缓存的刷新
- 数据量太大的时候,写个缓存刷新页面,上线时手动操作
缓存降级
:降级的情况,就是缓存失效或者缓存服务挂掉的情况,我们也不去访问数据库,直接访问内存部分数据缓存或者直接返回默认数据
推荐阅读
- #|Oracle数据库操作
- 小程序|小程序云开发从入门到上线看这一篇就够了
- Dapper.Contrib 开发.net core程序,兼容多种数据库
- 69.查看APP沙盒缓存的内容文件
- Hibernate映射数据库中longtext类型属性时报错No Dialect mapping for JDBC type: -1的解决方案
- Android -LitePal 2.0.0数据库框架简介
- Hibernate 数据库方言配置;no dialect mapping for jdbc type:-9;生僻字
- Android数据库框架——GreenDao轻量级的对象关系映射框架,永久告别sqlite