缓存雪崩,缓存穿透,缓存击穿出现的原因及解决方案
缓存雪崩 出现过程
假设有如下一个系统,高峰期请求为5000次/秒,4000次走了缓存,只有1000次落到了数据库上,数据库每秒1000的并发是一个正常的指标,完全可以正常工作,但如果缓存宕机了,或者缓存设置了相同的过期时间,导致缓存在同一时刻同时失效,每秒5000次的请求会全部落到数据库上,数据库立马就死掉了,因为数据库一秒最多抗2000个请求,如果DBA重启数据库,立马又会被新的请求打死了,这就是缓存雪崩。
文章图片
解决方法
- 事前:redis高可用,主从+哨兵,redis cluster,避免全盘崩溃
- 事中:本地ehcache缓存 + hystrix限流&降级,避免MySQL被打死
- 事后:redis持久化RDB+AOF,快速恢复缓存数据
- 缓存的失效时间设置为随机值,避免同时失效
假如客户端每秒发送5000个请求,其中4000个为黑客的恶意攻击,即在数据库中也查不到。举个例子,用户id为正数,黑客构造的用户id为负数,如果黑客每秒一直发送这4000个请求,缓存就不起作用,数据库也很快被打死。
文章图片
解决方法
- 对请求参数进行校验,不合理直接返回
- 查询不到的数据也放到缓存,value为空,如 set -999 “”
- 使用布隆过滤器,快速判断key是否在数据库中存在,不存在直接返回
【缓存雪崩,缓存穿透,缓存击穿出现的原因及解决方案】为什么第二种并不常用呢?
因为如果黑客构造的请求id是随机数,第二种并不能起作用,反而由于缓存的清空策略,(例如清除最近没有被访问的缓存)导致有用的缓存被清除了。
缓存击穿 出现过程
设置了过期时间的key,承载着高并发,是一种热点数据。从这个key过期到重新从MySQL加载数据放到缓存的一段时间,大量的请求有可能把数据库打死。缓存雪崩是指大量缓存失效,缓存击穿是指热点数据的缓存失效
解决方法
- 设置key永远不过期,或者快过期时,通过另一个异步线程重新设置key
- 当从缓存拿到的数据为null,重新从数据库加载数据的过程上锁,下面写个分布式锁实现的demo
Redis分布式锁为什么要这样写?
1.加锁执行命令
SET resource_name random_value NX PX 30000
2.解锁执行脚本
if redis.call("get", KEYS[1]) == ARGV[1] then
return redis.call("del", KEYS[1])
else
return 0
end
写一个分布式锁工具类
public class LockUtil {private static final String OK = "OK";
private static final Long LONG_ONE = 1L;
private static final String script = "if redis.call('get', KEYS[1]) == ARGV[1] then return redis.call('del', KEYS[1]) else return 0 end";
public static boolean tryLock(String key, String value, long expire) {
Jedis jedis = RedisPool.getJedis();
SetParams setParams = new SetParams();
setParams.nx().px(expire);
return OK.equals(jedis.set(key, value, setParams));
}public static boolean releaseLock(String key, String value) {
Jedis jedis = RedisPool.getJedis();
return LONG_ONE.equals(jedis.eval(script, 1, key, value));
}
}
工具类写起来还是挺简单的
示例代码
public String getData(String key) {
String lockKey = "key";
String lockValue = https://www.it610.com/article/String.valueOf(System.currentTimeMillis());
long expireTime = 1000L;
String value = getFromRedis(key);
if (value == null) {
if (LockUtil.tryLock(lockKey, lockValue, expireTime)) {
// 从数据库取值并放到redis中
LockUtil.releaseLock(lockKey, lockValue);
} else {
// sleep一段时间再从缓存中拿
Thread.sleep(100);
getFromRedis(key);
}
}
return value;
}
参考博客 [1]https://blog.csdn.net/zeb_perfect/article/details/54135506
[2]https://blog.csdn.net/kongtiao5/article/details/82771694
[3]https://www.javashitang.com/?p=596
推荐阅读
- 不废话,代码实践带你掌握|不废话,代码实践带你掌握 强缓存、协商缓存!
- 15、IDEA学习系列之其他设置(生成javadoc、缓存和索引的清理等)
- springboot使用redis缓存
- 缓存有关的配置和属性
- 后台|NATAPP内网穿透通过nginx实现一个端口访问多个不同端口服务
- 服务器|用旧手机搭建服务器并实现内网穿透不需要root(本人亲测很多次最简单的一个)
- NATAPP免费实现内网穿透
- LRU|LRU java 实现
- 框架|Mybatis的一级缓存和二级缓存
- iOS|iOS Runtime 的方法缓存(存储的形式、数据结构以及查找的过程?)