redis 过滤器 redis安装布控过滤器

本文目录一览：

1、redis常用数据结构介绍和业务应用场景分析
2、什么是缓存穿透?
3、redis布隆过滤器属于bigkey
4、使用布隆过滤器判断元素是否存在
5、【golang】海量数据去重-布隆过滤器

redis常用数据结构介绍和业务应用场景分析1、String 字符串字符串类型是 Redis 最基础的数据结构，首先键都是字符串类型，而且其他几种数据结构都是在字符串类型基础上构建的，我们常使用的 set key value 命令就是字符串。
2、数据结构，可以存储一些集合性的数据。比如在微博应用中，可以将一个用户所有的关注人存在一个集合中，将其所有粉丝存在一个集合。
3、应用场景：排行榜，带权重的消息队列描述：Bitmaps这个“数据结构”可以实现对位的操作。把数据结构加上引号主要因为：Bitmaps本身不是一种数据结构，实际上它就是字符串，但是它可以对字符串的位进行操作。
4、大家都知道redis的几种数据结构，包括string （字符串），hash（哈希）， list（列表），set（集合），zset（有序集合）。下面我们来列举一下关于这几种结构的常用命令和一些使用场景。string是redis的最基本的数据类型。
什么是缓存穿透?缓存穿透的概念很简单，用户想要查询一个数据，发现redis内存数据库没有，也就是缓存没有命中，于是向持久层数据库查询。发现也没有，于是本次查询失败。当用户很多的时候，缓存都没有命中，于是都去请求了持久层数据库。
缓存穿透是指缓存和数据库中都没有的数据，而用户不断发起请求，如发起的数据特别大而不存在的数据。
【redis 过滤器 redis安装布控过滤器】缓存穿透是指查询的key不存在，从而缓存查询不到而查询了数据库。解决方法：把所有存在的key都存到另外一个存储的Set集合里，查询时可以先查询key是否存在。
缓存穿透：缓存穿透是指查询一个根本不存在的数据，这样的数据肯定不在缓存中，这会导致请求全部落到数据库上，有可能出现数据库宕机的情况。
redis布隆过滤器属于bigkey1、布隆过滤器（英语：Bloom Filter）是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。主要用于判断一个元素是否在一个集合中。
2、内存的存储存在局限性，可以使用redis中的bitMap来实现字节数组的存储。使用redis实现布隆过滤器。需要根据公式，手动计算字节数组的长度和哈希的个数。实现过程，待完善。。
3、bitmap本质上还是使用的string字符串，不过可以通过bit来进行操作，把这个key的value值想象成bit组成的数组。
4、实现方式：Redis实现布隆过滤器——借鉴Guava的BF算法：SpringBootx中使用Redis的bitmap结构（工具类）注意：bitmap使用存在风险，若仅仅计算hash值，会导致bitmap占用空间过大。一般需要对hash值进行取余处理。
使用布隆过滤器判断元素是否存在1、使用布隆过滤器判断元素是否存在，是一种低空间成本的方式。布隆过滤器是1970年由布隆提出的，它实际上是一个很长的二进制向量，和一系列随机映射函数。
2、这种情况也造成了布隆过滤器的删除问题，因为布隆过滤器的每一个 bit 并不是独占的，很有可能多个元素共享了某一位。如果我们直接删除这一位的话，会影响其他的元素。
3、因为布隆过滤器是一种概率型数据结构，存在非常小的误判几率，不能判断某个元素一定百分之百存在，所以只能用在允许有少量误判的场景，不能用在需要100%精确判断存在的场景）。
【golang】海量数据去重-布隆过滤器在做域名爆破中，遇到了把一个300G的子域名json文件进行去重，一开始是考虑使用字典进行去重，但是数据量大了，会造成内存泄露。看网上资料介绍了一种方案，就是使用布隆过滤器。