锐客网

  1. 首页 > 生活百科 > it技术 > >

布隆过滤器内部使用hashmap redis布隆过滤器使用方法

生活百科布隆

【golang】海量数据去重-布隆过滤器1、在做域名爆破中，遇到了把一个300G的子域名json文件进行去重，一开始是考虑使用字典进行去重，但是数据量大了，会造成内存泄露 。看网上资料介绍了一种方案 ， 就是使用布隆过滤器 。
BloomFilter详解(布隆过滤器)1、这说明了若想保持某固定误判率不变，布隆过滤器的bit数m与被add的元素数n应该是线性同步增加的 。三 如何设计bloomfilter 此概率为某bit位在插入n个元素后未被置位的概率 。
2、应用时首先要先由用户决定添加的元素数 n 和期望的误差率 P 。这也是一个设计完整的布隆过滤器需要用户输入的仅有的两个参数，之后的所有参数将由系统计算，并由此建立布隆过滤器 。
3、布隆过滤器 （英语：Bloom Filter）是 1970 年由布隆提出的 。它实际上是一个很长的二进制向量和一系列随机映射函数 。主要用于判断一个元素是否在一个集合中 。
Redis使用bitmap、zset、hash、list等结构完成骚操作?1、实现方式：Redis实现布隆过滤器——借鉴Guava的BF算法：SpringBootx中使用Redis的bitmap结构（工具类）注意：bitmap使用存在风险，若仅仅计算hash值，会导致bitmap占用空间过大 。一般需要对hash值进行取余处理 。
2、redis支持的数据类型有String、Hash、List、Set、Zset 。String（字符串类型）：可以是普通字符串，也可以是整数或浮点数值 。可以设置过期时间；可以对字符串进行append、get、set、incr、decr等操作 。
3、redis是一个key-value存储系统 。和Memcached类似，它支持存储的value类型相对更多 ， 包括string（字符串）、list（链表）、set（集合）、zset（sorted set --有序集合）和hash（哈希类型） 。
Redis缓存穿透解决方案:布隆过滤器1、预防和解决缓存穿透问题，可以考虑以下两种方法：缓存空对象： 将空值缓存起来，但是这样就有一个问题，大量无效的空值将占用空间 ， 非常浪费 。
2、如果非要用这种方式来解决穿透问题的话，尽量将无效的 key 的过期时间设置短一点比如 1 分钟 。另外，一般情况下我们是这样设计 key 的： 表名：列名：主键名：主键值 。
3、多次执行，结果一致，根据结果判定：内存的存储存在局限性，可以使用redis中的bitMap来实现字节数组的存储 。使用redis实现布隆过滤器 。需要根据公式，手动计算字节数组的长度和哈希的个数 。实现过程，待完善 。。
布隆过滤器详解布隆过滤器 （英语：Bloom Filter）是 1970 年由布隆提出的 。它实际上是一个很长的二进制向量和一系列随机映射函数 。主要用于判断一个元素是否在一个集合中 。
布隆过滤器是一种数据结构，概率型数据结构，特定是高效插入和查询，可以用来告诉你“某一值一定不存在或者kennel存在” 。相比于传统的map、set等数据结构 ， 占用空间更少 ， 但其返回结果是概率型的 ， 不确定 。
从上式中可以看出 ， 当m增大或n减小时，都会使得误判率减小，这也符合直觉 。现在计算对于给定的m和n，k为何值时可以使得误判率最低 。
布隆过滤器可以用于检索一个元素是否在一个集合 。它的优点是空间效率和查询时间都比一般的算法要好得多，缺点是有一定的误识别率和删除困难 。
布隆过滤器扩容及删除过期数据因为布隆过滤器的不可逆，我们没法重新建一个更大的布隆过滤器然后去把数据重新导入 。这边采取的扩容的方法是，保留原有的布隆过滤器，建立一个更大的，新增数据都放在新的布隆过滤器中，去重的时候检查所有的布隆过滤器 。
如布隆过滤器通过4字节存储（布隆过滤器通过多次hash对数据计算后--几次hash根据数据量指定，得到多个数据，占用多个位 ） ， 则占用空间为610M 。比原有空间少一半 。个人觉得，此比较在字符等的比较中尤为有效 。
这种情况也造成了布隆过滤器的删除问题，因为布隆过滤器的每一个 bit 并不是独占的 ， 很有可能多个元素共享了某一位 。如果我们直接删除这一位的话，会影响其他的元素 。
【布隆过滤器内部使用hashmap redis布隆过滤器使用方法】如果使用哈希表，内存空间需要100亿*64字节=640G（10亿字节（byte）是1G），空间就爆掉了 。此时就轮到布隆过滤器登场了 。

    推荐阅读


    上一篇：如何在绝地中自己搭建服务器？ 绝地怎么自建服务器

    下一篇：redission版本 redis版本差异如何解决