布隆过滤器(Bloom Filter)及CBF 使用及原理浅析

布隆过滤器原理:

步骤1:在内存中开辟一块连续的空间;将所有bit位置为0; 假如设置 3个hash函数将数据分别存储在3个bit位上;

步骤2:在有数据(如 'baidu')需要存储时, 将数据经过 3个hash函数的计算得到 3个 bit位置; 然后将对应3个bit位置数据置位1;

下次判断数据(如'baidu') 是否存在时,将数据通过步骤2 计算后获取对应bit位置数据是否都为1(注意因为3个hash函数相同,所以相同数据无论计算多少次对应bit位置都一样,保证准确性) 即可判断数据是否重复;

作用:

黑名单,缓存穿透等等需要判断在大量数据基础上某条数据是否存在时使用;

特点:

1.有一定的判断错误概率;因为 2个数据通过 hash计算后可能会落到相同的bit位上;

2.不支持删除操作;在实际项目中,如黑名单可能存在今天将用户拉入黑名单,明天拉出黑名单的操作;这时使用布隆过滤器无法完成此种业务;因为每个bit为可能关联多个数据(牵一发而动全身); 这时可以考虑使用 Count Boolm Filter 解决此问题;

问题: 判断数据是否存在或者重复?

方案一: 在内存中存入所有数据,然后将被比较数据和所有数据进行一一比对; 缺点:数据存储耗费内存多; 比较效率最差为o(n);

方案二: 在内存中将所有数据通过处理后直接存储数据是否存在的状态; 然后将被比较数据通过处理后查看状态是否为存在或者不存在即可; 这种方式就是 布隆过滤器; 优点在于在海量数据时,因为存储的是数据是否存在的状态;而不是海量数据; 优点:存储利用率较高; 比较效率基本为o(1); 缺点: 存在一定概率比较失败(误判数据存在);

布隆过滤器计算器

布隆过滤器根据数据条数,错误率判断内存使用情况和hash函数个数的计算器如下: https://krisives.github.io/bloom-calculator/

总结:

由于布隆过滤器实现特点;所以要想误判率越低,则需要越多的内存及越多的 hash函数; 但是过多的hash函数会造成时间及资源上的损耗; 所以需要根据实际需求设置合理的误判率;

可以通过上面的布隆过滤器计算器快捷计算出需要的内存空间等数据;

延伸:

解决布隆过滤器无法删除数据的问题可以通过 Count Boolm Filter(CBF) 这种计数布隆过滤器实现;

其实CBF 思路就是在将每个bit位置为1 的次数进行计数; 从而达到删除数据时则对应bit位计数减一; 增加数据时对应bit为计数加一;

CBF是一种解决无法删除问题的思路(注意 CBF和SBF,DCF的关系); 具体实现方式分为如下2种:

SBF(Spectral Bloom Filter): 引用原文如下: 将所有counter排成一个位串，counter之间完全不留空隙，然后通过建立索引结构来访问counter，并达到了只使用O(N) + O(m)位的存储目标，O(m)的构建时间。虽然SBF解决了动态counter的存储问题，但其引入了复杂的索引结构，这让每个counter的访问变得复杂而耗时

DCF(Dynamic Count Filter): 其实就是将 bit位存的 count值分别放在 2个列表中; 一个列表每个数据的最大值固定(也就是bit位的个数固定); 另一个列表每个数据最大值不固定(bit为个数不固定); 2个列表对应数据相加就是 count的值; 存数据时优先存在固定长度的列表中,存不下再放在不固定列表中;

这样最大程度上可以动态的调整内存空间;从而更加有效率的利用内存空间;

具体区别及特点如下链接:https://blog.csdn.net/vipshop_fin_dev/article/details/102647115

注意: 由于 CBF 是基于布隆过滤器的基础上进行的变种;所以布隆过滤器的缺点这些变种算法同样存在