缓存穿透及解决方案（干货篇），Java程序员必备

最新推荐文章于 2025-04-08 14:38:54 发布

code高级开源

最新推荐文章于 2025-04-08 14:38:54 发布

阅读量933

点赞数 15

分类专栏： 2024年程序员面试文章标签：缓存 java 开发语言

本文链接：https://blog.csdn.net/code8889/article/details/136725317

版权

2024年程序员面试专栏收录该内容

13 篇文章

订阅专栏

本文介绍了在面临数据库安全和性能压力时，如何使用布隆过滤器作为方案2来设计过滤规则，避免数据库查询。重点讲解了布隆过滤器的工作原理、哈希函数的应用以及Python工具包示例。同时提及了布隆过滤器在Java面试中的重要性，提供了一份全面的Java学习资源链接。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

方案2: 可以设置一些过滤规则, 如布隆过滤器

方案1相对简单, 但是也容易破解, 比如攻击者通过分析数据格式, 不重复的请求数据库不存在数据, 那这样方案1就等于失效的. 相对而言, 方案2则更加稳定, 接下来就主要讲解一下方案2的实现方式.

在这里插入图片描述

方案2的设计思路是通过设置过滤规则, 在数据库查询之前将数据进行过滤, 如果发现数据不存在, 则不再进行数据库查询, 以此来减小数据库的访问压力

方案2中过滤规则目前主流的一种的载体就是布隆过滤器. 布隆过滤器是一种概率型数据结构，特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”.

相比于传统的 List、Set、Map 等数据结构，布隆过滤器是一个bit数组, 它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。

在这里插入图片描述

如果我们要映射一个值到布隆过滤器中，我们需要使用多个不同的哈希函数生成多个哈希值，并对每个生成的哈希值指向的 bit 位置 1，例如针对值 “zhangsan” 和三个不同的哈希函数分别生成了哈希值 1、4、7

在这里插入图片描述

我们现在再存一个值 “lisi”，如果哈希函数返回 4、5、8 的话，图继续变为：

在这里插入图片描述

当我们想要判断布隆过滤器是否记录了某个数据时，布隆过滤器会先对该数据进行同样的哈希处理, 比如 “wangwu”的哈希函数返回了 2、5、8三个值，结果我们发现 2 这个 bit 位上的值为 0，说明没有任何一个值映射到这个 bit 位上，因此我们可以很确定地说 “wangwu” 这个数据不存在。

但是同时我们会发现，4 这个 bit 位由于”zhangsan”和”lisi”的哈希函数都返回了这个 bit 位，因此它被覆盖了。那么随着布隆过滤器保存的数据不断增多, 重复的概率就会不断增大, 所以当我们过滤某个数据时, 如果发现其三个哈希值都在过滤器中进行了记录, 那么也只能说明过滤器中可能包含了该数据, 并不能绝对肯定, 因为可能是其他数据的哈希值对结果产生了影响.这也就解释了上文所说的布隆过滤器只能说明“某样东西一定不存在或者可能存在”.至于为什么采用三种不同的哈希函数取值, 因为三个哈希值只要有一个不存在就说明数据一定不在过滤器中, 这样做是可以减小因哈希碰撞(两个数据的哈希值相同)产生的错误概率.

布隆过滤器在很多语言中都有封装的工具包, 下边以python的工具包 ` pybloomfiltermmap3 为例演示一下代码

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。