快捷導(dǎo)航

SpringBoot使用布隆過(guò)濾器解決緩存穿透問(wèn)題

更新時(shí)間：2023年10月10日 08:38:09 作者：YIRC99

緩存穿透是指當(dāng)緩存系統(tǒng)中無(wú)法命中需要的數(shù)據(jù)時(shí),會(huì)直接請(qǐng)求底層存儲(chǔ)系統(tǒng)（如數(shù)據(jù)庫(kù)）,但是如果請(qǐng)求的數(shù)據(jù)根本不存在,那么大量的請(qǐng)求就會(huì)直接穿透緩存層,本文將給大家介紹一下SpringBoot使用布隆過(guò)濾器解決緩存穿透問(wèn)題,需要的朋友可以參考下

緩存穿透基礎(chǔ)介紹

緩存穿透是指當(dāng)緩存系統(tǒng)中無(wú)法命中需要的數(shù)據(jù)時(shí)，會(huì)直接請(qǐng)求底層存儲(chǔ)系統(tǒng)（如數(shù)據(jù)庫(kù)），但是如果請(qǐng)求的數(shù)據(jù)根本不存在，那么大量的請(qǐng)求就會(huì)直接穿透緩存層，直接訪問(wèn)底層存儲(chǔ)系統(tǒng)，導(dǎo)致底層系統(tǒng)壓力過(guò)大，甚至崩潰。這也是緩存系統(tǒng)面臨的一種常見(jiàn)攻擊。

說(shuō)白了就是查詢(xún)大量不傳在的key 繞過(guò)緩存直接查詢(xún)數(shù)據(jù)庫(kù) 導(dǎo)致緩存跟不不存在一樣這就是緩存穿透

場(chǎng)景介紹

下面說(shuō)下我的場(chǎng)景我需要添加一個(gè)user 然后我再通過(guò)id去查詢(xún) 如果查詢(xún)有結(jié)果那就放入緩存如果沒(méi)有那就直接查詢(xún)數(shù)據(jù)庫(kù) ?

這是添加user的方法

這是查詢(xún)user的方法

問(wèn)題描述

在這兩個(gè)方法中我雖然加入的緩存的機(jī)制但是在查詢(xún)user的方法中會(huì)有一個(gè)問(wèn)題就是如果我查詢(xún)的id是不存在的那就會(huì)一直查詢(xún)數(shù)據(jù)庫(kù)

@Cacheable(value = "userCache", key = "#id", condition = "#result != null")

當(dāng)然你可以說(shuō) 我去掉注解上面的condition = "#result != null" (這句話意思是condition 條件為真才緩存) 這樣就算我查詢(xún)一個(gè)不存在的id 然后將一個(gè)null或者空對(duì)象返回然后再加入緩存不就可以啦下次再去查詢(xún)這個(gè)不存在的id的時(shí)候就不會(huì)走數(shù)據(jù)庫(kù)了

可是如果我每一次查詢(xún)的都是不同的并且不存在的id呢? 那么這個(gè)問(wèn)題還是無(wú)法解決那么接下來(lái)就可以引入布隆過(guò)濾器布隆過(guò)濾器具體的原理我這里就不做解釋了

解決問(wèn)題

第一步在maven中導(dǎo)入布隆過(guò)濾器事先說(shuō)明導(dǎo)入的方法很多我的方法不一定是最優(yōu)的但是一定是能行的

在pom.xml中引入依賴(lài)

        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>30.1-jre</version>
        </dependency>
        Guava庫(kù)（Google Guava）是一個(gè)Google開(kāi)發(fā)的Java工具庫(kù)，
        它提供了許多常用的Java工具類(lèi)和數(shù)據(jù)結(jié)構(gòu)，包括布隆過(guò)濾器（Bloom Filter）

創(chuàng)建項(xiàng)目結(jié)構(gòu) 這個(gè)不需要解釋吧能看這種文章的我相信項(xiàng)目結(jié)構(gòu)應(yīng)該都是能看懂的?

AppConfig的代碼如下就是簡(jiǎn)單的注入Bean對(duì)象

@Configuration
public class AppConfig {
    @Bean
    public BloomFilterService bloomFilterService() {
        return new BloomFilterService();
    }
}

BloomFilterService的代碼如下

public class BloomFilterService {
    private BloomFilter<Long> bloomFilter;
    public BloomFilterService(){
        // 創(chuàng)建一個(gè)布隆過(guò)濾器，設(shè)置期望插入的元素?cái)?shù)量和誤判率
        int  bloomFilterSize = 1000;  // 期望插入的元素?cái)?shù)量
        double falsePositiveRate = 0.001; // 誤判率
        bloomFilter = BloomFilter.create(Funnels.longFunnel(), bloomFilterSize, falsePositiveRate);
    }
    // 添加元素到布隆過(guò)濾器
    public void add(Long id){
        bloomFilter.put(id);
    }
    //判斷元數(shù)是否在布隆過(guò)濾器中
    public boolean contains(Long id){
        return bloomFilter.mightContain(id);
    }
}

接下來(lái)就是在controller中引入并且使用布隆過(guò)濾器了

正常注入

    @Autowired
    private BloomFilterService bloomFilterService;

然后在每一次添加對(duì)象之后都將用戶(hù)的id添加到布隆過(guò)濾器中

    @CachePut(value = "userCache", key = "#user.id") // value 指定緩存的名字
    @PostMapping
    public User save(User user){
        userService.save(user);
        bloomFilterService.add(user.getId()); 
        //這里注意必須要放在添加之后 因?yàn)橐婚_(kāi)始傳過(guò)來(lái)的user是沒(méi)有id的 會(huì)有空指針錯(cuò)誤
        //這里利用的查詢(xún)回顯 不懂的可以去查查
        return user;
    }

然后更改查詢(xún)方法這樣每一次查詢(xún)user的時(shí)候都會(huì)先過(guò)一遍布隆過(guò)濾器然后再去查詢(xún)用戶(hù) 如果存在那么就加入緩存不傳在就會(huì)被布隆過(guò)濾器攔截注意去掉, condition = "#result != null" 這個(gè)好像跟布隆有沖突如果有懂的可以在評(píng)論區(qū)提一下

    @Cacheable(value = "userCache", key = "#id")
    @GetMapping("/{id}")
    public User getById(@PathVariable Long id){
        if (!bloomFilterService.contains(id)) {
            // ID 不合法，可以返回錯(cuò)誤響應(yīng)或進(jìn)行其他處理
            return null;
        }
        User byId = userService.getById(id);
        return byId;
    }