亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Redis實(shí)現(xiàn)布隆過濾器的代碼詳解

 更新時(shí)間:2023年07月11日 09:38:03   作者:怪?咖@  
布隆過濾器(Bloom?Filter)是Redis?4.0版本提供的新功能,它被作為插件加載到Redis服務(wù)器中,給Redis提供強(qiáng)大的去重功能,本文將給大家詳細(xì)介紹一下Redis布隆過濾器,文中有相關(guān)的代碼示例,需要的朋友可以參考下

一、前言

布隆過濾器(Bloom Filter)是 Redis 4.0 版本提供的新功能,它被作為插件加載到 Redis 服務(wù)器中,給 Redis 提供強(qiáng)大的去重功能。

相比于 Set 集合的去重功能而言,布隆過濾器在空間上能節(jié)省 90% 以上,但是它的不足之處是去重率大約在 99% 左右,也就是說有 1% 左右的誤判率,這種誤差是由布隆過濾器的自身結(jié)構(gòu)決定的。俗話說“魚與熊掌不可兼得”,如果想要節(jié)省空間,就需要犧牲 1% 的誤判率,而且這種誤判率,在處理海量數(shù)據(jù)時(shí),幾乎可以忽略。

二、RedisBloom 安裝與使用

(1)第一步:安裝Redis

關(guān)于Linux當(dāng)中redis的安裝:Linux上安裝Redis詳細(xì)教程_Redis_腳本之家 (jb51.net)

(2)第二步:安裝RedisBloom

在 Redis 4.0 版本之后,布隆過濾器才作為插件被正式使用。布隆過濾器需要單獨(dú)安裝,可以去GitHub,找到對(duì)應(yīng)的版本下載,鏈接:Releases · RedisBloom/RedisBloom (github.com),下載后再通過xftp上傳到Linux系統(tǒng)里,當(dāng)然也可以直接通過wget來下載。

這里注意我下載的2.2.18版本,最新版本2.6我沒有用,原因是make編譯的時(shí)候會(huì)報(bào)異常。

# 下載
wget https://codeload.github.com/RedisBloom/RedisBloom/tar.gz/refs/tags/v2.2.18
# 解壓
tar -zxvf v2.2.18

# 進(jìn)入到解壓目錄
cd RedisBloom-2.2.18/
# 編譯
make

編譯成功,可以看到redisbloom.so文件

(3)第三步:Redis集成RedisBloom插件

在redis.conf配置文件中加入如RedisBloom的redisbloom.so文件的地址

# vim查看redis.conf
vim /opt/redis-stable/redis.conf
# 在文件后面加上如下配置
loadmodule /opt/RedisBloom-2.2.18/redisbloom.so

(4)第四步: 重啟Redis進(jìn)行測(cè)試

# 關(guān)閉redis
ps -ef | grep redis | awk -F" " '{print $2;}' | xargs kill -9
# 啟動(dòng)redis
/opt/redis-stable/src/redis-server redis.conf
# 連接客戶端
/opt/redis-stable/src/redis-cli -c -h 127.0.0.1 -p 6379 -a 123456

三、RedisBloom 常用命令匯總

127.0.0.1:6379> bf.add spider:url www.baidu.net
(integer) 1
127.0.0.1:6379> bf.exists spider:url www.baidu.net
(integer) 1
127.0.0.1:6379> bf.madd spider:url www.taobao.com www.123qq.com
1) (integer) 1
2) (integer) 1
127.0.0.1:6379> bf.mexists spider:url www.jd.com www.taobao.com
1) (integer) 0
2) (integer) 1

注意使用AnotherRedisDesktopManager客戶端是沒辦法查看該數(shù)據(jù)類型的值的。

四、通過 Jedis 使用 RedisBloom

Java 客戶端 Jedis沒有提供指令擴(kuò)展機(jī)制,所以你無法直接使用 Jedis 來訪問Redis Module 提供的 bf.xxx 指令。RedisLabs 提供了一個(gè)單獨(dú)的包 JReBloom,但是它是基于 Jedis的。

我們使用的話只需要引入JReBloom就可以,JReBloom內(nèi)部引用了Jedis 。假如系統(tǒng)引用了jedis,又要引用jrebloom,這時(shí)候需要注意版本沖突的問題。

<dependency>
	<groupId>redis.clients</groupId>
	<artifactId>jedis</artifactId>
	<version>3.9.0</version>
</dependency>
<dependency>
	<groupId>com.redislabs</groupId>
	<artifactId>jrebloom</artifactId>
	<version>2.2.2</version>
</dependency>

代碼示例:

import io.rebloom.client.Client;
import redis.clients.jedis.Jedis;
public class JrebloomDemo {
    public static void main(String[] args) {
        //連接本地的 Redis 服務(wù)
        Jedis jedis = new Jedis("192.168.115.239", 6379);
        //jedis.auth("123456");
        //創(chuàng)建client也支持連接池的:public Client(Pool<Jedis> pool)
        Client client = new Client(jedis);
        // 測(cè)試數(shù)據(jù)
        int capacity = 10000;
        // 容錯(cuò)率,只能設(shè)置0 < error rate range < 1  不然直接會(huì)異常!
        double errorRate = 0.01;
        // 測(cè)試的key值
        String key = "ceshi";
        // 創(chuàng)建過濾器:可以創(chuàng)建指定位數(shù)和容錯(cuò)率的布隆過濾器,如果過濾器已經(jīng)存在創(chuàng)建的話就會(huì)異常
        if (!jedis.exists(key)) {
            client.createFilter(key, capacity, errorRate);
        }
        for (int i = 0; i < capacity; i++) {
            client.bfInsert(key, String.valueOf(i));
        }
        System.out.println("存入元素為=={" + capacity + "}");
        // 統(tǒng)計(jì)誤判次數(shù)
        int count = 0;
        // 我在數(shù)據(jù)范圍之外的數(shù)據(jù),測(cè)試相同量的數(shù)據(jù),判斷錯(cuò)誤率是不是符合我們當(dāng)時(shí)設(shè)定的錯(cuò)誤率
        for (int i = capacity; i < capacity * 2; i++) {
            if (client.exists(key, String.valueOf(i))) {
                count++;
            }
        }
        System.out.println("誤判元素為=={" + count + "}");
        // 刪除過濾器
        client.delete(key);
    }
}

運(yùn)行示例:

現(xiàn)在存在個(gè)問題,假如我們r(jià)edis并沒有安裝RedisBloom,那他可以運(yùn)行嗎?

答案是不可以的,他根本無法識(shí)別bf.xxx 指令

錯(cuò)誤率越低,所需要的空間也會(huì)越大,因此就需要我們盡可能精確的估算元素?cái)?shù)量,避免空間的浪費(fèi)。我們也要根據(jù)具體的業(yè)務(wù)來確定錯(cuò)誤率的許可范圍,對(duì)于不需要太精確的業(yè)務(wù)場(chǎng)景,錯(cuò)誤率稍微設(shè)置大一點(diǎn)也可以。

查看剛剛創(chuàng)建的過濾器:這個(gè)數(shù)據(jù)結(jié)構(gòu)不支持get查詢。

五、Redisson 封裝的布隆過濾器

Redisson布隆過濾器官網(wǎng)介紹:6. 分布式對(duì)象 · redisson/redisson Wiki · GitHub

引入依賴:

<dependency>
	<groupId>org.redisson</groupId>
	<artifactId>redisson</artifactId>
	<version>3.22.1</version>
</dependency>

代碼示例:

import org.redisson.Redisson;
import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
public class RedissonBloomFilter {
    public static void main(String[] args) {
        Config config = new Config();
        config.useSingleServer()
                .setAddress("redis://127.0.0.1:6379")
                //.setPassword("123456")
                .setDatabase(0);
        //獲取客戶端
        RedissonClient redissonClient = Redisson.create(config);
        // 測(cè)試數(shù)據(jù)
        int capacity = 10000;
        // 容錯(cuò)率,只能設(shè)置0 < error rate range < 1  不然直接會(huì)異常!
        double errorRate = 0.01;
        // 測(cè)試的key值
        String key = "ceshi";
        RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter(key);
        // 初始化布隆過濾器,預(yù)計(jì)統(tǒng)計(jì)元素?cái)?shù)量為10000,期望誤差率為0.01
        bloomFilter.tryInit(capacity, errorRate);
        for (long i = 0; i < capacity; i++) {
            bloomFilter.add(String.valueOf(i));
        }
        System.out.println("存入元素為=={" + capacity + "}");
        // 統(tǒng)計(jì)誤判次數(shù)
        int count = 0;
        // 我在數(shù)據(jù)范圍之外的數(shù)據(jù),測(cè)試相同量的數(shù)據(jù),判斷錯(cuò)誤率是不是符合我們當(dāng)時(shí)設(shè)定的錯(cuò)誤率
        for (int i = capacity; i < capacity * 2; i++) {
            if (bloomFilter.contains(String.valueOf(i))) {
                count++;
            }
        }
        System.out.println("誤判元素為=={" + count + "}");
        // 刪除過濾器
        // bloomFilter.delete();
    }
}

運(yùn)行結(jié)果:

通過運(yùn)行結(jié)果不難發(fā)現(xiàn),同樣是10000數(shù)據(jù),和0.01容錯(cuò),Redisson 實(shí)現(xiàn)的布隆過濾器明顯沒有基于RedisBloom的過濾器容錯(cuò)率好。

查看剛剛創(chuàng)建的過濾器:

六、使用哪種方式的過濾器比較好?

RedisBloom和Redisson實(shí)現(xiàn)的過濾器區(qū)別:

  • 數(shù)據(jù)結(jié)構(gòu): RedisBloom相當(dāng)于為了實(shí)現(xiàn)過濾器而新增了一個(gè)數(shù)據(jù)結(jié)構(gòu),而Redisson是基于redis原有的bitmap位圖數(shù)據(jù)結(jié)構(gòu)來通過硬編碼實(shí)現(xiàn)的過濾器。
  • 存儲(chǔ): 存儲(chǔ)兩者其實(shí)并沒有差距,都沒有存儲(chǔ)原數(shù)據(jù),我使用Redisson存儲(chǔ)了10000條數(shù)據(jù)然后設(shè)置的0.01容錯(cuò)占用了11.7kb也符合布隆過濾器的占用。

  • 容錯(cuò): 同樣是10000條數(shù)據(jù)0.01容錯(cuò),RedisBloom誤判元素是58,Redisson實(shí)現(xiàn)的是227。
  • 耦合度: 使用RedisBloom就需要安裝RedisBloom,如果不安裝RedisBloom程序直接就不能使用了,而使用Redisson他只依賴于redis。
  • 分片: RedisBloom只是redis一種數(shù)據(jù)結(jié)構(gòu),本身redis集群就是支持分片的,所以RedisBloom肯定也沒問題,Redisson的布隆過濾器也支持分片,但是需要付費(fèi)。
  • 性能: 使用 redis 的位圖來實(shí)現(xiàn)的布隆過濾器性能上要差不少。比如一次 exists 查詢會(huì)涉及到多次 getbit 操作,網(wǎng)絡(luò)開銷相比而言會(huì)高出不少。

綜上比較,個(gè)人建議使用RedisBloom比較好一點(diǎn)!

到此這篇關(guān)于Redis布隆過濾器用法詳解的文章就介紹到這了,更多相關(guān)Redis布隆過濾器內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Redis隊(duì)列和阻塞隊(duì)列的實(shí)現(xiàn)

    Redis隊(duì)列和阻塞隊(duì)列的實(shí)現(xiàn)

    本文主要介紹了Redis隊(duì)列和阻塞隊(duì)列的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-11-11
  • 使用Redis獲取數(shù)據(jù)轉(zhuǎn)json,解決動(dòng)態(tài)泛型傳參的問題

    使用Redis獲取數(shù)據(jù)轉(zhuǎn)json,解決動(dòng)態(tài)泛型傳參的問題

    這篇文章主要介紹了使用Redis獲取數(shù)據(jù)轉(zhuǎn)json,解決動(dòng)態(tài)泛型傳參的問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2020-07-07
  • Redis高可用集群redis-cluster詳解

    Redis高可用集群redis-cluster詳解

    redis?cluster?是redis官方提供的分布式解決方案,在3.0版本后推出的,有效地解決了redis分布式的需求,當(dāng)一個(gè)redis節(jié)點(diǎn)掛了可以快速的切換到另一個(gè)節(jié)點(diǎn),對(duì)redis-cluster高可用集群相關(guān)知識(shí)感興趣的朋友一起看看吧
    2022-03-03
  • Linux快速部署Redis

    Linux快速部署Redis

    這篇文章介紹了Linux下快速部署Redis的方法,對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2022-01-01
  • Redis集群的實(shí)現(xiàn)全過程

    Redis集群的實(shí)現(xiàn)全過程

    Redis集群的實(shí)現(xiàn)方案主要有客戶端分片、代理模式和Cluster模式,其中,Cluster模式是Redis官方推薦的實(shí)現(xiàn)方案,它具有高可用性、高性能和自動(dòng)分片等優(yōu)點(diǎn)
    2024-12-12
  • Redis緩存實(shí)例超詳細(xì)講解

    Redis緩存實(shí)例超詳細(xì)講解

    實(shí)際開發(fā)中緩存處理是必須的,不可能我們每次客戶端去請(qǐng)求一次服務(wù)器,服務(wù)器每次都要去數(shù)據(jù)庫中進(jìn)行查找,為什么要使用緩存?說到底是為了提高系統(tǒng)的運(yùn)行速度
    2022-12-12
  • redis鍵值出現(xiàn)\xac\xed\x00\x05t\x00&的問題及解決

    redis鍵值出現(xiàn)\xac\xed\x00\x05t\x00&的問題及解決

    這篇文章主要介紹了redis鍵值出現(xiàn)\xac\xed\x00\x05t\x00&的問題及解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-07-07
  • Redis連接超時(shí)異常的處理方法

    Redis連接超時(shí)異常的處理方法

    這篇文章主要給大家介紹了關(guān)于Redis連接超時(shí)異常的處理方法,文中通過示例代碼以及圖文介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-07-07
  • 如何監(jiān)聽Redis中Key值的變化(SpringBoot整合)

    如何監(jiān)聽Redis中Key值的變化(SpringBoot整合)

    測(cè)試過程中我們有一部分常量值放入redis,共大部分應(yīng)用調(diào)用,但在測(cè)試過程中經(jīng)常有人會(huì)清空redis,回歸測(cè)試,下面這篇文章主要給大家介紹了關(guān)于如何監(jiān)聽Redis中Key值變化的相關(guān)資料,需要的朋友可以參考下
    2024-03-03
  • 使用SpringBoot?+?Redis?實(shí)現(xiàn)接口限流的方式

    使用SpringBoot?+?Redis?實(shí)現(xiàn)接口限流的方式

    這篇文章主要介紹了SpringBoot?+?Redis?實(shí)現(xiàn)接口限流,Redis?除了做緩存,還能干很多很多事情:分布式鎖、限流、處理請(qǐng)求接口冪等,文中給大家提到了限流注解的創(chuàng)建方式,需要的朋友可以參考下
    2022-05-05

最新評(píng)論