亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

redis集群實(shí)現(xiàn)清理前綴相同的key

 更新時(shí)間:2021年10月12日 15:26:53   作者:浮白齋主人  
這篇文章主要介紹了redis集群實(shí)現(xiàn)清理前綴相同的key,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

redis集群清理前綴相同的key

最近經(jīng)常收到redis集群告警,每天收到50多封郵件,實(shí)在不勝其煩,內(nèi)存不夠用,原因是有一些無(wú)用的key(約3000萬(wàn))占用內(nèi)存(具體不說(shuō)了)。這部分內(nèi)存不能被釋放。

原來(lái)的定期清理腳本的邏輯

打開(kāi)一個(gè)redis鏈接,在內(nèi)部循環(huán)從1000萬(wàn)到7億之間的數(shù)據(jù),然后加上前綴去批量刪除,這種方式屬于廣撒網(wǎng)式的清理,窮舉法,不但耗時(shí),效果也不好。

因?yàn)橛械臄?shù)字在redis中可能不存在,而且更重要的一點(diǎn),如果有超過(guò)7億的數(shù)字,這部分?jǐn)?shù)據(jù)不會(huì)被清除,擴(kuò)展性很差。

(1)那么如何清理呢?redis集群沒(méi)有keys這種方法,那么如何能快速準(zhǔn)確地定位到這批key呢?

我們可以根據(jù)RedisCluster集群提供的getClusterNodes方法,獲取到這個(gè)redis-cluster的每個(gè)節(jié)點(diǎn),然后再去逐個(gè)遍歷節(jié)點(diǎn),獲取節(jié)點(diǎn)的Jedis對(duì)像,使用單個(gè)jedis對(duì)像 再去獲取前綴相同的keys

(2)獲取到key集合之后,再遍歷這些key,使用JedisClusterCRC16.getSlot(key)方法,定位到key所在的slot,把在同一個(gè)slot的key批量刪除,這樣做,第一能保證需要?jiǎng)h的key都存在于redis集群,第二批量刪除,提高效率。

具體代碼:

Map<String, JedisPool> clusterNodes = jedis.getClusterNodes();
                String keysPattern =  keyPrefix + ":*";
                long countX = 0;
                long sTime = System.currentTimeMillis();
                for (Map.Entry<String, JedisPool> entry : clusterNodes.entrySet()) {  
                    Jedis jedisNode = entry.getValue().getResource();  
                    logger.info("redisip:{},port:{}" , jedisNode.getClient().getHost(), jedisNode.getClient().getPort());
                    if (!jedisNode.info("replication").contains("role:slave")) {  
                          Set<String> keys = jedisNode.keys(keysPattern);
                          logger.info("keys長(zhǎng)度:{}" , keys.size());
                          Map<Integer, List<String>> map = new HashMap<>(6600);  
                          long countTmp = 0;
                            for (String key : keys) { int slot = JedisClusterCRC16.getSlot(key);
                                /**
                                 * cluster模式執(zhí)行多key操作的時(shí)候,這些key必須在同一個(gè)slot上,
                                 * 不然會(huì)報(bào):JedisDataException 
                                 */
                                //按slot將key分組,相同slot的key一起提交  
                                if (map.containsKey(slot)) {  
                                    map.get(slot).add(key);  
                                } else {  
                                     List<String> keyList = new ArrayList<String>();
                                     keyList.add(key);
                                     map.put(slot, keyList);  
                                    }
                                 
                            }
                            long count = 0;
                            for (Map.Entry<Integer, List<String>> integerListEntry : map.entrySet()) {  
                                count += jedisNode.del(integerListEntry.getValue().toArray(new String[integerListEntry.getValue().size()]));  
                                logger.info("刪除:{}個(gè)",count);
                                countX++;
                            }  
                     }
                }
//                 logger.info("刪除完成,共刪除:{}個(gè)",countX);
                    logger.info("刪除userid key任務(wù)結(jié)束,一共刪除key數(shù)量:{},耗時(shí):{}", countX , System.currentTimeMillis() - sTime);

redis集群(jedis)批量刪除同一前綴

public Set<String> getByPrefix(String key) {
        Set<String> setResult = new HashSet<>();
        try {
            ShardedJedis jedis  = redisDataSource.getJedisClient();
            Iterator<Jedis> jedisIterator = jedis.getAllShards().iterator();
            while(jedisIterator.hasNext()){
                setResult = jedisIterator.next().keys(key+"*");
            }
        } catch (Exception e) {
            logger.error(e.getMessage(), e);
        }
        return setResult;
    }

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • 詳解Redis數(shù)據(jù)結(jié)構(gòu)之跳躍表

    詳解Redis數(shù)據(jù)結(jié)構(gòu)之跳躍表

    這篇文章主要介紹了Redis數(shù)據(jù)結(jié)構(gòu)中的跳躍表的相關(guān)知識(shí),本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2020-11-11
  • redis秒殺系統(tǒng)的實(shí)現(xiàn)

    redis秒殺系統(tǒng)的實(shí)現(xiàn)

    秒殺在很多活動(dòng)大促中都可以用到,本文主要介紹了redis秒殺系統(tǒng)的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2022-06-06
  • 記錄一次并發(fā)情況下的redis導(dǎo)致服務(wù)假死的問(wèn)題解決

    記錄一次并發(fā)情況下的redis導(dǎo)致服務(wù)假死的問(wèn)題解決

    由于Redis需要依賴于操作系統(tǒng)環(huán)境,如果系統(tǒng)資源受限,比如過(guò)量的進(jìn)程在擠占系統(tǒng)資源、系統(tǒng)死鎖等情況,本文主要介紹了記錄一次并發(fā)情況下的redis導(dǎo)致服務(wù)假死的問(wèn)題解決,感興趣的可以了解一下
    2023-09-09
  • 解鎖redis鎖的正確姿勢(shì)

    解鎖redis鎖的正確姿勢(shì)

    這篇文章主要為大家詳細(xì)介紹了解鎖redis鎖的正確姿勢(shì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2017-03-03
  • 緩存替換策略及應(yīng)用(以Redis、InnoDB為例)

    緩存替換策略及應(yīng)用(以Redis、InnoDB為例)

    本文以Redis、InnoDB為例給大家講解緩存替換策略及應(yīng)用,本文給大家提到五種置換策略,通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友參考下吧
    2021-07-07
  • 如何利用Redis鎖解決高并發(fā)問(wèn)題詳解

    如何利用Redis鎖解決高并發(fā)問(wèn)題詳解

    redis鎖處理高并發(fā)問(wèn)題十分常見(jiàn),下面這篇文章主要給大家介紹了關(guān)于如何使用Redis鎖解決高并發(fā)問(wèn)題的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考借鑒,下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2018-09-09
  • 嵌入式Redis服務(wù)器在Spring Boot測(cè)試中的使用教程

    嵌入式Redis服務(wù)器在Spring Boot測(cè)試中的使用教程

    這篇文章主要介紹了嵌入式Redis服務(wù)器在Spring Boot測(cè)試中的使用,本文通過(guò)實(shí)例代碼場(chǎng)景分析給大家介紹的非常詳細(xì),需要的朋友參考下吧
    2021-07-07
  • 在CenOS系統(tǒng)下安裝和配置Redis數(shù)據(jù)庫(kù)的教程

    在CenOS系統(tǒng)下安裝和配置Redis數(shù)據(jù)庫(kù)的教程

    這篇文章主要介紹了在CenOS系統(tǒng)下安裝和配置Redis數(shù)據(jù)庫(kù)的教程,Redis是一個(gè)可基于內(nèi)存的高性能NoSQL數(shù)據(jù)庫(kù),需要的朋友可以參考下
    2015-11-11
  • redis序列化及各種序列化情況劃分

    redis序列化及各種序列化情況劃分

    本文主要介紹了redis序列化及各種序列化情況劃分,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2023-04-04
  • 詳解redis中的鎖以及使用場(chǎng)景

    詳解redis中的鎖以及使用場(chǎng)景

    這篇文章主要介紹了詳解redis中的鎖以及使用場(chǎng)景,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-12-12

最新評(píng)論