Redis中pop出隊(duì)列多個(gè)元素思考
最近,在工作中遇到了一個(gè)關(guān)于Redis中l(wèi)ist集合一次性pop所有數(shù)據(jù)的問題,相信很多小伙伴也會(huì)碰到拿到同樣的問題,所以就拿出來聊一聊了。
業(yè)務(wù)場(chǎng)景及問題的提出
業(yè)務(wù)的情景是這樣的,服務(wù)A 是面向客戶的服務(wù),主要是用了Redis作為存儲(chǔ)的,而服務(wù)B是面向業(yè)務(wù)人員使用的,服務(wù)A 的數(shù)據(jù)服務(wù)B 是需要拿到的,所以我會(huì)把每次服務(wù)A 的請(qǐng)求參數(shù)放到一個(gè)Redis的隊(duì)列中,而服務(wù)B 會(huì)起一個(gè)線程來定時(shí)的獲取我隊(duì)列的數(shù)據(jù),其實(shí)這里涉及到了一個(gè)簡(jiǎn)易R(shí)PC框架的設(shè)計(jì),下篇文章會(huì)來聊一聊我們這個(gè)簡(jiǎn)易R(shí)PC 框架的設(shè)計(jì)變遷,大致的架構(gòu)如下:
所以現(xiàn)在問題就來了,內(nèi)部的定時(shí)服務(wù)如果一次pop一個(gè)那性能可就太差了,所以現(xiàn)在我們就需要支持一個(gè)可以自定義pop出隊(duì)列元素個(gè)數(shù)的方法,而redis本身是沒有這種方法的,所以得我們自己來設(shè)計(jì),一起來聊一聊吧。
解決方案
1.多次請(qǐng)求
這應(yīng)該是正常人都可以想到的辦法了,任何問題都可以使用一個(gè)for循環(huán)來解決,如果不行,那就再來一個(gè)for循環(huán),我們來看下這個(gè)簡(jiǎn)單的代碼:
public List<String> multiRPopForCycle(String key, int size) { // 獲取當(dāng)前隊(duì)列里的值 int curSize = Math.toIntExact(redisTemplate.opsForList().size(key)); if (curSize == 0) { return Collections.emptyList(); } // 最終可以取出的數(shù)量 int finalSize = Math.toIntExact(Math.min(curSize, size)); List<String> resultList = new ArrayList<>(); for (int i = 0; i < finalSize; i++) { String popElement = redisTemplate.opsForList().rightPop(key); resultList.add(popElement); } return resultList; }
這個(gè)代碼寫出來很簡(jiǎn)單,但是它好危險(xiǎn)啊,如果我們需要pop出的數(shù)據(jù)很多怎么辦,每次都需要進(jìn)行通信,這來來回回就會(huì)產(chǎn)生很多時(shí)耗,上生產(chǎn)我們是沒辦法接受的,所以必須改進(jìn)。 因?yàn)閜op出多個(gè)元素,我們不可避免的需要進(jìn)行for循環(huán)進(jìn)行pop然后收集返回,也就是說我們需要執(zhí)行多次redis的pop命令,為了減少通信時(shí)耗,我們可以一次性將所有的命令都發(fā)過去,一起執(zhí)行,而實(shí)現(xiàn)這種方案我們有以下兩種方法:
2.利用Redis事務(wù)
利用redis的事務(wù)來實(shí)現(xiàn):拿到連接后,開啟事務(wù),然后進(jìn)行執(zhí)行pop命令,代碼如下:
/** * 通過事務(wù)機(jī)制來pop出多個(gè)元素 * * @param key 鍵 * @param size 需要取出的元素個(gè)數(shù) * @return 返回取出的元素集合 */ public List<String> multiRPopTx(String key, int size) { // 獲取當(dāng)前隊(duì)列里的值 int curSize = Math.toIntExact(redisTemplate.opsForList().size(key)); if (curSize == 0) { return Collections.emptyList(); } // 最終可以取出的數(shù)量 int finalSize = Math.toIntExact(Math.min(curSize, size)); // 事務(wù)支持 return redisTemplate.execute(new SessionCallback<List<Object>>() { @Override public List<Object> execute(RedisOperations redisOperations) throws DataAccessException { redisOperations.multi(); for (int i = 0; i < finalSize; i++) { redisOperations.opsForList().rightPop(key); } return redisOperations.exec(); } }).stream().map(obj -> (String) obj).collect(Collectors.toList()); }
3.利用Pipeline
當(dāng)然了,還可以使用我們之前講的pipeline來實(shí)現(xiàn):
/** * 一次性pop出指定數(shù)量的數(shù)據(jù) * * @param key 鍵 * @param size 需要取出的元素個(gè)數(shù) * @return 返回取出的元素集合 */ public List<String> multiRPopPipeline(String key, int size) { // 獲取當(dāng)前隊(duì)列里的值 int curSize = Math.toIntExact(redisTemplate.opsForList().size(key)); if (curSize == 0) { return Collections.emptyList(); } // 判斷操作次數(shù) return redisTemplate.executePipelined(new SessionCallback<String>() { @Override public String execute(RedisOperations redisOperations) throws DataAccessException { final int finalSize = Math.toIntExact(Math.min(curSize, size)); for (int i = 0; i < finalSize; i++) { redisOperations.opsForList().rightPop(key); } return null; } }).stream().map(obj -> (String) obj).collect(Collectors.toList()); }
其實(shí)在我們這種場(chǎng)景中是沒必要使用事務(wù)的,使用事務(wù)還會(huì)帶來一定的性能損耗,所以最終選擇的是方案三,即基于管道來實(shí)現(xiàn)pop多個(gè)元素。
到此這篇關(guān)于Redis中pop出隊(duì)列多個(gè)元素思考的文章就介紹到這了,更多相關(guān)Redis pop隊(duì)列內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
ASP.NET在IIS上注冊(cè)報(bào)0x800702e4錯(cuò)誤解決方法
報(bào)一個(gè)0x800702e4 請(qǐng)求的操作需要提升的錯(cuò)誤。解決的方法和前面大同小異,給這個(gè)aspnet_regiis.exe創(chuàng)建一個(gè)快捷方式,給它的目標(biāo)后面加上 一個(gè)-i,再右擊這個(gè)快捷方式,以管理員身份運(yùn)行,就行了2012-08-08ABP引入SqlSugar框架的簡(jiǎn)單版創(chuàng)建使用
這篇文章主要為大家介紹了ABP引入SqlSugar框架的簡(jiǎn)單版創(chuàng)建使用,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-04-04ASP.NET(C#)實(shí)現(xiàn)一次性動(dòng)態(tài)上傳多張圖片的代碼(多個(gè)文件)
我們就要讓這些文件上傳框動(dòng)態(tài)添加,下面我以我做的一個(gè)圖庫管理中的上傳圖片的功能為例2011-10-10解決asp.net core在輸出中文時(shí)亂碼的問題
最近在學(xué)習(xí)asp.net core的時(shí)候,嘗試在控制臺(tái),或者頁面上輸出中文,會(huì)出現(xiàn)亂碼的問題。那么這該如何解決呢?下面通過這篇文章來一起看看吧,文中給出了詳細(xì)的解決方法,相信對(duì)大家有一定的參考價(jià)值。2016-12-12ASP.NET?Core?MVC中Form?Tag?Helpers用法介紹
這篇文章介紹了ASP.NET?Core?MVC中Form?Tag?Helpers的用法,對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-02-02