Redis大key問(wèn)題及解讀
1、什么是大key
在redis中，大key通常指以下三種情況之一：
1、value過(guò)大：?jiǎn)蝹€(gè)key的value體積過(guò)大（如字符串值超過(guò)10KB，集合/列表/哈希/有序集合元素過(guò)多）
2、元素過(guò)多：集合類型（hash/list/set/zset）中包含大量元素（如超過(guò)5000個(gè)元素）
3、結(jié)構(gòu)復(fù)雜：key對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)嵌套過(guò)深或過(guò)于復(fù)雜
2、大key的危害
【1】阻塞風(fēng)險(xiǎn)
1、大key的讀寫操作會(huì)消耗更多CPU和內(nèi)存。
2、可能會(huì)導(dǎo)致redis阻塞，影響其他請(qǐng)求的響應(yīng)時(shí)間。
【2】網(wǎng)絡(luò)阻塞
1、大key傳輸會(huì)占用大量帶寬。
2、可能會(huì)導(dǎo)致集群節(jié)點(diǎn)間同步延遲。
【3】?jī)?nèi)存不均
1、在集群模式下，大key會(huì)導(dǎo)致數(shù)據(jù)分片不均衡。
2、可能造成某些節(jié)點(diǎn)內(nèi)存壓力過(guò)大。
【4】持久化問(wèn)題
1、AOF重寫和RDB生成時(shí)處理大key會(huì)變慢。
2、可能導(dǎo)致持久化失敗或服務(wù)暫停。
3、如何發(fā)現(xiàn)大key
【1】使用內(nèi)置命令
redis-cli --bigkeys #掃描并統(tǒng)計(jì)大key
【2】使用memory命令（Redis 4.0+）
MEMORY USAGE key_name #查看指定key的內(nèi)存使用
【3】使用scan命令
redis-cli --scan --pattern '*' | while read key; do echo "$key: $(redis-cli memory usage "$key")"; done
【4】監(jiān)控工具
1、RedisInsight 2、Redis Desktop Manager
4、解決方案
【1】拆分大key
1、將大hash拆分成多個(gè)小hash
2、對(duì)大list/set進(jìn)行分片
【2】使用合適的數(shù)據(jù)結(jié)構(gòu)
1、根據(jù)合適的業(yè)務(wù)場(chǎng)景使用合適的數(shù)據(jù)結(jié)構(gòu)
【3】設(shè)置過(guò)期時(shí)間
1、EXPIRE key seconds
【4】漸進(jìn)式刪除
1、對(duì)大key刪除，使用UNLINK代替DEL（非阻塞）
2、對(duì)集合類型，分批刪除
【5】客戶端緩存
1、對(duì)不常變更的大key使用客戶端緩存
5、最佳實(shí)踐
【1】設(shè)計(jì)階段預(yù)防
1、預(yù)估數(shù)據(jù)規(guī)模，提前設(shè)計(jì)合理的key結(jié)構(gòu)
2、避免單個(gè)key存儲(chǔ)過(guò)多數(shù)據(jù)
【2】監(jiān)控告警
1、設(shè)置大key監(jiān)控告警
2、定期掃描和清理
【3】讀寫優(yōu)化
1、對(duì)大key使用pipeline減少網(wǎng)絡(luò)往返
2、避免對(duì)大key進(jìn)行范圍操作
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Redis延遲隊(duì)列和分布式延遲隊(duì)列的簡(jiǎn)答實(shí)現(xiàn)
在我們的工作中，很多地方使用延遲隊(duì)列，比如訂單到期沒(méi)有付款取消訂單，制訂一個(gè)提醒的任務(wù)等都需要延遲隊(duì)列，那么我們需要實(shí)現(xiàn)延遲隊(duì)列，本文就來(lái)介紹一下如何實(shí)現(xiàn)，感興趣的可以了解一下2021-05-05
Redis是一個(gè)開(kāi)源的使用ANSI C語(yǔ)言編寫、支持網(wǎng)絡(luò)、可基于內(nèi)存亦可持久化的日志型、Key-Value數(shù)據(jù)庫(kù)，并提供多種語(yǔ)言的API這篇文章主要介紹了Redis 在真實(shí)世界的 5 個(gè)用法,需要的朋友可以參考下2018-03-03
這篇文章主要介紹了redis啟動(dòng)失敗問(wèn)題之完美解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09
Redis 緩存使用內(nèi)存來(lái)保存數(shù)據(jù),隨著需要緩存的數(shù)據(jù)量越來(lái)越大,有限的緩存空間不可避免地會(huì)被寫滿,本文主要介紹了Redis 緩存滿了如何解決,感興趣的可以了解一下2023-08-08
redis中hiredis-API函數(shù)的調(diào)用方法
這篇文章主要介紹了redis中hiredis-API函數(shù)的調(diào)用,本文通過(guò)示例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2023-09-09
Redis對(duì)批量數(shù)據(jù)實(shí)現(xiàn)分布式鎖的實(shí)現(xiàn)代碼
為了防止多人多電腦同時(shí)操作一條數(shù)據(jù)，我們自己開(kāi)發(fā)了一個(gè)簡(jiǎn)單的基于Redis實(shí)現(xiàn)的分布式鎖，Redis對(duì)批量數(shù)據(jù)實(shí)現(xiàn)分布式鎖相關(guān)知識(shí)感興趣的朋友一起看看吧2022-03-03
hiredis從安裝到項(xiàng)目實(shí)戰(zhàn)操作
這篇文章主要介紹了hiredis從安裝到項(xiàng)目實(shí)戰(zhàn)操作,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-02-02
通過(guò) Redis 實(shí)現(xiàn) RPC 遠(yuǎn)程方法調(diào)用(支持多種編程語(yǔ)言)
這篇文章主要介紹了通過(guò) Redis 實(shí)現(xiàn) RPC 遠(yuǎn)程方法調(diào)用,支持多種編程語(yǔ)言,本文就以Ruby和Python為例,給出了實(shí)現(xiàn)代碼,需要的朋友可以參考下2014-09-09
這篇文章主要介紹了redis如何更新升級(jí)版本問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01
pipeline 只是把多個(gè)redis指令一起發(fā)出去，redis并沒(méi)有保證這些指定的執(zhí)行是原子的；multi相當(dāng)于一個(gè)redis的transaction的，保證整個(gè)操作的原子性，避免由于中途出錯(cuò)而導(dǎo)致最后產(chǎn)生的數(shù)據(jù)不一致。本文詳細(xì)的介紹，感興趣的可以了解一下2021-06-06