明明做了數(shù)據(jù)刪除，數(shù)據(jù)量已經(jīng)不大了，為什么使用 top 命令查看時，還會發(fā)現(xiàn) Redis 占用了很多內(nèi)存呢？
實(shí)際上，這是因?yàn)?，?dāng)數(shù)據(jù)刪除后，Redis 釋放的內(nèi)存空間會由內(nèi)存分配器管理，并不會立即返回給操作系統(tǒng)。

Redis 釋放的內(nèi)存空間可能并不是連續(xù)的，那么，這些不連續(xù)的內(nèi)存空間很有可能處于一種閑置的狀態(tài)。這就會導(dǎo)致一個問題：雖然有空閑空間，Redis 卻無法用來保存數(shù)據(jù)，不僅會減少 Redis 能夠?qū)嶋H保存的數(shù)據(jù)量，還會降低 Redis 運(yùn)行機(jī)器的成本回報(bào)率。

什么是Redis內(nèi)存碎片？

操作系統(tǒng)的剩余空間總量足夠，但申請一塊N字節(jié)連續(xù)地址的空間時，剩余內(nèi)存空間中沒有大小為N字節(jié)的連續(xù)空間，那么這些剩余內(nèi)存空間中，小于N字節(jié)的連續(xù)內(nèi)存空間就是內(nèi)存碎片。

Redis內(nèi)存碎片是如何形成的？

內(nèi)存碎片形成有內(nèi)部原因和外部原因：

• 內(nèi)部原因：內(nèi)存分配器的分配策略決定操作系統(tǒng)無法做到“按需分配”。
  • Redis使用libc、jemalloc、tcmalloc多種內(nèi)存分配器來分配內(nèi)存，默認(rèn)使用jemalloc。
  • 內(nèi)存分配器是按照固定大小來分配內(nèi)存空間，不是完全按照應(yīng)用程序申請的內(nèi)存大小來分配。
  • 以jemalloc為例，是按照一系列固定的大小劃分內(nèi)存空間，例如8字節(jié)、16字節(jié)、32字節(jié)、...、2KB、4KB等。當(dāng)程序申請的內(nèi)存最接近某個固定值時，jemalloc就會給它分配相應(yīng)大小的空間。
• 外部原因：鍵值對大小不一樣，并且鍵值對可以被修改和刪除。
  • Redis申請內(nèi)存空間分配時，對于大小不一的內(nèi)存空間需求，內(nèi)存分配器按照固定大小分配內(nèi)存空間，分配的內(nèi)存空間一般都會比申請的內(nèi)存空間大一些，這會產(chǎn)生一定的內(nèi)存碎片。
  • 鍵值對會被修改和刪除，會導(dǎo)致空間的擴(kuò)容和釋放。

如何判斷Redis是否有內(nèi)存碎片？

DAS通過Redis提供的INFO命令，查詢內(nèi)存使用的詳細(xì)信息，命令如下：

INFO memory
# Memory
used_memory:350458970752
used_memory_human:326.39G
used_memory_rss:349066919936
used_memory_rss_human:325.09G
…
mem_fragmentation_ratio:1.00

• used_memory：表示Redis為了保存數(shù)據(jù)實(shí)際申請使用的內(nèi)存空間。
• used_memory_rss：表示操作系統(tǒng)實(shí)際分配給Redis的物理內(nèi)存空間，其中包含了內(nèi)存空間碎片。
•  mem_fragmentation_ratio：表示Redis當(dāng)前的內(nèi)存碎片率。計(jì)算公式：mem_fragmentation_ratio=used_memory_rss/used_memory
  • mem_fragmentation_ratio大于等于1但小于等于1.5，這種情況是合理的。
  • mem_fragmentation_ratio大于1.5，表明內(nèi)存碎片率已經(jīng)超過了50%。

如何清理內(nèi)存碎片？

一個“簡單粗暴”的方法是重啟Redis實(shí)例。但是這個方法會帶來兩個后果：

• 如果Redis中的數(shù)據(jù)沒有持久化，數(shù)據(jù)會丟失；
• 即使Redis數(shù)據(jù)持久化了，還需要通過AOF或者RDB來恢復(fù)，恢復(fù)時長取決于AOF或RDB的大小。并且如果只有一個Redis實(shí)例，恢復(fù)階段無法提供服務(wù)。

 那有沒有更好的方法呢？有的，從4.0-RC3版本以后，Redis自身提供了一種內(nèi)存碎片自動清理的方法。

內(nèi)存碎片自動清理

內(nèi)存碎片清理，簡單來說，就是“搬家讓位，合并空間”。

當(dāng)有數(shù)據(jù)把一塊連續(xù)的內(nèi)存空間分割成好幾塊不連續(xù)的空間時，操作系統(tǒng)會把數(shù)據(jù)拷貝到另外，而原來不連續(xù)的內(nèi)存空間就變成連續(xù)的內(nèi)存空間了。

但是碎片清理是有代價的。操作系統(tǒng)需要把多份數(shù)據(jù)拷貝到新位置，把原有空間釋放出來，這會帶來時間開銷。另外在數(shù)據(jù)拷貝時，會阻塞Redis，降低性能。

如何緩解這個問題？

Redis專門為自動內(nèi)存碎片清理機(jī)制提供參數(shù)設(shè)置。可以通過設(shè)置參數(shù)，來控制碎片清理的開始和結(jié)束時機(jī)，以及占用的CPU比例，從而減少碎片清理對Redis請求處理的性能影響。

首先，開啟自動內(nèi)存碎片清理：

config set activedefrag yes
然后，設(shè)置觸發(fā)內(nèi)存清理的條件：

• active-defrag-ignore-bytes 100mb：表示內(nèi)存碎片的字節(jié)數(shù)達(dá)到100MB時，開始清理；
• active-defrag-threshold-lower 10：表示內(nèi)存碎片空間占操作系統(tǒng)分配給Redis的總空間比例達(dá)到10%時，開始清理。

最后，控制清理操作占用CPU時間比例的上、下限：

• active-defrag-cycle-min 25： 表示自動清理過程所用CPU時間的比例不低于25%，保證清理能正常開展；
• active-defrag-cycle-max 75：表示自動清理過程所用CPU時間的比例不高于75%，一旦超過，就停止清理，從而避免在清理時，大量的內(nèi)存拷貝阻塞Redis，導(dǎo)致響應(yīng)延遲升高。

總結(jié)

內(nèi)存碎片自動清理涉及內(nèi)存拷貝，這對 Redis 而言，是個潛在的風(fēng)險(xiǎn)。如果你在實(shí)踐過程中遇到 Redis 性能變慢，記得通過日志看下是否正在進(jìn)行碎片清理。如果 Redis 的確正在清理碎片，那么，我建議你調(diào)小 active-defrag-cycle-max 的值，以減輕對正常請求處理的影響。

以上就是詳解如何清理Redis內(nèi)存碎片的詳細(xì)內(nèi)容，更多關(guān)于清理Redis內(nèi)存碎片的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論