快捷導(dǎo)航

一文詳解Redis的主從同步原理

更新時間：2023年07月26日 11:27:58 作者：半夏之沫

Redis為了保證服務(wù)高可用，其中一種實現(xiàn)就是主從模式，本篇文章將對主從模式中為了保證主節(jié)點和從節(jié)點數(shù)據(jù)一致而實現(xiàn)的主從同步機(jī)制進(jìn)行學(xué)習(xí)，感興趣的同學(xué)可以參考閱讀下

正文

一. 主從數(shù)據(jù)同步概述

Redis主從模式中，一個高可用的Redis服務(wù)由一個Redis主節(jié)點（Master，后續(xù)簡稱為主節(jié)點）和若干Redis從節(jié)點（Slave，后續(xù)簡稱為從節(jié)點）組成。

Redis中采用讀寫分離來保證主節(jié)點和從節(jié)點之間的數(shù)據(jù)一致性，具體實現(xiàn)如下。

主節(jié)點支持數(shù)據(jù)寫入和數(shù)據(jù)讀取，從節(jié)點只支持數(shù)據(jù)讀取；
主節(jié)點會與從節(jié)點之間執(zhí)行主從數(shù)據(jù)同步，以保證主節(jié)點數(shù)據(jù)與從節(jié)點數(shù)據(jù)一致。

主從數(shù)據(jù)同步分為如下幾種情況。

從節(jié)點與主節(jié)點建立連接時進(jìn)行全量同步；
主節(jié)點與從節(jié)點正常運行時的同步；
主節(jié)點與從節(jié)點連接斷開后又重連時會進(jìn)行增量同步或全量同步。

本篇文章將對Redis中的主從數(shù)據(jù)同步的幾種情況進(jìn)行學(xué)習(xí)。

二. 從節(jié)點與主節(jié)點建立連接時的全量同步

從節(jié)點與主節(jié)點建立連接時的全量同步可以用下圖進(jìn)行示意。

對于上圖所示步驟，說明如下。

從節(jié)點通過配置文件中的replicaof {masterip} {port} 獲得主節(jié)點ip和port，然后向主節(jié)點發(fā)送psync {repID} {offset} 指令，其中repID表示主節(jié)點唯一標(biāo)識，offset為復(fù)制偏移量，因為當(dāng)前從節(jié)點與主節(jié)點尚未連接，且尚未開始復(fù)制，所以repID為 ?，offset為-1；
主節(jié)點收到psync {repID} {offset} 指令后，會響應(yīng)從節(jié)點并發(fā)送fullresync {repID} {offset} 指令，從節(jié)點會將主節(jié)點的repID和offset保存下來；
主節(jié)點收到psync {repID} {offset} 指令后，會執(zhí)行bgsave異步的生成RDB文件，然后主節(jié)點將RDB文件發(fā)送給從節(jié)點，從節(jié)點接收到RDB文件后，會清空內(nèi)存數(shù)據(jù)，然后加載RDB文件的數(shù)據(jù)到內(nèi)存中；
由于主節(jié)點生成RDB文件時是異步生成的，此時主節(jié)點是非阻塞的，可以繼續(xù)處理業(yè)務(wù)，所以在生成RDB文件期間，發(fā)送RDB文件期間和從節(jié)點加載RDB文件期間主節(jié)點執(zhí)行的寫指令均會存放到緩沖區(qū)replication_buffer中，所以當(dāng)從節(jié)點加載完RDB文件后，主節(jié)點會將replication_buffer中的內(nèi)容發(fā)送給從節(jié)點，從節(jié)點會執(zhí)行replication_buffer中的指令，從而達(dá)到和主節(jié)點一致的狀態(tài)。

特別說明：在全量同步期間，主節(jié)點是非阻塞的，同時從節(jié)點很大程度上是非阻塞的，從節(jié)點的非阻塞表現(xiàn)在可以通過配置讓從節(jié)點在全量同步期間使用舊內(nèi)存數(shù)據(jù)來處理查詢指令，但是從節(jié)點在刪除舊內(nèi)存數(shù)據(jù)并加載RDB文件數(shù)據(jù)到內(nèi)存中這段時間里，從節(jié)點是阻塞的（4.0版本前，刪除舊數(shù)據(jù)和加載RDB文件都會阻塞從節(jié)點，4.0版本開始，刪除舊數(shù)據(jù)可以通過配置變成不阻塞從節(jié)點，但是加載RDB文件還是會阻塞從節(jié)點）。

最后說明一個異常情況，那就是replication_buffer是有大小限制的，如果replication_buffer大小超過了限制，主節(jié)點會斷開與從節(jié)點的同步連接，此時replication_buffer的數(shù)據(jù)會被清空，然后會重新開始全量同步，所以replication_buffer大小需要設(shè)置一個合理值。

三. 主節(jié)點與從節(jié)點正常運行時的同步

參見Redis replication | Redis中的一段話。

When a master and a replica instances are well-connected, the master keeps the replica updated by sending a stream of commands to the replica to replicate the effects on the dataset happening in the master side due to: client writes, keys expired or evicted, any other action changing the master dataset.

即正常運行期間，主節(jié)點會向從節(jié)點發(fā)送寫指令流來同步主節(jié)點的數(shù)據(jù)變更到從節(jié)點。

四. 主節(jié)點與從節(jié)點斷開連接又重連時的增量同步

在第二節(jié)中提到了從節(jié)點在啟動后并需要與主節(jié)點進(jìn)行全量同步時，會向主節(jié)點發(fā)送psync {repID} {offset} 指令，這里先對repID和offset進(jìn)行解釋。

repID

repID即Replication ID，是Redis節(jié)點作為主節(jié)點啟動時，或者從節(jié)點被晉升為主節(jié)點時，該主節(jié)點都會生成一個新的repID（思考一下什么情況還會有舊的repID），后續(xù)連接到該主節(jié)點的從節(jié)點在第一次全量同步的建立連接階段會保存一份主節(jié)點的repID，所以具有相同repID的節(jié)點的數(shù)據(jù)具有相關(guān)性。

offset

offset即偏移量，可以理解為當(dāng)前節(jié)點的數(shù)據(jù)的邏輯時間。舉個例子，某個節(jié)點A的offset為500，和節(jié)點A具有相同repID的節(jié)點B的offset為520，那么表明節(jié)點B的數(shù)據(jù)比節(jié)點A的數(shù)據(jù)更新，節(jié)點A需要再執(zhí)行一些寫指令才能夠讓節(jié)點A的數(shù)據(jù)狀態(tài)和節(jié)點B一致。

有了上述兩點認(rèn)識，現(xiàn)在思考一個問題：主節(jié)點和從節(jié)點如果因為某些原因，斷開了連接，而斷開連接這段時間里主節(jié)點又處理了一些寫指令，那么從節(jié)點重新連接后，應(yīng)該怎么將斷開連接那段時間里的寫指令同步給重連的從節(jié)點？通常的想法就是再執(zhí)行一次全量同步，在2.8之前的版本，確實是這么實現(xiàn)的，但從2.8版本開始，引入了增量同步，具體的實現(xiàn)如下。

主節(jié)點維護(hù)著一份repl_backlog_buffer緩沖區(qū)域，叫做復(fù)制積壓緩沖區(qū)，主節(jié)點在任何時候執(zhí)行寫指令時，都會將寫指令記錄在repl_backlog_buffer中，repl_backlog_buffer是一個環(huán)形數(shù)組，所以當(dāng)數(shù)組滿時，后續(xù)再添加的寫指令會覆蓋舊的寫指令，因此主節(jié)點還使用了一個叫做master_repl_offset的偏移量，來記錄主節(jié)點的存到repl_backlog_buffer中的最新寫指令的位置，master_repl_offset就是上面提到的offset，只不過在主節(jié)點中叫做master_repl_offset；
從節(jié)點也有一個偏移量叫做slave_repl_offset，用來記錄從節(jié)點已經(jīng)從主節(jié)點的repl_backlog_buffer中同步到的最新寫指令的位置；
主節(jié)點收到寫指令后，master_repl_offset增加，從節(jié)點從主節(jié)點的repl_backlog_buffer同步了寫指令后，slave_repl_offset增加；
從節(jié)點斷開重連后，會向主節(jié)點發(fā)送psync {repID} {slave_repl_offset} 指令，此時slave_repl_offset通常會小于master_repl_offset，所以主節(jié)點僅需要將slave_repl_offset到master_repl_offset之間的寫指令同步給從節(jié)點，這就是增量同步。

特別注意：如果repl_backlog_buffer中記錄的從節(jié)點斷開連接期間的寫指令已經(jīng)被后續(xù)的寫指令覆蓋，那么此時不能執(zhí)行增量同步，而是需要執(zhí)行全量同步，所以需要將repl_backlog_buffer的大小設(shè)置一個合理的值，來盡可能的保證不出現(xiàn)重連后需要全量同步的情況。