redis三種高可用方式部署的實(shí)現(xiàn)
前言
一、主從復(fù)制
概念
和mysql的主從復(fù)制一樣 都是將服務(wù)器的數(shù)據(jù)復(fù)制到另一個數(shù)據(jù)庫中 發(fā)送的稱為master 接受的叫slave 數(shù)據(jù)為單向傳輸 只可以主到從
每臺Redis服務(wù)器都是主節(jié)點(diǎn);且一個主節(jié)點(diǎn)可以有多個從節(jié)點(diǎn)(或沒有從節(jié)點(diǎn)),但一個從節(jié)點(diǎn)只能有一個主節(jié)點(diǎn)。
作用
數(shù)據(jù)冗余 實(shí)現(xiàn)了數(shù)據(jù)的熱備份,是持久化之外的一種數(shù)據(jù)冗余方式
故障切換 當(dāng)主節(jié)點(diǎn)宕機(jī)或者出現(xiàn)錯誤時 由從服務(wù)器來提供服務(wù) 實(shí)現(xiàn)故障切換
負(fù)載均衡:在主從復(fù)制的基礎(chǔ)上,配合讀寫分離,可以由主節(jié)點(diǎn)提供寫服務(wù),由從節(jié)點(diǎn)提供讀服務(wù)(即寫Redis數(shù)據(jù)時應(yīng)用連接主節(jié)點(diǎn),讀Redis數(shù)據(jù)時應(yīng)用連接從節(jié)點(diǎn)),分擔(dān)服務(wù)器負(fù)載;尤其是在寫少讀多的場景下,通過多個從節(jié)點(diǎn)分擔(dān)讀負(fù)載,可以大大提高Redis服務(wù)器的并發(fā)量。
基礎(chǔ) 給集群和哨兵提供環(huán)境
主從復(fù)制過程
1 若啟動一個Slave機(jī)器進(jìn)程,則它會向Master機(jī)器發(fā)送一個“sync command”命令,請求同步連接。
2 無論是第一次連接還是重新連接,Master機(jī)器都會啟動一個后臺進(jìn)程,將數(shù)據(jù)快照保存到數(shù)據(jù)文件中(執(zhí)行rdb操作),同時Master還會記錄修改數(shù)據(jù)的所有命令并緩存在數(shù)據(jù)文件中。
3 后臺進(jìn)程完成緩存操作之后,Maste機(jī)器就會向Slave機(jī)器發(fā)送數(shù)據(jù)文件,Slave端機(jī)器將數(shù)據(jù)文件保存到硬盤上,然后將其加載到內(nèi)存中,接著Master機(jī)器就會將修改數(shù)據(jù)的所有操作一并發(fā)送給Slave端機(jī)器。若Slave出現(xiàn)故障導(dǎo)致宕機(jī),則恢復(fù)正常后會自動重新連接。
4 Master機(jī)器收到Slave端機(jī)器的連接后,將其完整的數(shù)據(jù)文件發(fā)送給Slave端機(jī)器,如果Mater同時收到多個Slave發(fā)來的同步請求,則Master會在后臺啟動一個進(jìn)程以保存數(shù)據(jù)文件,然后將其發(fā)送給所有的Slave端機(jī)器,確保所有的Slave端機(jī)器都正常。
部署
三臺服務(wù)器 一主倆從
先部署redis 每臺配置一致
systemctl stop firewalld setenforce 0 yum install -y gcc gcc-c++ make tar zxvf redis-5.0.7.tar.gz -C /opt/ cd /opt/redis-5.0.7/ make make PREFIX=/usr/local/redis install cd /opt/redis-5.0.7/utils ./install_server.sh 回車四次,之后輸入可執(zhí)行文件路徑 Please select the redis executable path [] /usr/local/redis/bin/redis-server ln -s /usr/local/redis/bin/* /usr/local/bin/
主節(jié)點(diǎn)配置
vim /etc/redis/6379.conf bind 0.0.0.0 70行,修改bind 項,0.0.0.0監(jiān)聽所有網(wǎng)段 daemonize yes 137行,開啟守護(hù)進(jìn)程 logfile /var/log/redis_6379.log 172行,指定日志文件目錄 dir /var/lib/redis/6379 264行,指定工作目錄 appendonly yes 700行,開啟AOF持久化功能 /etc/init.d/redis_6379 restart netstat -natp | grep 6379 檢查端口是否開啟
從節(jié)點(diǎn)配置
vim /etc/redis/6379.conf bind 0.0.0.0 70行,修改bind 項,0.0.0.0監(jiān)聽所有網(wǎng)卡 daemonize yes 137行,開啟守護(hù)進(jìn)程 logfile /var/log/redis_6379.log 172行,指定日志文件目錄 dir /var/lib/redis/6379 264行,指定工作目錄 replicaof 192.168.25.4 6379 288行,指定要同步的Master節(jié)點(diǎn)IP和端口 appendonly yes 700行,開啟AOF持久化功能 /etc/init.d/redis_6379 restart
查看結(jié)果
在主節(jié)點(diǎn)查看日志
tail -f /var/log/redis_6379.log
驗(yàn)證
# Replication role:master connected_slaves:2 slave0:ip=192.168.25.6,port=6379,state=online,offset=504,lag=1 slave1:ip=192.168.25.5,port=6379,state=online,offset=504,lag=0
二、哨兵模式
1 概念
是一個分布式系統(tǒng),用于對主從結(jié)構(gòu)中的每臺服務(wù)器進(jìn)行監(jiān)控,當(dāng)出現(xiàn)故障時通過投票機(jī)制選擇新的 Master 并將所有 Slave 連接到新的 Master。所以整個運(yùn)行哨兵的集群的數(shù)量不得少于3個節(jié)點(diǎn)。
2.作用
- 監(jiān)控:哨兵會不斷地檢查主節(jié)點(diǎn)和從節(jié)點(diǎn)是否運(yùn)作正常。
- 自動故障轉(zhuǎn)移:當(dāng)主節(jié)點(diǎn)不能正常工作時,哨兵會開始自動故障轉(zhuǎn)移操作,它會將失效主節(jié)點(diǎn)的其中一個從節(jié)點(diǎn)升級為新的主節(jié)點(diǎn),并讓其他從節(jié)點(diǎn)改為復(fù)制新的主節(jié)點(diǎn)。
- 通知(提醒):哨兵可以將故障轉(zhuǎn)移的結(jié)果發(fā)送給客戶端。
3 組成
- 哨兵節(jié)點(diǎn):哨兵系統(tǒng)由一個或多個哨兵節(jié)點(diǎn)組成,哨兵節(jié)點(diǎn)是特殊的redis節(jié)點(diǎn),不存儲數(shù)據(jù)。
- 數(shù)據(jù)節(jié)點(diǎn):主節(jié)點(diǎn)和從節(jié)點(diǎn)都是數(shù)據(jù)節(jié)點(diǎn)。
哨兵的啟動依賴于主從模式,所以須把主從模式安裝好的情況下再去做哨兵模式,所有節(jié)點(diǎn)上都需要部署哨兵模式,哨兵模式會監(jiān)控所有的 Redis 工作節(jié)點(diǎn)是否正常,當(dāng) Master 出現(xiàn)問題的時候,因?yàn)槠渌?jié)點(diǎn)與主節(jié)點(diǎn)失去聯(lián)系,因此會投票,投票過半就認(rèn)為這個 Master 的確出現(xiàn)問題,然后會通知哨兵間,然后從 Slaves 中選取一個作為新的 Master。
主觀下線和客觀下線
主觀下線是指哨兵節(jié)點(diǎn)會每秒一次的頻率向建立了命令節(jié)點(diǎn)的實(shí)例發(fā)送ping命令,如果在 down-after-milliseconds 毫秒內(nèi)沒有做出有效響應(yīng)包括(pong/loading/masterdown)以外的響應(yīng),哨兵就會將該實(shí)例在本結(jié)構(gòu)體中的狀態(tài)標(biāo)記為 sri_s_down 主觀下線
客觀下線是指當(dāng)一個哨兵節(jié)點(diǎn)發(fā)現(xiàn)主節(jié)點(diǎn)處于主觀下線狀態(tài)時,就會向其他的哨兵節(jié)點(diǎn)發(fā)出詢問,該節(jié)點(diǎn)是否已經(jīng)主觀下線。如果超過配置參數(shù) quorum 個節(jié)點(diǎn)認(rèn)為是主觀下線時,該哨兵節(jié)點(diǎn)就會將自己維護(hù)的結(jié)構(gòu)體中該主節(jié)點(diǎn)標(biāo)記為 sri_o_down 客觀下線
部署
所有的節(jié)點(diǎn)都要部署哨兵
vim /opt/redis-5.0.7/sentinel.conf protected-mode no #17行,關(guān)閉保護(hù)模式 port 26379 #21行,Redis哨兵默認(rèn)的監(jiān)聽端口 daemonize yes #26行,指定sentinel為后臺啟動 logfile "/var/log/sentinel.log" #36行,指定日志存放路徑 dir "/var/lib/redis/6379" #65行,指定數(shù)據(jù)庫存放路徑 sentinel monitor mymaster 192.168.184.10 6379 2 #84行,修改 指定該哨兵節(jié)點(diǎn)監(jiān)控192.168.184.10:6379這個主節(jié)點(diǎn),該主節(jié)點(diǎn)的名稱是mymaster,最后的2的含義與主節(jié)點(diǎn)的故障判定有關(guān):至少需要2個哨兵節(jié)點(diǎn)同意,才能判定主節(jié)點(diǎn)故障并進(jìn)行故障轉(zhuǎn)移 sentinel down-after-milliseconds mymaster 30000 #113行,判定服務(wù)器down掉的時間周期,默認(rèn)30000毫秒(30秒) sentinel failover-timeout mymaster 180000 #146行,故障節(jié)點(diǎn)的最大超時時間為180000(180秒)
開啟哨兵
先開master 后開slave
模擬故障
查詢主節(jié)點(diǎn)redis服務(wù)節(jié)點(diǎn)號
殺掉主節(jié)點(diǎn)進(jìn)程 并查看日志
kill -9 62009 tail -f /var/log/sentinel.log
查看現(xiàn)在的主節(jié)點(diǎn) 現(xiàn)在主節(jié)點(diǎn)切換到slave1
三 集群
1 概念
集群,即Redis Cluster,是Redis 3.0開始引入的分布式存儲方案。
集群由多個節(jié)點(diǎn)(Node)組成,Redis的數(shù)據(jù)分布在這些節(jié)點(diǎn)中。集群中的節(jié)點(diǎn)分為主節(jié)點(diǎn)和從節(jié)點(diǎn):只有主節(jié)點(diǎn)負(fù)責(zé)讀寫請求和集群信息的維護(hù);從節(jié)點(diǎn)只進(jìn)行主節(jié)點(diǎn)數(shù)據(jù)和狀態(tài)信息的復(fù)制。
2 作用
1 數(shù)據(jù)分區(qū):數(shù)據(jù)分區(qū)(或稱數(shù)據(jù)分片)是集群最核心的功能。
集群將數(shù)據(jù)分散到多個節(jié)點(diǎn),一方面突破了Redis單機(jī)內(nèi)存大小的限制,存儲容量大大增加;另一方面每個主節(jié)點(diǎn)都可以對外提供讀服務(wù)和寫服務(wù),大大提高了集群的響應(yīng)能力。
Redis單機(jī)內(nèi)存大小受限問題,在介紹持久化和主從復(fù)制時都有提及;例如,如果單機(jī)內(nèi)存太大,bgsave和bgrewriteaof的fork操作可能導(dǎo)致主進(jìn)程阻塞,主從環(huán)境下主機(jī)切換時可能導(dǎo)致從節(jié)點(diǎn)長時間無法提供服務(wù),全量復(fù)制階段主節(jié)點(diǎn)的復(fù)制緩沖區(qū)可能溢出。
2 高可用:集群支持主從復(fù)制和主節(jié)點(diǎn)的自動故障轉(zhuǎn)移(與哨兵類似);當(dāng)任一節(jié)點(diǎn)發(fā)生故障時,集群仍然可以對外提供服務(wù)。
3、Redis集群的數(shù)據(jù)分片
Redis集群引入了哈希槽的概念
Redis集群有16384個哈希槽(編號0-16383)
集群的每個節(jié)點(diǎn)負(fù)責(zé)一部分哈希槽
每個Key通過CRC16校驗(yàn)后對16384取余來決定放置哪個哈希槽,通過這個值,去找到對應(yīng)的插槽所對應(yīng)的節(jié)點(diǎn),然后直接自動跳轉(zhuǎn)到這個對應(yīng)的節(jié)點(diǎn)上進(jìn)行存取操作
#以3個節(jié)點(diǎn)組成的集群為例:
節(jié)點(diǎn)A包含0到5460號哈希槽
節(jié)點(diǎn)B包含5461到10922號哈希槽
節(jié)點(diǎn)C包含10923到16383號哈希槽
Redis集群的主從復(fù)制模型
集群中具有A、B、C三個節(jié)點(diǎn),如果節(jié)點(diǎn)B失敗了,整個集群就會因缺少5461-10922這個范圍的槽而不可以用。
為每個節(jié)點(diǎn)添加一個從節(jié)點(diǎn)A1、B1、C1整個集群便有三個Master節(jié)點(diǎn)和三個slave節(jié)點(diǎn)組成,在節(jié)點(diǎn)B失敗后,集群選舉B1位為的主節(jié)點(diǎn)繼續(xù)服務(wù)。當(dāng)B和B1都失敗后,集群將不可用
部署
注意6個端口和IP都要不一樣。 vim /etc/redis/6379.conf bind 192.168.25.4 70行,修改bind項,監(jiān)聽自己的IP protected-mode no 89行,修改,關(guān)閉保護(hù)模式 port 7001 93行,修改,redis監(jiān)聽端口, daemonize yes 137行,以獨(dú)立進(jìn)程啟動 cluster-enabled yes 833行,取消注釋,開啟群集功能 cluster-config-file nodes-6379.conf 841行,取消注釋,群集名稱文件設(shè)置,無需修改 cluster-node-timeout 15000 847行,取消注釋群集超時時間設(shè)置 appendonly yes 700行,修改,開啟AOF持久化 #重啟服務(wù) /etc/init.d/redis_6379 restart #加入集群 redis-cli --cluster create 192.168.25.4:7001 192.168.25.5:7003 192.168.25.6:7005 192.168.25.7:7006 192.168.25.8:7007 192.168.25.9:7008 --cluster-replicas 1 redis-cli -h 192.168.25.4 -p 7001 -c #加-c參數(shù),節(jié)點(diǎn)之間就可以互相跳轉(zhuǎn) cluster slots #查看節(jié)點(diǎn)的哈希槽編號范圍 set sky x1 cluster keyslot x1 #查看name鍵的槽編號
到此這篇關(guān)于redis三種高可用方式部署的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)redis 高可用方式部署內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
基于session?Redis實(shí)現(xiàn)登錄
這篇文章主要介紹了基于session?Redis實(shí)現(xiàn)登錄的相關(guān)資料,需要的朋友可以參考下2023-10-10Window server中安裝Redis的超詳細(xì)教程
這篇文章主要介紹了Window server中安裝Redis的教程,本文通過圖文實(shí)例代碼相結(jié)合給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-11-11Redis底層數(shù)據(jù)結(jié)構(gòu)詳解
這篇文章主要介紹了Redis底層數(shù)據(jù)結(jié)構(gòu),本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-08-08Redis主從配置和底層實(shí)現(xiàn)原理解析(實(shí)戰(zhàn)記錄)
今天給大家分享Redis主從配置和底層實(shí)現(xiàn)原理解析,本文通過實(shí)戰(zhàn)項目給大家源碼解析,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友參考下吧2021-06-06