了解java架構(gòu)之微服務(wù)架構(gòu)—雪崩效應(yīng)
前言
微服務(wù)化產(chǎn)品線,每一個服務(wù)專心于自己的業(yè)務(wù)邏輯,并對外提供相應(yīng)的接口,看上去似乎很明了,其實還有很多的東西需要考慮,比如:服務(wù)的自動擴充,熔斷和限流等,隨著業(yè)務(wù)的擴展,服務(wù)的數(shù)量也會隨之增多,邏輯會更加復(fù)雜,一個服務(wù)的某個邏輯需要依賴多個其他服務(wù)才能完成。
一但一個依賴不能提供服務(wù)很可能會產(chǎn)生雪崩效應(yīng),最后導(dǎo)致整個服務(wù)不可訪問。
微服務(wù)之間進行rpc或者http調(diào)用時,我們一般都會設(shè)置調(diào)用超時,失敗重試等機制來確保服務(wù)的成功執(zhí)行,看上去很美,如果不考慮服務(wù)的熔斷和限流,就是雪崩的源頭。
假設(shè)我們有兩個訪問量比較大的服務(wù)A和B,這兩個服務(wù)分別依賴C和D,C和D服務(wù)都依賴E服務(wù)
A和B不斷的調(diào)用C,D處理客戶請求和返回需要的數(shù)據(jù)。當E服務(wù)不能供服務(wù)的時候,C和D的超時和重試機制會被執(zhí)行
由于新的調(diào)用不斷的產(chǎn)生,會導(dǎo)致C和D對E服務(wù)的調(diào)用大量的積壓,產(chǎn)生大量的調(diào)用等待和重試調(diào)用,慢慢會耗盡C和D的資源比如內(nèi)存或CPU,然后也down掉。
A和B服務(wù)會重復(fù)C和D的操作,資源耗盡,然后down掉,最終整個服務(wù)都不可訪問。
常見的導(dǎo)致雪崩的情況有以下幾種:
- 程序bug導(dǎo)致服務(wù)不可用,或者運行緩慢
- 緩存擊穿,導(dǎo)致調(diào)用全部訪問某服務(wù),導(dǎo)致down掉
- 訪問量的突然激增。
- 硬件問題,這感覺只能說是點背了⊙︿⊙。
雖然雪崩效應(yīng)的產(chǎn)生千萬條,保證服務(wù)的不掛機,和流暢運行是我們不可推卸的責(zé)任,對應(yīng)雪崩效應(yīng)還是有很多保護方案的。
服務(wù)的橫向擴充
現(xiàn)在我們可以利用很多工具來保證服務(wù)不會掛掉,然后流量比較大的時候,可以橫向擴充服務(wù)來保證業(yè)務(wù)的流暢。比如我們最常使用k8s,能保證服務(wù)的運行狀態(tài),也可以讓服務(wù)自動的橫向擴充。對于用戶訪問量的激增情況這樣處理還是很不錯的,但是,橫向擴充也是有盡頭的,如果在一定環(huán)境下E服務(wù)的響應(yīng)時間過長,依然有可能導(dǎo)致雪崩效應(yīng)的產(chǎn)生。
限流
限制客戶端的調(diào)用來達到限流的做法是很常見的,比如,我們限制每秒最大處理200個請求,超過個數(shù)量直接拒絕請求。常見的算法如令牌桶算法
以一定的速度在桶里放令牌,當客戶端請求服務(wù)的時候,要先從桶里得到令牌,才能被處理,如果桶里的令牌用完了,則拒絕訪問。
熔斷
在客戶端控制對依賴的訪問,如果調(diào)用的依賴不可用時,則不再調(diào)用,直接返回錯誤,或者降級處理。開源的庫比如hystrix-go,也是我接下來要寫的源碼分析的一個庫。很好的實現(xiàn)了熔斷和降級的功能。他的主要思想是,設(shè)置一些閥值,比如,最大并發(fā)數(shù),錯誤率百分比,熔斷嘗試恢復(fù)時間等。能過這些閥值來轉(zhuǎn)換熔斷器的狀態(tài):
- 關(guān)閉狀態(tài),允許調(diào)用依賴
- 打開狀態(tài),不允許調(diào)用依賴,直接返回錯誤,或者調(diào)用fallback
- 半開狀態(tài),根據(jù)熔斷嘗試恢復(fù)時間來開啟,允許調(diào)用依賴,如果調(diào)用成功則關(guān)閉失敗則繼續(xù)打開
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
JAVA中出現(xiàn)異常、拋出異常后續(xù)代碼是否執(zhí)行情況詳析
當產(chǎn)生異常后,并在異常處理器中進行執(zhí)行之后,程序會是如何的一種狀態(tài),是終止還是繼續(xù)執(zhí)行處理之后的代碼呢,下面這篇文章主要給大家介紹了關(guān)于JAVA中出現(xiàn)異常、拋出異常后續(xù)代碼是否執(zhí)行情況的相關(guān)資料,需要的朋友可以參考下2024-05-05關(guān)于Springboot | @RequestBody 接收到的參數(shù)對象屬性為空的問題
這篇文章主要介紹了關(guān)于Springboot | @RequestBody 接收到的參數(shù)對象屬性為空的問題,本文給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-03-03Java并發(fā)系列之AbstractQueuedSynchronizer源碼分析(條件隊列)
這篇文章主要為大家詳細介紹了Java并發(fā)系列之AbstractQueuedSynchronizer源碼,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-02-02