快捷導(dǎo)航

.Net?Core微服務(wù)網(wǎng)關(guān)Ocelot超時(shí)、熔斷、限流

更新時(shí)間：2022年01月06日 08:44:29 作者：老馬-Max

這篇文章介紹了.Net?Core微服務(wù)網(wǎng)關(guān)Ocelot超時(shí)、熔斷、限流，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

基本概念

超時(shí)、熔斷、限流聽起來好像很遠(yuǎn)，但實(shí)際上用在方方面面。很多人可能還搞不懂熔斷是做什么，其實(shí)可以把熔斷理解為一種防護(hù)措施。做個(gè)假設(shè)，在微服務(wù)體系下，某個(gè)下游服務(wù)響應(yīng)很慢，然后隨著時(shí)間推移，會(huì)有越來越多的請(qǐng)求堆積，從而會(huì)導(dǎo)致各種嚴(yán)重后果，單說連接池大量被占用就很要命。更不用說服務(wù)之間還要相互調(diào)用，你等我10秒，我等你5秒，不僅毫無體驗(yàn)感，高可用也就成了空談。不如換個(gè)思路：與其等10秒返回一個(gè)請(qǐng)求失敗，不如馬上就返回請(qǐng)求失敗。這樣一來，請(qǐng)求堆不起來，資源也有時(shí)間釋放或者恢復(fù)。這個(gè)動(dòng)作就叫熔斷，或者叫短路。有點(diǎn)像家用電路，一旦有漏電直接跳閘，最大程度保障安全。

熔斷的概念基本有了，接下來給網(wǎng)關(guān)集成。這里需要用到一個(gè)叫polly的庫(kù)。

簡(jiǎn)單說下它：polly由.net實(shí)現(xiàn)，是一個(gè)非常優(yōu)秀的庫(kù)，主要提供重試、熔斷、超時(shí)、恢復(fù)等功能，當(dāng)然今天主角不是它，想研究的可以去官方看下：https://github.com/App-vNext/Polly

接下來開始集成。首先添加nuget包：

然后注冊(cè)相關(guān)服務(wù)：

public void ConfigureServices(IServiceCollection services)
        {
            services.AddOcelot()
                .AddPolly()
                .AddConsul()
                .AddConfigStoredInConsul();
        }

接下來在配置文件添加節(jié)點(diǎn)：

"QoSOptions": {
    "ExceptionsAllowedBeforeBreaking":3,
    "DurationOfBreak":10000,
    "TimeoutValue":5000
}

ExceptionsAllowedBeforeBreaking：閾值，當(dāng)轉(zhuǎn)發(fā)到下游的服務(wù)連續(xù)出現(xiàn)的異常次數(shù)達(dá)到閾值就會(huì)觸發(fā)熔斷。必須和DurationOfBreak一起設(shè)置。
DurationOfBreak：熔斷持續(xù)時(shí)間，單位毫秒。必須和ExceptionsAllowedBeforeBreaking一起設(shè)置。
TimeoutValue：限定時(shí)間內(nèi)未響應(yīng)的請(qǐng)求直接超時(shí)，單位毫秒?？梢詥为?dú)設(shè)置
tips：ocelot默認(rèn)超時(shí)時(shí)間是90秒，90秒啊

然后寫一個(gè)方法，休眠10秒：

[HttpGet]
        public IActionResult TimeOut()
        {
            System.Threading.Thread.Sleep(10000);
            return Ok();
        }

超時(shí)

準(zhǔn)備工作做完了，現(xiàn)在調(diào)用timeout方法：

方法是休眠10秒，但是等待5秒左右就主動(dòng)返回了503，說明超時(shí)的設(shè)置已經(jīng)生效。

熔斷

當(dāng)轉(zhuǎn)發(fā)到下游某個(gè)服務(wù)的請(qǐng)求連續(xù)出現(xiàn)超時(shí)情況時(shí)，網(wǎng)關(guān)就會(huì)判斷是否達(dá)到閾值，如果是就觸發(fā)熔斷，在此期間的請(qǐng)求統(tǒng)一返回503，熔斷時(shí)間過了以后恢復(fù)正常。按上面配置來看：連續(xù)超時(shí)3次會(huì)觸發(fā)熔斷，熔斷持續(xù)10秒。我們?nèi)匀徽{(diào)用Timeout方法，連續(xù)3次以后：

沒有觸發(fā)熔斷時(shí)，只能等過5秒自動(dòng)超時(shí)，很顯然現(xiàn)在已經(jīng)觸發(fā)了超時(shí)，所以在200毫秒就直接返回了結(jié)果。熔斷期間訪問別的方法也會(huì)是503：

和開頭寫的一樣，熔斷和電路短路跳閘是思路是一樣的，就算家里N條線只有1條漏電，那還是會(huì)跳閘整個(gè)屋子不能用電，這種做法最大程度上保證了程序安全。

限流

假設(shè)現(xiàn)在只能承載1萬并發(fā)，那么過來5萬并發(fā)會(huì)怎么樣？一般情況下，只要持續(xù)時(shí)間稍久一些，服務(wù)基本全都掛了。這種情況在生產(chǎn)環(huán)境難免會(huì)發(fā)生，畢竟業(yè)務(wù)量也無法測(cè)算那么精準(zhǔn)。所以為了提高可用性，瞬時(shí)請(qǐng)求超過最大閾值，其他的全都忽略才能保證服務(wù)安全可用。讓客戶等下一次請(qǐng)求，總好過服務(wù)掛了沒的請(qǐng)求。

限流也是配置就能實(shí)現(xiàn)，在路由中新增下面的節(jié)點(diǎn)：

"RateLimitOptions": {
    "ClientWhitelist": [],
    "EnableRateLimiting": true,
    "Period": "1s",
    "PeriodTimespan": 1,
    "Limit": 1
}

ClientWhitelist：客戶端白名單，白名單不受限流規(guī)則限制。
EnableRateLimiting：是否啟用限流。
Period：周期，單位有s(秒)、m(分)、h(時(shí))、d(天)，比如1h
PeriodTimespan：多少秒后重試。
Limit：周期內(nèi)允許多少個(gè)請(qǐng)求。

想要更精細(xì)的控制，還可以在Global部分添加這些：

"RateLimitOptions": {
  "DisableRateLimitHeaders": false,
  "QuotaExceededMessage": "Customize Tips!",
  "HttpStatusCode": 999,
  "ClientIdHeader" : "Test"
}

DisableRateLimitHeaders：是否禁用X-Rate-Limit、Retry-After標(biāo)頭。
QuotaExceededMessage：觸發(fā)限流時(shí)返回的消息。
HttpStatusCode：觸發(fā)限流時(shí)返回的http狀態(tài)碼（一般會(huì)寫429）。
ClientIdHeader：用來識(shí)別客戶端的標(biāo)頭。
tips：DisableRateLimitHeaders中提到的X-Rate-Limit、Retry-After：X-Rate-Limit——標(biāo)準(zhǔn)時(shí)間內(nèi)允許多少個(gè)請(qǐng)求，Retry-After——觸發(fā)限流以后多久可以重試。

接下來修改我的配置：

"RateLimitOptions": {
        "ClientWhitelist": [ "myclient" ],
        "EnableRateLimiting": true,
        "Period": "1s",
        "PeriodTimespan": 10,
        "Limit": 1
      }

修改全局配置：

"RateLimitOptions": {
      "DisableRateLimitHeaders": false,
      "QuotaExceededMessage": "123123",
      "HttpStatusCode": 429,
      "ClientIdHeader": "Test"
    }

按配置來看，我設(shè)置1秒內(nèi)最多允許1個(gè)請(qǐng)求，超過就觸發(fā)限流。之后的請(qǐng)求都會(huì)返回429和123123，持續(xù)10秒。來試試：