使用Go HTTP客戶端打造高性能服務(wù)

更新時間：2021年12月09日 10:18:48 作者：kuteng

大多數(shù)語言都有提供各自的 HTTP 客戶端，本文將動手實(shí)踐如何使用Go語言發(fā)起HTTP請求，并討論其中有可能遇到的問題。具有一定的參考價值，感興趣的可以了解一下

HTTP（超文本傳輸協(xié)議）是一種用于客戶端和服務(wù)器之間傳輸數(shù)據(jù)的通信協(xié)議。如果想要訪問服務(wù)器資源，HTTP 請求是必不可少的。Go 語言里，net/http 包附帶了默認(rèn)配置，我們可以適當(dāng)調(diào)整便可以獲得高性能。

大多數(shù)語言都有提供各自的 HTTP 客戶端，文章接下來部分我們將動手實(shí)踐如何使用 Go 語言發(fā)起 HTTP 請求，并討論其中有可能遇到的問題。

在做 Go 項(xiàng)目時，我就意識到 HTTP 客戶端如果配置不正確可能會隨時導(dǎo)致服務(wù)器崩潰。

在使用 HTTP Client 時，我觀察到一些問題并總結(jié)出相應(yīng)的解決方案，如下所示：

問題一：默認(rèn)的 HTTP Client

默認(rèn)情況下，net/http 包自帶的 HTTP 客戶端不帶超時時間。如果你使用的是默認(rèn)的客戶端 http.DefaultClient()，這個是不帶超時時間的。

假如你請求外部的 API 掛了，發(fā)出的請求沒響應(yīng)導(dǎo)致連接一直出于打開狀態(tài)。隨著請求數(shù)越來越多，連接數(shù)隨之增加，導(dǎo)致耗盡服務(wù)器的資源，最后服務(wù)器隨之崩潰。

解決辦法：不要使用默認(rèn)的 HTTP 客戶端，根據(jù)實(shí)際情況設(shè)置超時時間。

var httpClient = &http.Client{
  Timeout: time.Second * 10,
}

對于 API 接口，超時時間建議不需要超過 10s，如果請求在 10s 內(nèi)沒有返回，則請求會取消并報錯：request canceled (Client.Timeout exceeded …) 。

問題二：默認(rèn)的 Http Transport

默認(rèn)情況下，HTTP 客戶端會維護(hù)一個連接池。當(dāng)請求完成之后，連接會保持打開狀態(tài)直到空閑時間超時（默認(rèn)是 90s）自動斷開。如果有請求過來，會優(yōu)先使用已打開的連接而不是創(chuàng)建新的連接，請求完成之后，連接會返還到連接池中。

使用連接池將使用最少的服務(wù)器資源處理更多的 API 請求。

如果沒有自定義 HTTP 客戶端的 transport，將會使用默認(rèn)配置。

HTTP Transport 的默認(rèn)配置如下：

var DefaultTransport RoundTripper = &Transport{
    ...
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    ...
}

 
const DefaultMaxIdleConnsPerHost = 2

MaxIdleConns 表示連接池大小，是可以打開的最大連接數(shù)，默認(rèn)值是 100。

參數(shù) DefaultMaxIdleConnsPerHost 的默認(rèn)值是 2，表示每個主機(jī)（host）的打開連接數(shù)。這意味著，連接池中 100 個連接只有兩個連接分配給該主機(jī)。

隨著請求增多，但是只有兩個請求被處理，其他請求只能被迫等待并進(jìn)入 TIME_WAIT 狀態(tài)。請求增多，進(jìn)入 TIME_WAIT 狀態(tài)的連接數(shù)增多，消耗越來越多的服務(wù)器資源，當(dāng)達(dá)到服務(wù)器瓶頸時，服務(wù)器將會崩潰。

解決辦法：提高 MaxIdleConnsPerHost 數(shù)值，不要使用默認(rèn)的 Transport。

t := http.DefaultTransport.(*http.Transport).Clone()
t.MaxIdleConns = 100
t.MaxConnsPerHost = 100
t.MaxIdleConnsPerHost = 100

httpClient = &http.Client{
  Timeout:   10 * time.Second,
  Transport: t,
}

通過增加每個主機(jī)的連接數(shù)和空閑連接數(shù)，就有助于提高性能并以最少的服務(wù)器資源處理更多請求。

可以根據(jù)服務(wù)器資源和實(shí)際需求適當(dāng)增加連接池大小和每個主機(jī)的連接數(shù)。