NGINX發(fā)布的1.9.1版本引入了一個新的特性：允許使用SO_REUSEPORT套接字選項，該選項在許多操作系統(tǒng)的新版本中是可用的，包括DragonFly BSD和Linux（內(nèi)核版本3.9及以后）。該套接字選項允許多個套接字監(jiān)聽同一IP和端口的組合。內(nèi)核能夠在這些套接字中對傳入的連接進行負載均衡。

（對于NGINX Plus客戶，此功能將在年底發(fā)布的版本7中出現(xiàn)）

SO_REUSEPORT選項有許多潛在的實際應(yīng)用。其他服務(wù)也可以使用它來簡單實現(xiàn)執(zhí)行中的滾動升級（Nginx已經(jīng)通過不同的辦法支持了滾動升級）。對于NGINX而言，啟用該選項可以減少在某些場景下的鎖競爭而改善性能。

如下圖描述，當(dāng)SO_REUSEPORT選項有效時，一個單獨的監(jiān)聽socket通知工作進程接入的連接，并且每個工作線程都試圖獲得連接。

當(dāng)SO_REUSEPORT選項啟用是，存在對每一個IP地址和端口綁定連接的多個socket監(jiān)聽器，每一個工作進程都可以分配一個。系統(tǒng)內(nèi)核決定哪一個有效的socket監(jiān)聽器（通過隱式的方式，給哪一個工作進程）獲得連接。這可以減少工作進程之間獲得新連接時的封鎖競爭（譯者注：工作進程請求獲得互斥資源加鎖之間的競爭），同時在多核系統(tǒng)可以提高性能。然而，這也意味著當(dāng)一個工作進程陷入阻塞操作時，阻塞影響的不僅是已經(jīng)接受連接的工作進程，也同時讓內(nèi)核發(fā)送連接請求計劃分配的工作進程因此變?yōu)樽枞?br />

 設(shè)置共享Socket

為了讓SO_REUSEPORT socket選項起作用，應(yīng)為HTTP或TCP（流模式）通信選項內(nèi)的listen項直接引入新近的reuseport參數(shù)，就像下例這樣：
 

引用reuseport參數(shù)后，對引用的socket，accept_mutex參數(shù)將會無效，因為互斥量（mutex）對reuseport來說是多余的。對沒有使用reuseport的端口，設(shè)置accept_mutex仍然是有價值的。

reuseport的基準(zhǔn)性能測試

我在一個36核的AWS實例運行wrk基準(zhǔn)測試工具測試4個NGINX 工作進程.為了減少網(wǎng)絡(luò)的影響，客戶端和NGINX都運行在本地，并且讓NGINX返回OK字符串而不是一個文件。我比較三種NGINX配置：默認（等同于accept_mutex on ）,accept_mutex off,和reuseport。如圖所示，reuseport的每秒請求是其余的兩到三倍，同時延遲和延遲標(biāo)準(zhǔn)差也是減少的。

 我又運行了另一個相關(guān)的性能測試——客戶端和NGINX分別在不同的機器上且NGINX返回一個HTML文件。如下表所示，用 reuseport 減少的延遲和之前的性能測試相似，延遲的標(biāo)準(zhǔn)差減少的更為顯著（接近十分之一）。其他結(jié)果（沒有顯示在表格中）同樣令人振奮。使用 reuseport ，負載被均勻分離到了worker進程。在默認條件下（等同于 accept_mutex on），一些worker分到了較高百分比的負載，而用 accept_mutex off 所有worker都受到了較高的負載。

在這些性能測試中，連接請求的速度是很高的，但是請求不需要大量的處理。其他的基本的測試應(yīng)該指出——當(dāng)應(yīng)用流量符合這種場景時 reuseport 也能大幅提高性能。（reuseport 參數(shù)在 mail 上下文環(huán)境下不能用在 listen 指令下，例如email，因為email流量一定不會匹配這種場景。）我們鼓勵你先測試而不是直接大規(guī)模應(yīng)用。關(guān)于測試NGNIX性能的一些技巧，看看Konstantin Pavlov在nginx2014大會上的演講。

最新評論