Nginx服務(wù)器高性能優(yōu)化的配置方法小結(jié)
通常來說,一個(gè)優(yōu)化良好的 Nginx Linux 服務(wù)器可以達(dá)到 500,000 – 600,000 次/秒 的請求處理性能,然而我的 Nginx 服務(wù)器可以穩(wěn)定地達(dá)到 904,000 次/秒 的處理性能,并且我以此高負(fù)載測試超過 12 小時(shí),服務(wù)器工作穩(wěn)定。
這里需要特別說明的是,本文中所有列出來的配置都是在我的測試環(huán)境驗(yàn)證的,而你需要根據(jù)你服務(wù)器的情況進(jìn)行配置:
從 EPEL 源安裝 Nginx:
yum -y install nginx
備份配置文件,然后根據(jù)你的需要進(jìn)行配置:
cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.orig vim /etc/nginx/nginx.conf
# This number should be, at maximum, the number of CPU cores on your system. # (since nginx doesn't benefit from more than one worker per CPU.) # 這里的數(shù)值不能超過 CPU 的總核數(shù),因?yàn)樵趩蝹€(gè)核上部署超過 1 個(gè) Nginx 服務(wù)進(jìn)程并不起到提高性能的作用。 worker_processes 24; # Number of file descriptors used for Nginx. This is set in the OS with 'ulimit -n 200000' # or using /etc/security/limits.conf # Nginx 最大可用文件描述符數(shù)量,同時(shí)需要配置操作系統(tǒng)的 "ulimit -n 200000",或者在 /etc/security/limits.conf 中配置。 worker_rlimit_nofile 200000; # only log critical errors # 只記錄 critical 級別的錯(cuò)誤日志 error_log /var/log/nginx/error.log crit # Determines how many clients will be served by each worker process. # (Max clients = worker_connections * worker_processes) # "Max clients" is also limited by the number of socket connections available on the system (~64k) # 配置單個(gè) Nginx 單個(gè)進(jìn)程可服務(wù)的客戶端數(shù)量,(最大值客戶端數(shù) = 單進(jìn)程連接數(shù) * 進(jìn)程數(shù) ) # 最大客戶端數(shù)同時(shí)也受操作系統(tǒng) socket 連接數(shù)的影響(最大 64K ) worker_connections 4000; # essential for linux, optmized to serve many clients with each thread # Linux 關(guān)鍵配置,允許單個(gè)線程處理多個(gè)客戶端請求。 use epoll; # Accept as many connections as possible, after nginx gets notification about a new connection. # May flood worker_connections, if that option is set too low. # 允許盡可能地處理更多的連接數(shù),如果 worker_connections 配置太低,會產(chǎn)生大量的無效連接請求。 multi_accept on; # Caches information about open FDs, freqently accessed files. # Changing this setting, in my environment, brought performance up from 560k req/sec, to 904k req/sec. # I recommend using some varient of these options, though not the specific values listed below. # 緩存高頻操作文件的FDs(文件描述符/文件句柄) # 在我的設(shè)備環(huán)境中,通過修改以下配置,性能從 560k 請求/秒 提升到 904k 請求/秒。 # 我建議你對以下配置嘗試不同的組合,而不是直接使用這幾個(gè)數(shù)據(jù)。 open_file_cache max=200000 inactive=20s; open_file_cache_valid 30s; open_file_cache_min_uses 2; open_file_cache_errors on; # Buffer log writes to speed up IO, or disable them altogether # 將日志寫入高速 IO 存儲設(shè)備,或者直接關(guān)閉日志。 # access_log /var/log/nginx/access.log main buffer=16k; access_log off; # Sendfile copies data between one FD and other from within the kernel. # More efficient than read() + write(), since the requires transferring data to and from the user space. # 開啟 sendfile 選項(xiàng),使用內(nèi)核的 FD 文件傳輸功能,這個(gè)比在用戶態(tài)用 read() + write() 的方式更加高效。 sendfile on; # Tcp_nopush causes nginx to attempt to send its HTTP response head in one packet, # instead of using partial frames. This is useful for prepending headers before calling sendfile, # or for throughput optimization. # 打開 tcp_nopush 選項(xiàng),Nginux 允許將 HTTP 應(yīng)答首部與數(shù)據(jù)內(nèi)容在同一個(gè)報(bào)文中發(fā)出。 # 這個(gè)選項(xiàng)使服務(wù)器在 sendfile 時(shí)可以提前準(zhǔn)備 HTTP 首部,能夠達(dá)到優(yōu)化吞吐的效果。 tcp_nopush on; # don't buffer data-sends (disable Nagle algorithm). Good for sending frequent small bursts of data in real time. # 不要緩存 data-sends (關(guān)閉 Nagle 算法),這個(gè)能夠提高高頻發(fā)送小數(shù)據(jù)報(bào)文的實(shí)時(shí)性。 tcp_nodelay on; # Timeout for keep-alive connections. Server will close connections after this time. # 配置連接 keep-alive 超時(shí)時(shí)間,服務(wù)器將在超時(shí)之后關(guān)閉相應(yīng)的連接。 keepalive_timeout 30; # Number of requests a client can make over the keep-alive connection. This is set high for testing. # 單個(gè)客戶端在 keep-alive 連接上可以發(fā)送的請求數(shù)量,在測試環(huán)境中,需要配置個(gè)比較大的值。 keepalive_requests 100000; # allow the server to close the connection after a client stops responding. Frees up socket-associated memory. # 允許服務(wù)器在客戶端停止發(fā)送應(yīng)答之后關(guān)閉連接,以便釋放連接相應(yīng)的 socket 內(nèi)存開銷。 reset_timedout_connection on; # send the client a "request timed out" if the body is not loaded by this time. Default 60. # 配置客戶端數(shù)據(jù)請求超時(shí)時(shí)間,默認(rèn)是 60 秒。 client_body_timeout 10; # If the client stops reading data, free up the stale client connection after this much time. Default 60. # 客戶端數(shù)據(jù)讀超時(shí)配置,客戶端停止讀取數(shù)據(jù),超時(shí)時(shí)間后斷開相應(yīng)連接,默認(rèn)是 60 秒。 send_timeout 2; # Compression. Reduces the amount of data that needs to be transferred over the network # 壓縮參數(shù)配置,減少在網(wǎng)絡(luò)上所傳輸?shù)臄?shù)據(jù)量。 gzip on; gzip_min_length 10240; gzip_proxied expired no-cache no-store private auth; gzip_types text/plain text/css text/xml text/javascript application/x-javascript application/xml; gzip_disable "MSIE [1-6].";
啟動 Nginx 并配置起機(jī)自動加載。
service nginx start chkconfig nginx on
配置 Tsung 并啟動測試,測試差不多 10 分鐘左右就能測試到服務(wù)器的峰值能力,具體的時(shí)間與你的 Tsung 配置相關(guān)。
[root@loadnode1 ~] vim ~/.tsung/tsung.xml
<server host="YOURWEBSERVER" port="80" type="tcp"/>
tsung start
你覺得測試結(jié)果已經(jīng)夠了的情況下,通過 ctrl+c 退出,之后使用我們之前配置的別名命令 treport 查看測試報(bào)告。
WEB 服務(wù)器調(diào)優(yōu),第二部分:TCP 協(xié)議棧調(diào)優(yōu)
這個(gè)部分不只是對 Ngiinx 適用,還可以在任何 WEB 服務(wù)器上使用。通過對內(nèi)核 TCP 配置的優(yōu)化可以提高服務(wù)器網(wǎng)絡(luò)帶寬。
以下配置在我的 10-Gbase-T 服務(wù)器上工作得非常完美,服務(wù)器從默認(rèn)配置下的 8Gbps 帶寬提升到 9.3Gbps。
當(dāng)然,你的服務(wù)器上的結(jié)論可能不盡相同。
下面的配置項(xiàng),我建議每次只修訂其中一項(xiàng),之后用網(wǎng)絡(luò)性能測試工具 netperf、iperf 或是用我類似的測試腳本 cluster-netbench.pl 對服務(wù)器進(jìn)行多次測試。
yum -y install netperf iperf vim /etc/sysctl.conf
# Increase system IP port limits to allow for more connections # 調(diào)高系統(tǒng)的 IP 以及端口數(shù)據(jù)限制,從可以接受更多的連接 net.ipv4.ip_local_port_range = 2000 65000 net.ipv4.tcp_window_scaling = 1 # number of packets to keep in backlog before the kernel starts dropping them # 設(shè)置協(xié)議棧可以緩存的報(bào)文數(shù)閥值,超過閥值的報(bào)文將被內(nèi)核丟棄 net.ipv4.tcp_max_syn_backlog = 3240000 # increase socket listen backlog # 調(diào)高 socket 偵聽數(shù)閥值 net.core.somaxconn = 3240000 net.ipv4.tcp_max_tw_buckets = 1440000 # Increase TCP buffer sizes # 調(diào)大 TCP 存儲大小 net.core.rmem_default = 8388608 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 net.ipv4.tcp_congestion_control = cubic
每次修訂配置之后都需要執(zhí)行以下命令使之生效.
sysctl -p /etc/sysctl.conf
別忘了在配置修訂之后務(wù)必要進(jìn)行網(wǎng)絡(luò) benchmark 測試,這樣可以觀測到具體是哪個(gè)配置修訂的優(yōu)化效果最明顯。通過這種有效測試方法可以為你節(jié)省大量時(shí)間。
常見優(yōu)化配置項(xiàng)
一般來說nginx 配置文件中對優(yōu)化比較有作用的為以下幾項(xiàng):
1. worker_processes 8;
nginx 進(jìn)程數(shù),建議按照cpu 數(shù)目來指定,一般為它的倍數(shù) (如,2個(gè)四核的cpu計(jì)為8)。
2. worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;
為每個(gè)進(jìn)程分配cpu,上例中將8 個(gè)進(jìn)程分配到8 個(gè)cpu,當(dāng)然可以寫多個(gè),或者將一
個(gè)進(jìn)程分配到多個(gè)cpu。
3. worker_rlimit_nofile 65535;
這個(gè)指令是指當(dāng)一個(gè)nginx 進(jìn)程打開的最多文件描述符數(shù)目,理論值應(yīng)該是最多打開文
件數(shù)(ulimit -n)與nginx 進(jìn)程數(shù)相除,但是nginx 分配請求并不是那么均勻,所以最好與ulimit -n 的值保持一致。
現(xiàn)在在linux 2.6內(nèi)核下開啟文件打開數(shù)為65535,worker_rlimit_nofile就相應(yīng)應(yīng)該填寫65535。
這是因?yàn)閚ginx調(diào)度時(shí)分配請求到進(jìn)程并不是那么的均衡,所以假如填寫10240,總并發(fā)量達(dá)到3-4萬時(shí)就有進(jìn)程可能超過10240了,這時(shí)會返回502錯(cuò)誤。
查看linux系統(tǒng)文件描述符的方法:
[root@web001 ~]# sysctl -a | grep fs.file
fs.file-max = 789972 fs.file-nr = 510 0 789972
4. use epoll;
使用epoll 的I/O 模型
(
補(bǔ)充說明:
與apache相類,nginx針對不同的操作系統(tǒng),有不同的事件模型
A)標(biāo)準(zhǔn)事件模型
Select、poll屬于標(biāo)準(zhǔn)事件模型,如果當(dāng)前系統(tǒng)不存在更有效的方法,nginx會選擇select或poll
B)高效事件模型
Kqueue:使用于 FreeBSD 4.1+, OpenBSD 2.9+, NetBSD 2.0 和 MacOS X. 使用雙處理器的MacOS X系統(tǒng)使用kqueue可能會造成內(nèi)核崩潰。
Epoll: 使用于Linux內(nèi)核2.6版本及以后的系統(tǒng)。
/dev/poll:使用于 Solaris 7 11/99+, HP/UX 11.22+ (eventport), IRIX 6.5.15+ 和 Tru64 UNIX 5.1A+。
Eventport:使用于 Solaris 10. 為了防止出現(xiàn)內(nèi)核崩潰的問題, 有必要安裝安全補(bǔ)丁。
)
5. worker_connections 65535;
每個(gè)進(jìn)程允許的最多連接數(shù), 理論上每臺nginx 服務(wù)器的最大連接數(shù)為worker_processes*worker_connections。
6. keepalive_timeout 60;
keepalive 超時(shí)時(shí)間。
7. client_header_buffer_size 4k;
客戶端請求頭部的緩沖區(qū)大小,這個(gè)可以根據(jù)你的系統(tǒng)分頁大小來設(shè)置,一般一個(gè)請求頭的大小不會超過1k,不過由于一般系統(tǒng)分頁都要大于1k,所以這里設(shè)置為分頁大小。
分頁大小可以用命令getconf PAGESIZE 取得。
[root@web001 ~]# getconf PAGESIZE
4096
但也有client_header_buffer_size超過4k的情況,但是client_header_buffer_size該值必須設(shè)置為“系統(tǒng)分頁大小”的整倍數(shù)。
8. open_file_cache max=65535 inactive=60s;
這個(gè)將為打開文件指定緩存,默認(rèn)是沒有啟用的,max 指定緩存數(shù)量,建議和打開文件數(shù)一致,inactive 是指經(jīng)過多長時(shí)間文件沒被請求后刪除緩存。
9. open_file_cache_valid 80s;
這個(gè)是指多長時(shí)間檢查一次緩存的有效信息。
10. open_file_cache_min_uses 1;
open_file_cache 指令中的inactive 參數(shù)時(shí)間內(nèi)文件的最少使用次數(shù),如果超過這個(gè)數(shù)字,文件描述符一直是在緩存中打開的,如上例,如果有一個(gè)文件在inactive 時(shí)間內(nèi)一次沒被使用,它將被移除。
關(guān)于內(nèi)核參數(shù)的優(yōu)化:
net.ipv4.tcp_max_tw_buckets = 6000
timewait 的數(shù)量,默認(rèn)是180000。
net.ipv4.ip_local_port_range = 1024 65000
允許系統(tǒng)打開的端口范圍。
net.ipv4.tcp_tw_recycle = 1
啟用timewait 快速回收。
net.ipv4.tcp_tw_reuse = 1
開啟重用。允許將TIME-WAIT sockets 重新用于新的TCP 連接。
net.ipv4.tcp_syncookies = 1
開啟SYN Cookies,當(dāng)出現(xiàn)SYN 等待隊(duì)列溢出時(shí),啟用cookies 來處理。
net.core.somaxconn = 262144
web 應(yīng)用中l(wèi)isten 函數(shù)的backlog 默認(rèn)會給我們內(nèi)核參數(shù)的net.core.somaxconn 限制到128,而nginx 定義的NGX_LISTEN_BACKLOG 默認(rèn)為511,所以有必要調(diào)整這個(gè)值。
net.core.netdev_max_backlog = 262144
每個(gè)網(wǎng)絡(luò)接口接收數(shù)據(jù)包的速率比內(nèi)核處理這些包的速率快時(shí),允許送到隊(duì)列的數(shù)據(jù)包的最大數(shù)目。
net.ipv4.tcp_max_orphans = 262144
系統(tǒng)中最多有多少個(gè)TCP 套接字不被關(guān)聯(lián)到任何一個(gè)用戶文件句柄上。如果超過這個(gè)數(shù)字,孤兒連接將即刻被復(fù)位并打印出警告信息。這個(gè)限制僅僅是為了防止簡單的DoS 攻擊,不能過分依靠它或者人為地減小這個(gè)值,更應(yīng)該增加這個(gè)值(如果增加了內(nèi)存之后)。
net.ipv4.tcp_max_syn_backlog = 262144
記錄的那些尚未收到客戶端確認(rèn)信息的連接請求的最大值。對于有128M 內(nèi)存的系統(tǒng)而言,缺省值是1024,小內(nèi)存的系統(tǒng)則是128。
net.ipv4.tcp_timestamps = 0
時(shí)間戳可以避免序列號的卷繞。一個(gè)1Gbps 的鏈路肯定會遇到以前用過的序列號。時(shí)間戳能夠讓內(nèi)核接受這種“異?!钡臄?shù)據(jù)包。這里需要將其關(guān)掉。
net.ipv4.tcp_synack_retries = 1
為了打開對端的連接,內(nèi)核需要發(fā)送一個(gè)SYN 并附帶一個(gè)回應(yīng)前面一個(gè)SYN 的ACK。也就是所謂三次握手中的第二次握手。這個(gè)設(shè)置決定了內(nèi)核放棄連接之前發(fā)送SYN+ACK 包的數(shù)量。
net.ipv4.tcp_syn_retries = 1
在內(nèi)核放棄建立連接之前發(fā)送SYN 包的數(shù)量。
net.ipv4.tcp_fin_timeout = 1
如果套接字由本端要求關(guān)閉,這個(gè)參數(shù)決定了它保持在FIN-WAIT-2 狀態(tài)的時(shí)間。對端可以出錯(cuò)并永遠(yuǎn)不關(guān)閉連接,甚至意外當(dāng)機(jī)。缺省值是60 秒。2.2 內(nèi)核的通常值是180 秒,3你可以按這個(gè)設(shè)置,但要記住的是,即使你的機(jī)器是一個(gè)輕載的WEB 服務(wù)器,也有因?yàn)榇罅康乃捞捉幼侄鴥?nèi)存溢出的風(fēng)險(xiǎn),F(xiàn)IN- WAIT-2 的危險(xiǎn)性比FIN-WAIT-1 要小,因?yàn)樗疃嘀荒艹缘?.5K 內(nèi)存,但是它們的生存期長些。
net.ipv4.tcp_keepalive_time = 30
相關(guān)文章
Nginx負(fù)載均衡/SSL配置的實(shí)現(xiàn)
這篇文章主要介紹了Nginx負(fù)載均衡/SSL配置的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10nginx?搭建http-flv(rtmp)流媒體的方法步驟
本文主要介紹了nginx?搭建http-flv(rtmp)流媒體的方法步驟,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧<BR>2023-06-06nginx與apache限制ip并發(fā)訪問 限制ip連接的設(shè)置方法
nginx限制ip并發(fā)數(shù),也是說限制同一個(gè)ip同時(shí)連接服務(wù)器的數(shù)量,要使apache服務(wù)器做對同一IP地址的連接限制,需要mod_limitipconn來實(shí)現(xiàn)。一般需要手動編譯。不過模塊作者也提供了一些編譯好的模塊,根據(jù)自己的apache版本可以直接使用2012-11-11配置Nginx出現(xiàn)403(Forbidden)靜態(tài)文件加載不出來的解決方法
本文主要介紹了配置Nginx出現(xiàn)403(Forbidden)靜態(tài)文件加載不出來的解決方法,文中通過圖文介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-12-12nginx中的正則表達(dá)式及l(fā)ocation和rewrite總結(jié)
rewrite功能就是,使用nginx提供的全局變量或自己設(shè)置的變量,結(jié)合正則表達(dá)式和標(biāo)記位實(shí)現(xiàn)URL重寫以及重定向,這篇文章主要介紹了nginx中的正則表達(dá)式及l(fā)ocation和rewrite總結(jié),需要的朋友可以參考下2023-12-12權(quán)限問題導(dǎo)致Nginx 403 Forbidden錯(cuò)誤的解決方法
這篇文章主要介紹了權(quán)限問題導(dǎo)致Nginx 403 Forbidden錯(cuò)誤的解決方法,本文中導(dǎo)致 403 Forbidden錯(cuò)誤的原因是配置文件中沒有指明一個(gè)用戶,需要的朋友可以參考下2014-08-08