Nginx流量拷貝ngx_http_mirror_module模塊使用方法詳解
一、Nginx的ngx_http_mirror_module模塊實(shí)現(xiàn)流量復(fù)制介紹
Nginx專(zhuān)門(mén)提供了ngx_http_mirror_module模塊,用來(lái)實(shí)現(xiàn)流量拷貝。將生產(chǎn)環(huán)境的流量拷貝到預(yù)上線環(huán)境或測(cè)試環(huán)境,這樣做有很多好處:
- 可以驗(yàn)證功能是否正常,以及服務(wù)的性能;
- 用真實(shí)有效的流量請(qǐng)求去驗(yàn)證,又不用造數(shù)據(jù),不影響線上正常訪問(wèn);
- 相比于灰度發(fā)布,鏡像流量不會(huì)影響真實(shí)流量;
- 可以用來(lái)排查線上問(wèn)題;
- 重構(gòu),假如服務(wù)做了重構(gòu),這也是一種測(cè)試方式;
ngx_http_mirror_module模塊就像是一個(gè)鏡像站點(diǎn)一樣,將所有的請(qǐng)求都收集起來(lái),這個(gè)鏡像站點(diǎn)就代表了所有真實(shí)有效的原始請(qǐng)求。有了這個(gè)鏡像站點(diǎn),后續(xù)就可以復(fù)現(xiàn)所有的請(qǐng)求,實(shí)現(xiàn)把線上的流程復(fù)制到別的地方。
ngx_http_mirror_module模塊特性:
- nginx 1.13.4及后續(xù)版本內(nèi)置ngx_http_mirror_module模塊,提供流量鏡像(復(fù)制)的功能。
- 支持流量放大,做法為:配置多份相同鏡像。
- 相比tcp-copy的優(yōu)勢(shì):無(wú)需錄制流量,實(shí)時(shí)可用;配置相當(dāng)簡(jiǎn)單。
- 源站請(qǐng)求,直接原路返回;正常配置下,mirror請(qǐng)求不影響源站請(qǐng)求及響應(yīng),源站nginx-server將流量復(fù)制到mirror站后,兩者不再有任何交集。
二、Nginx編譯安裝,要加上ngx_http_mirror_module模塊
下面是Nginx解壓后,編譯安裝的示例
# ./configure --sbin-path=/usr/local/nginx/nginx --conf-path=/usr/local/nginx/nginx.conf --pid-path=/usr/local/nginx/nginx.pid --with-http_ssl_module --without-http_limit_req_module --without-http_mirror_module --with-pcre=../pcre-8.43 --with-zlib=../zlib-1.2.11 --add-module=/path/to/ngx_devel_kit --add-module=/path/to/lua-nginx-module # make & make install
三、Nginx流量拷貝的配置示例
upstream kevin-order { server 127.0.0.1:8088; } upstream kevin-customer { server 127.0.0.1:8089; } upstream kevin-mirror1 { server 172.16.60.230:8088; } upstream kevin-mirror2 { server 172.16.60.230:8089; } server { listen 80; server_name kevin.com; access_log /usr/local/nginx/logs/kevin.com-access.log main; error_log /usr/local/nginx/logs/kevin.com-error.log; # 源站點(diǎn)1 location /order { proxy_pass http://kevin-order; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; # 復(fù)制請(qǐng)求體 mirror_request_body on; # 流量復(fù)制 mirror /mirror1; } # 源站點(diǎn)2 location /customer { proxy_pass http://kevin-customer; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; mirror_request_body on; mirror /mirror2; } # 鏡像站點(diǎn)1 location /mirror1 { proxy_pass http://kevin-mirror1$request_uri; proxy_pass_request_body on; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } # 鏡像站點(diǎn)2 location /mirror2 { proxy_pass http://kevin-mirror2$request_uri; proxy_pass_request_body on; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } }
配置說(shuō)明:上面配置中,將訪問(wèn)http://kevin.com/order、http://kevin.com/customer的流量分別復(fù)制到172.16.60.230服務(wù)器的8088和8089端口。
四、Nginx使用ngx_http_mirror_module模塊進(jìn)行流量拷貝的配置技巧
1)Nginx復(fù)制GET及POST請(qǐng)求流量
server { listen 80; server_name kevin.com; # 源站配置 location / { access_log /usr/local/nginx/logs/access.log accesslog; mirror /mirror; mirror_request_body on; proxy_pass http://kevin.upstream.name; } # 鏡像站點(diǎn)配置 location /mirror { internal; # 內(nèi)部配置 proxy_pass http://mirror.kevin.upstream.name$request_uri; proxy_pass_request_body on; proxy_set_header X-Original-URI $request_uri; #使用真實(shí)的url重置url } }
2)Nginx不允許復(fù)制POST請(qǐng)求流量
默認(rèn)是支持POST流量復(fù)制的,需要通過(guò)下面配置來(lái)禁止。
server { listen 80; server_name kevin.com; # 源站配置 location / { access_log /usr/local/nginx/logs/access.log accesslog; mirror /mirror; mirror_request_body off; proxy_pass http://kevin.upstream.name; } # 鏡像站點(diǎn)配置 location /mirror { # 判斷請(qǐng)求方法,不是GET返回403 if ($request_method != GET) { return 403; } internal; #內(nèi)部配置 proxy_pass http://mirror.kevin.upstream.name$request_uri; proxy_pass_request_body off; # mirror_request_body和proxy_pass_request_body都設(shè)置為off,則Conten-length需要設(shè)置為"",否則有坑! proxy_set_header Content-Length ""; proxy_set_header X-Original-URI $request_uri; # 使用真實(shí)的url重置url } }
3)拷貝流量放大
配置多分mirror鏡像點(diǎn)
server { listen 80; server_name kevin.com; # 源站配置 location / { access_log /usr/local/nginx/logs/access.log accesslog; mirror /mirror; # 多加一份mirror,流量放大一倍 mirror /mirror; mirror_request_body on; proxy_pass http://kevin.upstream.name; } # 鏡像站點(diǎn)配置 location /mirror { internal; # 內(nèi)部配置 proxy_pass http://mirror.kevin.upstream.name$request_uri; proxy_pass_request_body on; proxy_set_header X-Original-URI $request_uri; #使用真實(shí)的url重置url } }
4)配置mirror鏡像日志
mirror中不支持配置access_log,解決方法:mirror-location跳轉(zhuǎn)到server,在server中配置accesslog。
server { listen 80; server_name kevin.com; # 源站配置 location / { access_log /usr/local/nginx/logs/access.log accesslog; mirror /mirror; mirror_request_body on; proxy_pass http://kevin.upstream.name; } # 鏡像站點(diǎn)配置 location /mirror { internal; # 內(nèi)部配置 # 跳轉(zhuǎn)到下面的內(nèi)部server proxy_pass http://127.0.0.1:10992$request_uri; proxy_pass_request_body off; proxy_set_header Content-Length ""; proxy_set_header X-Original-URI $request_uri; #使用真實(shí)的url重置url } server { # server沒(méi)法設(shè)置為內(nèi)部 listen 127.0.0.1:10992; location / { # 判斷放在server,使得post請(qǐng)求日志可以記錄 if ($request_method != GET) { return 403; } access_log /usr/local/nginx/logs/access.log accesslog; proxy_pass http://mirror.kevin.upstream.name; } }
五、Nginx流量拷貝的注意事項(xiàng)
1)mirror鏡像配置日志
鏡像配置不正確,導(dǎo)致流量復(fù)制操作沒(méi)正常執(zhí)行。如果mirror鏡像配置缺少日志,會(huì)嚴(yán)重影響調(diào)試。所以強(qiáng)烈建議配置鏡像日志,配置方法如如上"配置mirror鏡像日志"。部分錯(cuò)誤配置的錯(cuò)誤信息在在error日志中。
2)mirror_request_body/proxy_pass_request_body與Content-Length需配置一致
如果mirror_request_body
或者proxy_pass_request_body
設(shè)置為off
,則Content-Length
必須設(shè)置為"",因?yàn)?code>nginx(mirror_request_body)或tomcat(mirror_request_body)
處理post請(qǐng)求時(shí),會(huì)根據(jù)Content-Length
獲取請(qǐng)求體,如果Content-Length
不為空,而由于mirror_request_body
或者proxy_pass_request_body
設(shè)置為off
,處理方以為post有內(nèi)容,當(dāng)request_body
中沒(méi)有,處理方會(huì)一直等待至超時(shí),則前者為off,nginx會(huì)報(bào)upstream請(qǐng)求超時(shí);后者為off,tomcat會(huì)報(bào)如下錯(cuò)誤:
"2020-11-18T17:26:36.803+08:00" "331632b86ec64b829672066a96fc6324" "department" "group" "project_name" "hostname" "127.0.0.1" "" "/post" "p=11" "-" "PostmanRuntime/7.1.1" "ERROR" "xxx.GlobalControllerAdvice" "operateExp" "-" "26" "xxxx.GlobalControllerAdvice" "unknown" "org.springframework.http.converter.HttpMessageNotReadableException" "I/O error while reading input message; nested exception is java.net.SocketTimeoutException" "GlobalControllerAdvice中捕獲全局異常" "org.springframework.http.converter.HttpMessageNotReadableException: I/O error while reading input message; nested exception is java.net.SocketTimeoutException at org.springframework.web.servlet.mvc.method.annotation.AbstractMessageConverterMethodArgumentResolver.readWithMessageConverters(AbstractMessageConverterMethodArgumentResolver.java:229) at org.springframework.web.servlet.mvc.method.annotation.RequestResponseBodyMethodProcessor.readWithMessageConverters(RequestResponseBodyMethodProcessor.java:150) at org.springframework.web.servlet.mvc.method.annotation.RequestResponseBodyMethodProcessor.resolveArgument(RequestResponseBodyMethodProcessor.java:128) at org.springframework.web.method.support.HandlerMethodArgumentResolverComposite.resolveArgument(HandlerMethodArgumentResolverComposite.java:121) at org.springframework.web.method.support.InvocableHandlerMethod.getMethodArgumentValues(InvocableHandlerMethod.java:158) at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:128) at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:97) at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandlerMethod(RequestMappingHandlerAdapter.java:827) at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:738) at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:85)
更多關(guān)于Nginx流量拷貝技術(shù)文章請(qǐng)查看下面的相關(guān)鏈接
相關(guān)文章
Nginx域名轉(zhuǎn)發(fā)使用場(chǎng)景代碼實(shí)例
這篇文章主要介紹了Nginx域名轉(zhuǎn)發(fā)使用場(chǎng)景代碼實(shí)例,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-09-09nginx配置ssl實(shí)現(xiàn)https訪問(wèn)(小白文)
安全起見(jiàn),需要將之前的http接口訪問(wèn)變成https訪問(wèn),所以需要配置SSL證書(shū),本文主要介紹了nginx配置ssl實(shí)現(xiàn)https訪問(wèn),具有一定的參考價(jià)值,感興趣的可以了解一下2023-09-09Nginx?HttpHeader增加幾個(gè)關(guān)鍵的安全選項(xiàng)問(wèn)題小結(jié)
本文給大家介紹Nginx?HttpHeader增加幾個(gè)關(guān)鍵的安全選項(xiàng)問(wèn)題小結(jié),結(jié)合實(shí)例代碼給大家介紹的非常詳細(xì),感興趣的朋友一起看看吧2024-12-12nginx實(shí)現(xiàn)反向代理出現(xiàn)502的問(wèn)題解決
本文主要介紹了nginx實(shí)現(xiàn)反向代理出現(xiàn)502的問(wèn)題解決,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-08-08Kubernetes中Nginx配置熱加載的全過(guò)程
Nginx已經(jīng)是互聯(lián)網(wǎng)IT業(yè)界一個(gè)無(wú)敵的存在,作為反向代理、負(fù)載均衡、Web服務(wù)器等多種角色的扮演者,下面這篇文章主要給大家介紹了關(guān)于Kubernetes中Nginx配置熱加載的相關(guān)資料,需要的朋友可以參考下2022-01-01NGINX?權(quán)限控制文件預(yù)覽和下載的實(shí)現(xiàn)原理
我們知道,使用nginx作為文件下載服務(wù)器,可以極大地降低對(duì)后端Java服務(wù)器的負(fù)載沖擊,但是nginx本身并不提供授權(quán)控制,這下該如何操作呢,下面小編給大家?guī)?lái)了NGINX?權(quán)限控制文件預(yù)覽和下載的實(shí)現(xiàn)原理,感興趣的朋友跟隨小編一起看看吧2022-01-01Nginx Lua 根據(jù)參數(shù)請(qǐng)求轉(zhuǎn)發(fā)的實(shí)現(xiàn)
本文介紹了如何使用Nginx和Lua腳本實(shí)現(xiàn)基于參數(shù)的請(qǐng)求轉(zhuǎn)發(fā),文章詳細(xì)說(shuō)明了配置方法,并提供了示例代碼,幫助讀者理解如何通過(guò)NginxLua模塊根據(jù)請(qǐng)求參數(shù)將流量轉(zhuǎn)發(fā)到不同后端服務(wù),這種方法有助于實(shí)現(xiàn)靈活的負(fù)載均衡和動(dòng)態(tài)內(nèi)容處理2022-05-05