springboot X-Accel-Redirect 大文件下載實現(xiàn)
前言
文件下載的方式:
- nginx代理附件路徑,直接訪問。無法控制用戶的權(quán)限。
- 服務(wù)端流式讀取文件內(nèi)容。這個過程需要后端進程將文件讀取到內(nèi)存中然后再發(fā)給用戶,會造成很大的資源開銷。如果你文件較大,可能會超時,并且會占用比較大的內(nèi)存,當用戶下載量很大時有可能造成程序的崩潰。
- 服務(wù)端權(quán)限控制后通過X-Accel-Redirect 重定向到nginx代理地址。傳輸快、服務(wù)器IO低,但是無法跟蹤下載進度。
一、什么是 X-Sendfile?
X-Sendfile是一種將文件下載請求由后端應(yīng)用轉(zhuǎn)交給前端web服務(wù)器處理的機制,它可以消除后端程序既要讀文件又要處理發(fā)送的壓力,從而顯著提高服務(wù)器效率,特別是處理大文件下載的情形下。
X-Sendfile 通過一個特定的 header 來實現(xiàn):在 X-Sendfile 頭中指定一個文件的地址來通告前端 web 服務(wù)器。當 web 服務(wù)器檢測到后端發(fā)送的這個 header 后,它將忽略后端的其他輸出,而使用自身的組件(包括 緩存頭 和 斷點重連 等優(yōu)化)機制將文件發(fā)送給用戶。
不過,在使用 X-Sendfile 之前,我們必須明白這并不是一個標準特性,在默認情況下它是被大多數(shù) web 服務(wù)器禁用的。而不同的 web 服務(wù)器的實現(xiàn)也不一樣,包括規(guī)定了不同的 X-Sendfile 頭格式。如果配置失當,用戶可能下載到 0 字節(jié)的文件。
nginx: X-Accel-Redirect
squid: X-Accelerator-Vary
apache: X-Sendfile
lighttpd: X-Sendfile/X-LIGHTTPD-send-file
使用X-Sendfile的缺點是你失去對文件傳輸機制的控制,后臺不知道文件是否下載成功。
Nginx 默認支持該特性 ,不需要加載額外的模塊。只是實現(xiàn)有些不同, 需要發(fā)送的 HTTP 頭為 X-Accel-Redirect。
X-Accel-Redirect:
這個功能允許你在后端處理權(quán)限,日志或任何你想干的,Nginx提供內(nèi)容服務(wù)給終端用戶從重定向后的路徑,因此可以釋放后端去處理其他請求(直接由Nginx提供IO,而不是后端服務(wù))。這個功能類似X-Sendfile 。
二、相關(guān)請求頭說明
X-Accel-Limit-Rate
限制下載速度,單位字節(jié)。默認不限速度。
X-Accel-Buffering
設(shè)置此連接的代理緩存,將此設(shè)置為no將允許適用于Comet和HTTP流式應(yīng)用程序的無緩沖響應(yīng)。將>此設(shè)置為yes將允許響應(yīng)被緩存。默認yes。
X-Accel-Expires
如果已傳輸過的文件被緩存下載,設(shè)置Nginx文件緩存過期時間,單位秒。默認不過期。
X-Accel-Charset
設(shè)置文件字符集,默認UTF-8
三、實現(xiàn)步驟
前置條件:
需要前端請求的Referer 和 nginx 在同一臺機器,或者nginx代理到最終附件服務(wù)器的nginx地址nginx代理附件地址和附件下載服務(wù)(保證代理和服務(wù)在同一個ip 端口下)
location /protected_files { ? ? internal; ? ? # internal 表示這個路徑只能在 Nginx 內(nèi)部訪問,不能用瀏覽器直接訪問防止未授權(quán)的下載 ? ? alias /mnt/files; } location /gsdss-api/ { ? ? ? ?#OPTIONS請求處理 ? ? ? ?if ($request_method = 'OPTIONS') { ? ? ? ? ? ? ? ?add_header 'Access-Control-Max-Age' 1728000; ? ? ? ? ? ? ? ?add_header Access-Control-Allow-Origin *; ? ? ? ? ? ? ? ?add_header Access-Control-Allow-Credentials true; ? ? ? ? ? ? ? ?add_header Access-Control-Allow-Methods 'GET, POST, OPTIONS'; ? ? ? ? ? ? ? ?add_header 'Access-Control-Allow-Headers' 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,token,orgcode'; ? ? ? ? ? ? ? ?return 200; ? ? ? ?} ? ? ? ?proxy_pass 網(wǎng)關(guān)地址; ? ? ? ?proxy_set_header Host $host; ? ? ? ?proxy_set_header X-Real-IP $remote_addr; ? ? ? ?proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; ? ? ? ?client_max_body_size 100m; ? ? ? ?proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504; }
java處理鑒權(quán)后直接重定向到nginx代理地址
public void downloadByLink(HttpServletResponse response, String fileId) { //查詢附件信息 AttachmentResp resp = attachmentService.findByAttachId(fileId); //鑒權(quán)實際已經(jīng)通過gateway完成 try { String fileName = URLEncoder.encode(resp.getFileName(), "UTF-8"); response.addHeader("Content-Disposition", "attachment;filename=" + fileName); response.setHeader("X-Accel-Redirect", "/upload" + resp.getPath()); //設(shè)置URI給nginx進行內(nèi)部的跳轉(zhuǎn) response.setHeader("X-Accel-Limit-Rat", "202400"); //限速 } catch (UnsupportedEncodingException e) { log.error("文件下載失敗 ", e); throw new BusinessException("文件下載失敗"); } }
總結(jié)
常規(guī)請求路徑
前端nginx:前端訪問nginx代理網(wǎng)關(guān)路徑
后端nginx:
- 代理網(wǎng)關(guān)路徑轉(zhuǎn)發(fā)到實際網(wǎng)關(guān)地址
- 網(wǎng)關(guān)分發(fā)到附件服務(wù)
- 附件服務(wù)處理請求
為了保證nginx代理的下載路徑和附件下載服務(wù)在同一ip和端口那么這個nginx代理需要2層實現(xiàn)
到此這篇關(guān)于springboot X-Accel-Redirect 大文件下載實現(xiàn)的文章就介紹到這了,更多相關(guān)springboot X-Accel-Redirect 大文件下載內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
如何把idea中的項目導(dǎo)入github倉庫中(圖文詳解)
這篇文章主要介紹了如何把idea中的項目導(dǎo)入github倉庫中,本文通過圖文并茂的形式給大家介紹的非常詳細,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-07-07Java8?Stream?collect(Collectors.toMap())的使用
這篇文章主要介紹了Java8?Stream?collect(Collectors.toMap())的使用,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-05-05Java關(guān)于遠程調(diào)試程序教程(以Eclipse為例)
這篇文章主要介紹了Java關(guān)于遠程調(diào)試程序教程(以Eclipse為例),小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-06-06