Java上傳文件到服務(wù)器指定文件夾實(shí)現(xiàn)過程圖解
核心原理:
該項(xiàng)目核心就是文件分塊上傳。前后端要高度配合,需要雙方約定好一些數(shù)據(jù),才能完成大文件分塊,我們?cè)陧?xiàng)目中要重點(diǎn)解決的以下問題。
*如何分片;
*如何合成一個(gè)文件;
*中斷了從哪個(gè)分片開始。
如何分,利用強(qiáng)大的js庫(kù),來減輕我們的工作,市場(chǎng)上已經(jīng)能有關(guān)于大文件分塊的輪子,雖然程序員的天性曾迫使我重新造輪子。但是因?yàn)闀r(shí)間的關(guān)系還有工作的關(guān)系,我只能罷休了。最后我選擇了百度的WebUploader來實(shí)現(xiàn)前端所需。
如何合,在合之前,我們還得先解決一個(gè)問題,我們?nèi)绾螀^(qū)分分塊所屬那個(gè)文件的。剛開始的時(shí)候,我是采用了前端生成了唯一uuid來做文件的標(biāo)志,在每個(gè)分片請(qǐng)求上帶上。不過后來在做秒傳的時(shí)候我放棄了,采用了Md5來維護(hù)分塊和文件關(guān)系。
在服務(wù)端合并文件,和記錄分塊的問題,在這方面其實(shí)行業(yè)已經(jīng)給了很好的解決方案了。參考迅雷,你會(huì)發(fā)現(xiàn),每次下載中的時(shí)候,都會(huì)有兩個(gè)文件,一個(gè)文件主體,另外一個(gè)就是文件臨時(shí)文件,臨時(shí)文件存儲(chǔ)著每個(gè)分塊對(duì)應(yīng)字節(jié)位的狀態(tài)。
這些都是需要前后端密切聯(lián)系才能做好,前端需要根據(jù)固定大小對(duì)文件進(jìn)行分片,并且請(qǐng)求中要帶上分片序號(hào)和大小。前端發(fā)送請(qǐng)求順利到達(dá)后臺(tái)后,服務(wù)器只需要按照請(qǐng)求數(shù)據(jù)中給的分片序號(hào)和每片分塊大?。ǚ制笮∈枪潭ㄇ乙粯拥模┧愠鲩_始位置,與讀取到的文件片段數(shù)據(jù),寫入文件即可。
為了便于開發(fā),我 將服務(wù)端的業(yè)務(wù)邏輯進(jìn)行了如下劃分,分成初始化,塊處理,文件上傳完畢等。
服務(wù)端的業(yè)務(wù)邏輯模塊如下
功能分析:
文件夾生成模塊
文件夾上傳完畢后由服務(wù)端進(jìn)行掃描代碼如下
分塊上傳,分塊處理邏輯應(yīng)該是最簡(jiǎn)單的邏輯了,up6已經(jīng)將文件進(jìn)行了分塊,并且對(duì)每個(gè)分塊數(shù)據(jù)進(jìn)行了標(biāo)識(shí),這些標(biāo)識(shí)包括文件塊的索引,大小,偏移,文件MD5,文件塊MD5(需要開啟)等信息,服務(wù)端在接收這些信息后便可以非常方便的進(jìn)行處理了。比如將塊數(shù)據(jù)保存到分布式存儲(chǔ)系統(tǒng)中
分塊上傳可以說是我們整個(gè)項(xiàng)目的基礎(chǔ),像斷點(diǎn)續(xù)傳、暫停這些都是需要用到分塊。
分塊這塊相對(duì)來說比較簡(jiǎn)單。前端是采用了webuploader,分塊等基礎(chǔ)功能已經(jīng)封裝起來,使用方便。
借助webUpload提供給我們的文件API,前端就顯得異常簡(jiǎn)單。
前臺(tái)HTML模板
分則必合。把大文件分片了,但是分片了就沒有原本文件功能,所以我們要把分片合成為原本的文件。我們只需要把分片按原本位置寫入到文件中去。因?yàn)榍懊嬖砟且徊课覀円呀?jīng)講到了,我們知道分塊大小和分塊序號(hào),我就可以知道該分塊在文件中的起始位置。所以這里使用RandomAccessFile是明智的,RandomAccessFile能在文件里面前后移動(dòng)。但是在andomAccessFile的絕大多數(shù)功能,已經(jīng)被JDK1.4的NIO的“內(nèi)存映射文件(memory-mapped files)”取代了。我在該項(xiàng)目中分別寫了使用RandomAccessFile與MappedByteBuffer來合成文件。分別對(duì)應(yīng)的方法是uploadFileRandomAccessFile和uploadFileByMappedByteBuffer。兩個(gè)方法代碼如下。
秒傳功能
服務(wù)端邏輯
秒傳功能,相信大家都體現(xiàn)過了,網(wǎng)盤上傳的時(shí)候,發(fā)現(xiàn)上傳的文件秒傳了。其實(shí)原理稍微有研究過的同學(xué)應(yīng)該知道,其實(shí)就是檢驗(yàn)文件MD5,記錄下上傳到系統(tǒng)的文件的MD5,在一個(gè)文件上傳前先獲取文件內(nèi)容MD5值或者部分取值MD5,然后在匹配系統(tǒng)上的數(shù)據(jù)。
Breakpoint-http實(shí)現(xiàn)秒傳原理,客戶端選擇文件之后,點(diǎn)擊上傳的時(shí)候觸發(fā)獲取文件MD5值,獲取MD5后調(diào)用系統(tǒng)一個(gè)接口(/index/checkFileMd5),查詢?cè)揗D5是否已經(jīng)存在(我在該項(xiàng)目中用redis來存儲(chǔ)數(shù)據(jù),用文件MD5值來作key,value是文件存儲(chǔ)的地址。)接口返回檢查狀態(tài),然后再進(jìn)行下一步的操作。相信大家看代碼就能明白了。
嗯,前端的MD5取值也是用了webuploader自帶的功能,這還是個(gè)不錯(cuò)的工具。
控件計(jì)算完文件MD5后會(huì)觸發(fā)md5_complete事件,并傳值md5,開發(fā)者只需要處理這個(gè)事件即可,
斷點(diǎn)續(xù)傳
up6已經(jīng)自動(dòng)對(duì)斷點(diǎn)續(xù)傳進(jìn)行了處理,不需要開發(fā)都再進(jìn)行單獨(dú)的處理。
在f_post.jsp中接收這些參數(shù),并進(jìn)行處理,開發(fā)者只需要關(guān)注業(yè)務(wù)邏輯,不需要關(guān)注其它的方面。
斷點(diǎn)續(xù)傳,就是在文件上傳的過程中發(fā)生了中斷,人為因素(暫停)或者不可抗力(斷網(wǎng)或者網(wǎng)絡(luò)差)導(dǎo)致了文件上傳到一半失敗了。然后在環(huán)境恢復(fù)的時(shí)候,重新上傳該文件,而不至于是從新開始上傳的。
前面也已經(jīng)講過,斷點(diǎn)續(xù)傳的功能是基于分塊上傳來實(shí)現(xiàn)的,把一個(gè)大文件分成很多個(gè)小塊,服務(wù)端能夠把每個(gè)上傳成功的分塊都落地下來,客戶端在上傳文件開始時(shí)調(diào)用接口快速驗(yàn)證,條件選擇跳過某個(gè)分塊。
實(shí)現(xiàn)原理,就是在每個(gè)文件上傳前,就獲取到文件MD5取值,在上傳文件前調(diào)用接口(/index/checkFileMd5,沒錯(cuò)也是秒傳的檢驗(yàn)接口)如果獲取的文件狀態(tài)是未完成,則返回所有的還沒上傳的分塊的編號(hào),然后前端進(jìn)行條件篩算出哪些沒上傳的分塊,然后進(jìn)行上傳。
當(dāng)接收到文件塊后就可以直接寫入到服務(wù)器的文件中
這是文件塊上傳的效果
這是文件夾上傳完后的效果
這是文件夾上傳完后在服務(wù)端的存儲(chǔ)結(jié)構(gòu)
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Spring如何基于aop實(shí)現(xiàn)事務(wù)控制
這篇文章主要介紹了Spring如何基于aop實(shí)現(xiàn)事務(wù)控制,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-03-03Java?循環(huán)隊(duì)列/環(huán)形隊(duì)列的實(shí)現(xiàn)流程
循環(huán)隊(duì)列又叫環(huán)形隊(duì)列,是一種特殊的隊(duì)列。循環(huán)隊(duì)列解決了隊(duì)列出隊(duì)時(shí)需要將所有數(shù)據(jù)前移一位的問題。本文將帶大家詳細(xì)了解循環(huán)隊(duì)列如何實(shí)現(xiàn),需要的朋友可以參考一下2022-02-02Tomcat服務(wù)無(wú)法啟動(dòng)的問題的解決方法
這篇文章主要介紹了Tomcat服務(wù)無(wú)法啟動(dòng)的問題的解決方法,需要的朋友可以參考下2014-02-02SpringBoot開發(fā)案例之打造私有云網(wǎng)盤的實(shí)現(xiàn)
這篇文章主要介紹了SpringBoot開發(fā)案例之打造私有云網(wǎng)盤的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04Jetty啟動(dòng)項(xiàng)目中引用json-lib相關(guān)類庫(kù)報(bào)錯(cuò)ClassNotFound的解決方案
今天小編就為大家分享一篇關(guān)于Jetty啟動(dòng)項(xiàng)目中引用json-lib相關(guān)類庫(kù)報(bào)錯(cuò)ClassNotFound的解決方案,小編覺得內(nèi)容挺不錯(cuò)的,現(xiàn)在分享給大家,具有很好的參考價(jià)值,需要的朋友一起跟隨小編來看看吧2018-12-12Spring?Boot項(xiàng)目Jar包加密實(shí)戰(zhàn)教程
本文詳細(xì)介紹了如何在Spring?Boot項(xiàng)目中實(shí)現(xiàn)Jar包加密,我們首先了解了Jar包加密的基本概念和作用,然后學(xué)習(xí)了如何使用Spring?Boot的Jar工具和第三方庫(kù)來實(shí)現(xiàn)Jar包的加密和解密,感興趣的朋友一起看看吧2024-02-02全面剖析java 數(shù)據(jù)類型與運(yùn)算符
這篇文章主要介紹了Java基本數(shù)據(jù)類型和運(yùn)算符,結(jié)合實(shí)例形式詳細(xì)分析了java基本數(shù)據(jù)類型、數(shù)據(jù)類型轉(zhuǎn)換、算術(shù)運(yùn)算符、邏輯運(yùn)算符等相關(guān)原理與操作技巧,需要的朋友可以參考下2021-09-09