Flutter Http分塊下載與斷點續(xù)傳的實現(xiàn)
本文來自筆者所著《Flutter實戰(zhàn)》,讀者也可以點擊查看在線電子版。
基礎(chǔ)知識
Http協(xié)議定義了分塊傳輸?shù)捻憫?yīng)header字段，但具體是否支持取決于Server的實現(xiàn)，我們可以指定請求頭的"range"字段來驗證服務(wù)器是否支持分塊傳輸。例如，我們可以利用curl命令來驗證：
bogon:~ duwen$ curl -H "Range: bytes=0-10" http://download.dcloud.net.cn/HBuilder.9.0.2.macosx_64.dmg -v # 請求頭 > GET /HBuilder.9.0.2.macosx_64.dmg HTTP/1.1 > Host: download.dcloud.net.cn > User-Agent: curl/7.54.0 > Accept: */* > Range: bytes=0-10 #響應(yīng)頭 < HTTP/1.1 206 Partial Content < Content-Type: application/octet-stream < Content-Length: 11 < Connection: keep-alive < Date: Thu, 21 Feb 2019 06:25:15 GMT < Content-Range: bytes 0-10/233295878
我們在請求頭中添加"Range: bytes=0-10"的作用是，告訴服務(wù)器本次請求我們只想獲取文件0-10(包括10，共11字節(jié))這塊內(nèi)容。如果服務(wù)器支持分塊傳輸?shù)脑?，則響應(yīng)狀態(tài)碼為206，表示“部分內(nèi)容”，并且同時響應(yīng)頭中變會包含”Content-Range“字段，如果不支持則不會包含，我們看看上面"Content-Range"的內(nèi)容：
Content-Range: bytes 0-10/233295878
0-10表示本次返回的區(qū)塊，233295878代表文件的總長度，單位都是byte, 也就是該文件大概233M多一點。
實現(xiàn)
綜上所述，我們可以設(shè)計一個簡單的多線程的文件分塊下載器，實現(xiàn)的思路是：
- 先檢測是否支持分塊傳輸，如果不支持，則直接下載；若支持，則將剩余內(nèi)容分塊下載。
- 各個分塊下載時保存到各自臨時文件，等到所有分塊下載完后合并臨時文件。
- 刪除臨時文件。
下面是整體的流程：
// 通過第一個分塊請求檢測服務(wù)器是否支持分塊傳輸
Response response = await downloadChunk(url, 0, firstChunkSize, 0);
if (response.statusCode == 206) { //如果支持
//解析文件總長度，進而算出剩余長度
total = int.parse(
response.headers.value(HttpHeaders.contentRangeHeader).split("/").last);
int reserved = total -
int.parse(response.headers.value(HttpHeaders.contentLengthHeader));
//文件的總塊數(shù)(包括第一塊)
int chunk = (reserved / firstChunkSize).ceil() + 1;
if (chunk > 1) {
int chunkSize = firstChunkSize;
if (chunk > maxChunk + 1) {
chunk = maxChunk + 1;
chunkSize = (reserved / maxChunk).ceil();
}
var futures = <Future>[];
for (int i = 0; i < maxChunk; ++i) {
int start = firstChunkSize + i * chunkSize;
//分塊下載剩余文件
futures.add(downloadChunk(url, start, start + chunkSize, i + 1));
}
//等待所有分塊全部下載完成
await Future.wait(futures);
}
//合并文件文件
await mergeTempFiles(chunk);
}
下面我們使用Flutter下著名的Http庫dio的download API 實現(xiàn)downloadChunk：
//start 代表當前塊的起始位置，end代表結(jié)束位置
//no 代表當前是第幾塊
Future<Response> downloadChunk(url, start, end, no) async {
progress.add(0); //progress記錄每一塊已接收數(shù)據(jù)的長度
--end;
return dio.download(
url,
savePath + "temp$no", //臨時文件按照塊的序號命名，方便最后合并
onReceiveProgress: createCallback(no), // 創(chuàng)建進度回調(diào)，后面實現(xiàn)
options: Options(
headers: {"range": "bytes=$start-$end"}, //指定請求的內(nèi)容區(qū)間
),
);
}
接下來實現(xiàn)mergeTempFiles:
Future mergeTempFiles(chunk) async {
File f = File(savePath + "temp0");
IOSink ioSink= f.openWrite(mode: FileMode.writeOnlyAppend);
//合并臨時文件
for (int i = 1; i < chunk; ++i) {
File _f = File(savePath + "temp$i");
await ioSink.addStream(_f.openRead());
await _f.delete(); //刪除臨時文件
}
await ioSink.close();
await f.rename(savePath); //合并后的文件重命名為真正的名稱
}
下面我們看一下完整實現(xiàn)：
/// Downloading by spiting as file in chunks
Future downloadWithChunks(
url,
savePath, {
ProgressCallback onReceiveProgress,
}) async {
const firstChunkSize = 102;
const maxChunk = 3;
int total = 0;
var dio = Dio();
var progress = <int>[];
createCallback(no) {
return (int received, _) {
progress[no] = received;
if (onReceiveProgress != null && total != 0) {
onReceiveProgress(progress.reduce((a, b) => a + b), total);
}
};
}
Future<Response> downloadChunk(url, start, end, no) async {
progress.add(0);
--end;
return dio.download(
url,
savePath + "temp$no",
onReceiveProgress: createCallback(no),
options: Options(
headers: {"range": "bytes=$start-$end"},
),
);
}
Future mergeTempFiles(chunk) async {
File f = File(savePath + "temp0");
IOSink ioSink= f.openWrite(mode: FileMode.writeOnlyAppend);
for (int i = 1; i < chunk; ++i) {
File _f = File(savePath + "temp$i");
await ioSink.addStream(_f.openRead());
await _f.delete();
}
await ioSink.close();
await f.rename(savePath);
}
Response response = await downloadChunk(url, 0, firstChunkSize, 0);
if (response.statusCode == 206) {
total = int.parse(
response.headers.value(HttpHeaders.contentRangeHeader).split("/").last);
int reserved = total -
int.parse(response.headers.value(HttpHeaders.contentLengthHeader));
int chunk = (reserved / firstChunkSize).ceil() + 1;
if (chunk > 1) {
int chunkSize = firstChunkSize;
if (chunk > maxChunk + 1) {
chunk = maxChunk + 1;
chunkSize = (reserved / maxChunk).ceil();
}
var futures = <Future>[];
for (int i = 0; i < maxChunk; ++i) {
int start = firstChunkSize + i * chunkSize;
futures.add(downloadChunk(url, start, start + chunkSize, i + 1));
}
await Future.wait(futures);
}
await mergeTempFiles(chunk);
}
}
現(xiàn)在可以進行分塊下載了：
main() async {
var url = "http://download.dcloud.net.cn/HBuilder.9.0.2.macosx_64.dmg";
var savePath = "./example/HBuilder.9.0.2.macosx_64.dmg";
await downloadWithChunks(url, savePath, onReceiveProgress: (received, total) {
if (total != -1) {
print("${(received / total * 100).floor()}%");
}
});
}
思考
分塊下載真的能提高下載速度嗎？
其實下載速度的主要瓶頸是取決于網(wǎng)絡(luò)速度和服務(wù)器的出口速度，如果是同一個數(shù)據(jù)源，分塊下載的意義并不大，因為服務(wù)器是同一個，出口速度確定的，主要取決于網(wǎng)速，而上面的例子正式同源分塊下載，讀者可以自己對比一下分塊和不分塊的的下載速度。如果有多個下載源，并且每個下載源的出口帶寬都是有限制的，這時分塊下載可能會更快一下，之所以說“可能”，是由于這并不是一定的，比如有三個源，三個源的出口帶寬都為1G/s，而我們設(shè)備所連網(wǎng)絡(luò)的峰值假設(shè)只有800M/s，那么瓶頸就在我們的網(wǎng)絡(luò)。即使我們設(shè)備的帶寬大于任意一個源，下載速度依然不一定就比單源單線下載快，試想一下，假設(shè)有兩個源A和B，速度A源是B源的3倍，如果采用分塊下載，兩個源各下載一半的話，讀者可以算一下所需的下載時間，然后再算一下只從A源下載所需的時間，看看哪個更快。
分塊下載的最終速度受設(shè)備所在網(wǎng)絡(luò)帶寬、源出口速度、每個塊大小、以及分塊的數(shù)量等諸多因素影響，實際過程中很難保證速度最優(yōu)。在實際開發(fā)中，讀者可可以先測試對比后再決定是否使用。
分塊下載有什么實際的用處嗎？
分塊下載還有一個比較使用的場景是斷點續(xù)傳，可以將文件分為若干個塊，然后維護一個下載狀態(tài)文件用以記錄每一個塊的狀態(tài)，這樣即使在網(wǎng)絡(luò)中斷后，也可以恢復(fù)中斷前的狀態(tài)，具體實現(xiàn)讀者可以自己嘗試一下，還是有一些細節(jié)需要特別注意的，比如分塊大小多少合適？下載到一半的塊如何處理？要不要維護一個任務(wù)隊列？
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Android7.0上某些PopuWindow出現(xiàn)顯示位置不正確問題的解決方法
這篇文章主要介紹了Android7.0上某些PopuWindow出現(xiàn)顯示位置不正確問題的解決方法,涉及針對Android7.0中PopuWindow屬性與方法的相關(guān)設(shè)置技巧,需要的朋友可以參考下2017-10-10
Android漲姿勢知識點之你沒用過的BadgeDrawable
現(xiàn)在Android中有許多的應(yīng)用仿蘋果的在應(yīng)用圖標上顯示小紅點,下面這篇文章主要給大家介紹了關(guān)于Android漲姿勢知識點之你沒用過的BadgeDrawable的相關(guān)資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下2022-09-09
在android應(yīng)用中，有時需要計算個View的位置，導(dǎo)致需要計算狀態(tài)欄高度。為以后方便，在此做個簡單記錄。下面這篇文章主要介紹了Android中獲取狀態(tài)欄高度的兩種方法，兩種方法分別給出了示例代碼，有需要的朋友可以參考借鑒。2017-02-02
這篇文章主要為大家詳細介紹了Android自定義控件實現(xiàn)圓形進度條的相關(guān)資料，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-01-01
Android入門教程之RecyclerView的具體使用詳解
RecyclerView是Android一個更強大的控件,其不僅可以實現(xiàn)和ListView同樣的效果,還有優(yōu)化了ListView中的各種不足。其可以實現(xiàn)數(shù)據(jù)縱向滾動,也可以實現(xiàn)橫向滾動(ListView做不到橫向滾動)。接下來講解RecyclerView的用法2021-10-10
這篇文章主要為大家詳細介紹了kotlin實現(xiàn)強制下線功能，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-06-06
學(xué)會反編譯比較關(guān)鍵，也是我們美化必須掌握技術(shù)，學(xué)會反編譯也是實現(xiàn)制作ROM的起步，ROM高手必然是反編譯高手這里有必要說一下，教程只是給你一個動手的那一個蹺板，教程不是萬能的，給了你基礎(chǔ)與啟發(fā)，最重要的是我們能夠自主的進行創(chuàng)新與思考2016-04-04
Android使用Retrofit實現(xiàn)自定義Converter解析接口流程詳解
Retrofit是一個RESTful的HTTP網(wǎng)絡(luò)請求框架的封裝，網(wǎng)絡(luò)請求的工作本質(zhì)上是OkHttp完成，而Retrofit僅負責網(wǎng)絡(luò)請求接口的封裝2023-03-03
這篇文章主要介紹了Android如何獲取雙卡手機IMEI的方法示例，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-09-09
Android檢測手機中存儲卡及剩余空間大小的方法(基于Environment,StatFs及DecimalFormat
這篇文章主要介紹了Android檢測手機中存儲卡及剩余空間大小的方法,基于Environment,StatFs及DecimalFormat實現(xiàn)該功能,具有一定參考借鑒價值,需要的朋友可以參考下2016-01-01