亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Java多線程文件分片下載實(shí)現(xiàn)的示例代碼

 更新時間:2020年03月06日 08:59:14   作者:qylost  
這篇文章主要介紹了Java多線程文件分片下載實(shí)現(xiàn)的示例代碼,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

多線程下載介紹

多線程下載技術(shù)是很常見的一種下載方案,這種方式充分利用了多線程的優(yōu)勢,在同一時間段內(nèi)通過多個線程發(fā)起下載請求,將需要下載的數(shù)據(jù)分割成多個部分,每一個線程只負(fù)責(zé)下載其中一個部分,然后將下載后的數(shù)據(jù)組裝成完整的數(shù)據(jù)文件,這樣便大大加快了下載效率。常見的下載器,迅雷,QQ旋風(fēng)等都采用了這種技術(shù)。

分片下載

所謂分片下載就是要利用多線程的優(yōu)勢,將要下載的文件一塊一塊的分配到各個線程中去下載,這樣就極大的提高了下載速度。

技術(shù)難點(diǎn)

并不能說是什么難點(diǎn),只能說沒接觸過不知道罷了。

1、如何請求才能拿到數(shù)據(jù)的特定部分,而非全部?

可以在HTTP請求頭中加入Range來標(biāo)識數(shù)據(jù)的請求范圍/區(qū)間,從HTTP/1.1開始可用。

基本用法:

Range: bytes=10-:取第10個字節(jié)及后所有數(shù)據(jù)。

Range: bytes=40-100:取第40個字節(jié)到第100個字節(jié)之間的數(shù)據(jù)。

這樣我們就能拿到特定部分的數(shù)據(jù)了,斷點(diǎn)續(xù)傳也可以用這個來實(shí)現(xiàn)。

PS:0為開始點(diǎn)。

2、分片后某線程下載時如何寫出?

思路1:等所有下載完成后進(jìn)行統(tǒng)一匯總整理然后再一次性寫出。

這簡直是最笨的思路了,如果文件過大全部拉到內(nèi)存中,豈不涼涼。

思路2:下載采用多線程,寫出時采取數(shù)據(jù)前后順序排隊寫出。

也就是說多線程下載,單線程輸出,某種程度解決了內(nèi)存占用問題,不過效率基本不理想。

思路3:要說還是API香,老大哥Java給我們提供了一個類叫做RandomAccessFile。

這個類可以進(jìn)行隨機(jī)文件讀寫,其中有一個seek函數(shù),可以將指針指向任意位置,然后進(jìn)行讀寫。什么意思呢,舉個栗子:假如我們開了30個線程,首先第一個下載完成的是線程X,它下載的數(shù)據(jù)范圍是4000-9000,那么這時我們調(diào)用seek函數(shù)將指針撥動到4000,然后調(diào)用它的write函數(shù)將byte寫出,這時4000之前都是NULL,4000之后就是我們插入的數(shù)據(jù)。這樣就可以實(shí)現(xiàn)多線程下載和本地寫入了。

具體實(shí)現(xiàn)

一個分片下載類,我們需要創(chuàng)建多個對象來進(jìn)行下載。

public class UnitDownloader implements Runnable {
  private int from;
  private int to;
  private File target;
  private String uri;
  private int id;

  public UnitDownloader(int from, int to, File target, String uri, int id) {
    this.from = from;
    this.to = to;
    this.target = target;
    this.uri = uri;
    this.id = id;
  }

  public int getFrom() {
    return from;
  }

  public int getTo() {
    return to;
  }

  @Override
  public void run() {
    //download and save data
    try {
      HttpURLConnection connection = (HttpURLConnection) new URL(uri).openConnection();
      connection.setRequestProperty("Range", "bytes=" + from + "-" + to);
      connection.connect();
      int totalSize = connection.getContentLength();
      InputStream inputStream = connection.getInputStream();
      RandomAccessFile randomAccessFile = new RandomAccessFile(target, "rw");
      randomAccessFile.seek(from);
      byte[] buffer = new byte[1024 * 1024];
      int readCount = inputStream.read(buffer, 0, buffer.length);
      while (readCount > 0) {
        totalSize -= readCount;
        System.out.println("分片:" + this.id + "的剩余:" + totalSize);
        randomAccessFile.write(buffer, 0, readCount);
        readCount = inputStream.read(buffer, 0, buffer.length);
      }
      inputStream.close();
      randomAccessFile.close();
    } catch (IOException e) {
      e.printStackTrace();
    }
  }
}

分片下載管理器,主要就是拿到內(nèi)容的總大小,將其分配給每一個UnitDownloader。這里的threadCount函數(shù)可以再考慮優(yōu)化一下。

public class MultipleThreadDownloadManager implements Runnable {
  private String uri;
  private File target;

  public MultipleThreadDownloadManager(String uri, File target) {
    this.target = target;
    this.uri = uri;
    if (target.exists() == false) {
      try {
        target.createNewFile();
      } catch (IOException e) {
        e.printStackTrace();
      }
    }
  }

  /**
   * 開始下載
   */
  public void start() {
    new Thread(this).start();
  }


  /**
   * 根據(jù)文件總大小計算線程數(shù)量
   *
   * @param totalSize
   * @return
   */
  public int threadCount(int totalSize) {
    if (totalSize < 30 * 2014 * 1024) {
      return 1;
    }
    return 30;
  }


  @Override
  public void run() {
    //獲取文件總大小
    int totalSize = 0;
    try {
      HttpURLConnection connection = (HttpURLConnection) new URL(uri).openConnection();
      connection.connect();
      int contentLength = connection.getContentLength();
      totalSize = contentLength;
    } catch (IOException e) {
      e.printStackTrace();
    }
    //將文件分片并分開下載
    int threadCount = threadCount(totalSize);
    int perThreadSize = totalSize / threadCount;//每一個線程分到的任務(wù)下載量
    int id = 0;
    int from = 0, to = 0;
    while (totalSize > 0) {
      id++;
      //計算分片
      if (totalSize < perThreadSize) {
        from = 0;
        to = totalSize;
      } else {
        from = totalSize;
        to = from + perThreadSize;
      }
      //開始下載
      UnitDownloader downloader = new UnitDownloader(from, to, target, uri, id);
      new Thread(downloader).start();
    }
  }
}

參考文獻(xiàn)

1、https://emacsist.github.io/2015/12/29/http-%E5%8D%8F%E8%AE%AE%E4%B8%AD%E7%9A%84range%E8%AF%B7%E6%B1%82%E5%A4%B4%E4%BE%8B%E5%AD%90/

2、https://blog.csdn.net/lyt_7cs1dn9/article/details/75105266

到此這篇關(guān)于Java多線程文件分片下載實(shí)現(xiàn)的示例代碼的文章就介紹到這了,更多相關(guān)Java多線程分片下載內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Java web攔截器inteceptor原理及應(yīng)用詳解

    Java web攔截器inteceptor原理及應(yīng)用詳解

    這篇文章主要介紹了java web攔截器inteceptor原理及應(yīng)用詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
    2020-01-01
  • JVM完全解讀之GC日志記錄分析

    JVM完全解讀之GC日志記錄分析

    這篇文章主要介紹了JVM完全解讀之GC日志記錄分析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步
    2022-01-01
  • Mybatis打印替換占位符后的完整Sql教程

    Mybatis打印替換占位符后的完整Sql教程

    這篇文章主要介紹了Mybatis打印替換占位符后的完整Sql教程,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-10-10
  • java開發(fā)接口吞吐量提升10多倍技巧

    java開發(fā)接口吞吐量提升10多倍技巧

    這篇文章主要為大家介紹了java開發(fā)技巧之接口吞吐量提升10多倍的方法示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-01-01
  • JavaIO?BufferedReader和BufferedWriter使用及說明

    JavaIO?BufferedReader和BufferedWriter使用及說明

    這篇文章主要介紹了JavaIO?BufferedReader和BufferedWriter使用及說明,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-12-12
  • Java抽象類和接口使用梳理

    Java抽象類和接口使用梳理

    對于面向?qū)ο缶幊虂碚f,抽象是它的一大特征之一,在?Java?中可以通過兩種形式來體現(xiàn)OOP的抽象:接口和抽象類,下面這篇文章主要給大家介紹了關(guān)于Java入門基礎(chǔ)之抽象類與接口的相關(guān)資料,需要的朋友可以參考下
    2022-02-02
  • java Disruptor構(gòu)建高性能內(nèi)存隊列使用詳解

    java Disruptor構(gòu)建高性能內(nèi)存隊列使用詳解

    這篇文章主要為大家介紹了java Disruptor構(gòu)建高性能內(nèi)存隊列使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-12-12
  • JAVA超級簡單的爬蟲實(shí)例講解

    JAVA超級簡單的爬蟲實(shí)例講解

    下面小編就為大家?guī)硪黄狫AVA超級簡單的爬蟲實(shí)例講解。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-10-10
  • mybatis-plus支持null字段全量更新的兩種方法

    mybatis-plus支持null字段全量更新的兩種方法

    本文主要介紹了mybatis-plus支持null字段全量更新的兩種方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-02-02
  • SpringBoot 整合線程池的示例詳解

    SpringBoot 整合線程池的示例詳解

    線程池是一種利用池化技術(shù)思想來實(shí)現(xiàn)的線程管理技術(shù),主要是為了復(fù)用線程、便利地管理線程和任務(wù)、并將線程的創(chuàng)建和任務(wù)的執(zhí)行解耦開來,這篇文章主要介紹了SpringBoot 整合線程池的示例詳解,需要的朋友可以參考下
    2024-08-08

最新評論