python 多線程將大文件分開下載后在合并的實(shí)例
廢話不多說了,上代碼吧:
import threading import requests import time import os class Mythread(threading.Thread): def __init__(self,url,startpos,endpos,f): super(Mythread,self).__init__() self.url=url self.startpos=startpos self.endpos=endpos self.fd=f def download(self): print('start thread:%s at %s'%(self.getName(),time.time())) headers={'Range':'bytes=%s-%s'%(self.startpos,self.endpos)} res=requests.get(self.url,headers=headers) self.fd.seek(self.startpos) self.fd.write(res.content) print('Stop thread:%s at%s'%(self.getName(),time.time())) self.fd.close() def run(self): self.download() if __name__=="__main__": url='http://www.wendangxiazai.com/word/b-cfbdc77931b765ce050814a9-1.doc' filename=url.split('/')[-1] filesize=int(requests.head(url).headers['Content-Length']) print('%s filesize:%s'%(filename,filesize)) threadnum=3 threading.BoundedSemaphore(threadnum)#允許線程個(gè)數(shù) step=filesize//threadnum mtd_list=[] start=0 end=-1 tempf = open('E:\Python\py\web'+filename,'w') tempf.close() mtd_list=[] with open('E:\Python\py\web'+filename,'rb+')as f: #獲得文件句柄 fileno=f.fileno()#返回一個(gè)整型的文件描述符,可用于底層操作系統(tǒng)的 I/O 操作 while end<filesize-1: start=end+1 end=start+step-1 if end>filesize: end=filesize print ('Start:%s,end:%s'%(start,end)) dup=os.dup(fileno)#復(fù)制文件句柄 fd=os.fdopen(dup,'rb+',-1) t=Mythread(url,start,end,fd) t.start() mtd_list.append(t) for i in mtd_list: i.join() f.close()
以上這篇python 多線程將大文件分開下載后在合并的實(shí)例就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- python實(shí)現(xiàn)單線程多任務(wù)非阻塞TCP服務(wù)端
- Python實(shí)現(xiàn)簡(jiǎn)單的多任務(wù)mysql轉(zhuǎn)xml的方法
- python多任務(wù)及返回值的處理方法
- python多任務(wù)之協(xié)程的使用詳解
- Python協(xié)程操作之gevent(yield阻塞,greenlet),協(xié)程實(shí)現(xiàn)多任務(wù)(有規(guī)律的交替協(xié)作執(zhí)行)用法詳解
- python實(shí)現(xiàn)通過隊(duì)列完成進(jìn)程間的多任務(wù)功能示例
- Python實(shí)現(xiàn)多線程下載文件的代碼實(shí)例
- 對(duì)Python多線程讀寫文件加鎖的實(shí)例詳解
- Python多線程下載文件的方法
- Python多線程同步---文件讀寫控制方法
- python開發(fā)之基于thread線程搜索本地文件的方法
- python多線程案例之多任務(wù)copy文件完整實(shí)例
相關(guān)文章
詳解如何使用Python在PDF文檔中創(chuàng)建動(dòng)作
PDF格式因其跨平臺(tái)兼容性和豐富的功能集而成為許多行業(yè)中的首選文件格式,其中,PDF中的動(dòng)作(Action) 功能尤為突出,本文將介紹如何使用Python在PDF文檔中創(chuàng)建動(dòng)作,需要的朋友可以參考下2024-09-09Python實(shí)現(xiàn)的排列組合、破解密碼算法示例
這篇文章主要介紹了Python實(shí)現(xiàn)的排列組合、破解密碼算法,結(jié)合實(shí)例形式分析了Python排列組合、密碼破解相關(guān)數(shù)學(xué)運(yùn)算操作技巧,需要的朋友可以參考下2019-04-04python中的對(duì)數(shù)log函數(shù)表示及用法
在本篇文章里小編給大家整理了一篇關(guān)于python中的對(duì)數(shù)log函數(shù)表示及用法,有需要的朋友們可以學(xué)習(xí)下。2020-12-12Python3.5面向?qū)ο蟪绦蛟O(shè)計(jì)之類的繼承和多態(tài)詳解
這篇文章主要介紹了Python3.5面向?qū)ο蟪绦蛟O(shè)計(jì)之類的繼承和多態(tài),結(jié)合實(shí)例形式詳細(xì)分析了Python3.5面向?qū)ο蟪绦蛟O(shè)計(jì)中類的繼承與多態(tài)常見用法及相關(guān)注意事項(xiàng),需要的朋友可以參考下2019-04-04NumPy?與?Python?內(nèi)置列表計(jì)算標(biāo)準(zhǔn)差區(qū)別詳析
這篇文章主要介紹了NumPy與Python內(nèi)置列表計(jì)算標(biāo)準(zhǔn)差區(qū)別詳析,NumPy,是Numerical?Python的簡(jiǎn)稱,用于高性能科學(xué)計(jì)算和數(shù)據(jù)分析的基礎(chǔ)包,更多相關(guān)內(nèi)容需要的朋友可以參考一下2022-07-07Python實(shí)現(xiàn)定時(shí)自動(dòng)關(guān)閉的tkinter窗口方法
今天小編就為大家分享一篇Python實(shí)現(xiàn)定時(shí)自動(dòng)關(guān)閉的tkinter窗口方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-02-02Python?Decorator裝飾器的創(chuàng)建方法及常用場(chǎng)景分析
這篇文章主要介紹了Python?Decorator裝飾器的創(chuàng)建方法及常用場(chǎng)景,裝飾器可以分成方法裝飾器和類裝飾器,他們的區(qū)別是一個(gè)是用函數(shù)實(shí)現(xiàn)的裝飾器,一個(gè)是用類實(shí)現(xiàn)的裝飾器,他們也都能在方法和類上進(jìn)行裝飾,需要的朋友可以參考下2022-07-07