Python實(shí)現(xiàn)HTTP協(xié)議下的文件下載方法總結(jié)
本文介紹了幾種常用的python下載文件的方法,具體使用到了htttplib2,urllib等包,希望對(duì)大家有幫忙。
1.簡(jiǎn)單文件下載
使用htttplib2,具體代碼如下:
h = httplib2.Http() url = 'http://chabaoo.cn/ip.zip' resp, content = h.request(url) if resp['status'] == '200': with open(filename, 'wb') as f: f.write(content)
使用urllib,具體代碼如下:
filename = urllib.unquote(url).decode('utf8').split('/')[-1] urllib.urlretrieve(url, filename)
2.較大文件下載
def down_file(): url = "http://chabaoo.cn/download.abc" file_name = url.split('/')[-1] u = urllib2.urlopen(url) f = open(file_name, 'wb') meta = u.info() file_size = int(meta.getheaders("Content-Length")[0]) file_size_dl = 0 block_sz = 8192 while True: buffer = u.read(block_sz) if not buffer: break file_size_dl += len(buffer) f.write(buffer) f.close()
在獲取下載文件名的過程中,可以解析url,代碼如下:
scheme, netloc, path, query, fragment = urlparse.urlsplit(url) filename = os.path.basename(path) if not filename: filename = 'downloaded.file'
3.端點(diǎn)續(xù)傳下載
在使用HTTP協(xié)議進(jìn)行下載的時(shí)候只需要在頭上設(shè)置一下Range的范圍就可以進(jìn)行斷點(diǎn)續(xù)傳下載,當(dāng)然,首先服務(wù)器需要支持?jǐn)帱c(diǎn)續(xù)傳。
利用Python的urllib2模塊完成斷點(diǎn)續(xù)傳下載的例子:
#!/usr/bin/python # -*- coding: UTF-8 -* ''' Created on 2013-04-15 Created by RobinTang A demo for Resuming Transfer ''' import urllib2 req = urllib2.Request('http://www.python.org/') req.add_header('Range', 'bytes=0-20') # set the range, from 0byte to 19byte, 20bytes len res = urllib2.urlopen(req) data = res.read() print data print '---------' print 'len:%d'%len(data)
相關(guān)文章
python fabric實(shí)現(xiàn)遠(yuǎn)程部署
這篇文章主要為大家詳細(xì)介紹了 python fabric實(shí)現(xiàn)遠(yuǎn)程部署,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-01-01使用python腳本實(shí)現(xiàn)查詢火車票工具
這篇文章主要介紹了使用python腳本實(shí)現(xiàn)查詢火車票工具,本文通過實(shí)例代碼給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2018-07-07詳解如何使用python實(shí)現(xiàn)猜數(shù)字游戲
“猜數(shù)字”游戲是一款簡(jiǎn)單而有趣的小游戲,玩家需要在給定的范圍內(nèi)猜出一個(gè)由計(jì)算機(jī)隨機(jī)生成的數(shù)字,本文將使用Python語言來實(shí)現(xiàn)這款游戲,并詳細(xì)介紹其實(shí)現(xiàn)過程,文中有詳細(xì)的代碼示例供大家參考,需要的朋友可以參考下2024-04-04Python 實(shí)現(xiàn)日志同時(shí)輸出到屏幕和文件
這篇文章主要介紹了Python 實(shí)現(xiàn)日志同時(shí)輸出到屏幕和文件,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-02-02使用Python對(duì)Dicom文件進(jìn)行讀取與寫入的實(shí)現(xiàn)
這篇文章主要介紹了使用Python對(duì)Dicom文件進(jìn)行讀取與寫入的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04python奇偶行分開存儲(chǔ)實(shí)現(xiàn)代碼
這篇文章主要介紹了python讀取文件,偶數(shù)行輸出一個(gè)文件,奇數(shù)行輸出一個(gè)文件,需要的朋友可以參考下2018-03-03