Python urlopen()和urlretrieve()用法解析
這篇文章主要介紹了Python urlopen()和urlretrieve()用法解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
1.urlopen()方法
urllib.urlopen(url[, data[, proxies]]) :創(chuàng)建一個(gè)表示遠(yuǎn)程url的類文件對(duì)象，然后像本地文件一樣操作這個(gè)類文件對(duì)象來獲取遠(yuǎn)程數(shù)據(jù)。
參數(shù)url表示遠(yuǎn)程數(shù)據(jù)的路徑，一般是網(wǎng)址；
參數(shù)data表示以post方式提交到url的數(shù)據(jù)(玩過web的人應(yīng)該知道提交數(shù)據(jù)的兩種方式：post與get。如果你不清楚，也不必太在意，一般情況下很少用到這個(gè)參數(shù))；
參數(shù)proxies用于設(shè)置代理。
- urlopen返回 一個(gè)類文件對(duì)象，它提供了如下方法：
- read() , readline() , readlines() , fileno() , close() ：這些方法的使用方式與文件對(duì)象完全一樣;
- info()：返回一個(gè)httplib.HTTPMessage 對(duì)象，表示遠(yuǎn)程服務(wù)器返回的頭信息
- getcode()：返回Http狀態(tài)碼。如果是http請(qǐng)求，200表示請(qǐng)求成功完成;404表示網(wǎng)址未找到；
- geturl()：返回請(qǐng)求的url；
代碼示例：
import urllib
url = "http://www.baidu.com/"
#urlopen()
sock = urllib.urlopen(url)
htmlCode = sock.read()
sock.close
fp = open("e:/1.html","wb")
fp.write(htmlCode)
fp.close
#urlretrieve()
urllib.urlretrieve(url, 'e:/2.html')
2.urlretrieve方法
直接將遠(yuǎn)程數(shù)據(jù)下載到本地。
urllib.urlretrieve(url[, filename[, reporthook[, data]]]) 參數(shù)說明： url：外部或者本地url filename：指定了保存到本地的路徑（如果未指定該參數(shù)，urllib會(huì)生成一個(gè)臨時(shí)文件來保存數(shù)據(jù)）； reporthook：是一個(gè)回調(diào)函數(shù)，當(dāng)連接上服務(wù)器、以及相應(yīng)的數(shù)據(jù)塊傳輸完畢的時(shí)候會(huì)觸發(fā)該回調(diào)。我們可以利用這個(gè)回調(diào)函數(shù)來顯示當(dāng)前的下載進(jìn)度。 data：指post到服務(wù)器的數(shù)據(jù)。該方法返回一個(gè)包含兩個(gè)元素的元組(filename, headers)，filename表示保存到本地的路徑，header表示服務(wù)器的響應(yīng)頭。
下面通過例子來演示一下這個(gè)方法的使用，這個(gè)例子將新浪首頁的html抓取到本地，保存在D:/sina.html文件中，同時(shí)顯示下載的進(jìn)度。
import urllib
def callbackfunc(blocknum, blocksize, totalsize):
'''回調(diào)函數(shù)
@blocknum: 已經(jīng)下載的數(shù)據(jù)塊
@blocksize: 數(shù)據(jù)塊的大小
@totalsize: 遠(yuǎn)程文件的大小
'''
percent = 100.0 * blocknum * blocksize / totalsize
if percent > 100:
percent = 100
print "%.2f%%"% percent
url = 'http://www.sina.com.cn'
local = 'd:\\sina.html'
urllib.urlretrieve(url, local, callbackfunc)
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python 中提供了一個(gè)官方的標(biāo)準(zhǔn)庫(kù)來處理這種文件類型，那就是 CSV 庫(kù)，這篇文章主要介紹了Python中CSV文件的讀寫庫(kù),需要的朋友可以參考下2022-12-12
這篇文章主要介紹了Python pysnmp使用方法及代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
Python實(shí)現(xiàn)按特定格式對(duì)文件進(jìn)行讀寫的方法示例
這篇文章主要介紹了Python實(shí)現(xiàn)按特定格式對(duì)文件進(jìn)行讀寫的方法,可實(shí)現(xiàn)文件按原有格式讀取與寫入的功能,涉及文件的讀取、遍歷、轉(zhuǎn)換、寫入等相關(guān)操作技巧,需要的朋友可以參考下2017-11-11
Python 使用 Pillow 模塊給圖片添加文字水印的方法
這篇文章主要介紹了Python 使用 Pillow 模塊給圖片添加文字水印的方法，非常不錯(cuò)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-08-08
19個(gè)Python?Sklearn中超實(shí)用的隱藏功能分享
今天跟大家介紹?19?個(gè)?Sklearn?中超級(jí)實(shí)用的隱藏的功能，這些功能雖然不常見，但非常實(shí)用，它們可以直接優(yōu)雅地替代手動(dòng)執(zhí)行的常見操作2022-07-07
50行Python代碼實(shí)現(xiàn)人臉檢測(cè)功能
現(xiàn)在的人臉識(shí)別技術(shù)已經(jīng)得到了非常廣泛的應(yīng)用，支付領(lǐng)域、身份驗(yàn)證、美顏相機(jī)里都有它的應(yīng)用。下面小編給大家?guī)砹嘶?0行Python代碼實(shí)現(xiàn)人臉檢測(cè)功能，一起看看吧2018-01-01
這篇文章主要給大家介紹了關(guān)于python多重賦值的小問題，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
python Django實(shí)戰(zhàn)之歌曲搜索功能實(shí)現(xiàn)
這篇文章主要為大家詳細(xì)介紹了如何利用python Django實(shí)現(xiàn)歌曲搜索功能,文中的示例代碼講解詳細(xì),具有一定的參考價(jià)值,有需要的小伙伴開業(yè)了解下2023-10-10
Python數(shù)據(jù)類型--字典dictionary
這篇文章主要介紹了Python數(shù)據(jù)類型字典dictionary，字典是另一種可變?nèi)萜髂Ｐ?，且可存?chǔ)任意類型對(duì)象。下面詳細(xì)內(nèi)容需要的小伙伴可以參考一下，希望對(duì)你有所幫助2022-02-02
這篇文章主要介紹了Python socket模塊ftp傳輸文件過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11