python爬蟲(chóng)模擬瀏覽器訪問(wèn)-User-Agent過(guò)程解析
更新時(shí)間：2019年12月28日 10:08:30 作者：故事的小黃花丶
這篇文章主要介紹了python爬蟲(chóng)模擬瀏覽器訪問(wèn)-User-Agent過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
這篇文章主要介紹了python爬蟲(chóng)模擬瀏覽器訪問(wèn)-User-Agent過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
模擬瀏覽器訪問(wèn)-User-Agent：
import urllib2
#User-Agent 模擬瀏覽器訪問(wèn)
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}
#通過(guò)urllib2.Request()方法構(gòu)造一個(gè)請(qǐng)求對(duì)象
request = urllib2.Request("http://www.baidu.com/",headers = headers)
#向指定的URL地址發(fā)送請(qǐng)求，并返回服務(wù)器響應(yīng)的類文件對(duì)象
#response是服務(wù)器響應(yīng)的類文件，除了支持文件操作的方法外，還支持以下常用的方法：
response = urllib2.urlopen(request)
#服務(wù)器返回的類文件對(duì)象支持python文件對(duì)象的操作方法
#read()方法就是讀取文件里的全部?jī)?nèi)容，返回字符串
html = response.read()
#返回HTTP的響應(yīng)碼，成功返回200,4服務(wù)器頁(yè)面出錯(cuò)；5.服務(wù)器問(wèn)題
print response.getcode()
#返回實(shí)際數(shù)據(jù)的實(shí)際URL，防止重定向問(wèn)題
print response.geturl()
#返回服務(wù)器響應(yīng)的HTTP報(bào)頭
print response.info()
#打印響應(yīng)內(nèi)容
print(html)
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)查詢某個(gè)目錄下修改時(shí)間最新的文件示例
這篇文章主要介紹了Python實(shí)現(xiàn)查詢某個(gè)目錄下修改時(shí)間最新的文件,涉及Python使用os與shutil模塊針對(duì)文件的遍歷、屬性獲取、讀寫(xiě)等相關(guān)操作技巧,需要的朋友可以參考下2018-08-08
今天小編就為大家分享一篇使用pytorch進(jìn)行圖像的順序讀取方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-07-07
Python 內(nèi)置函數(shù)complex詳解
這篇文章主要介紹了Python 內(nèi)置函數(shù)complex詳解的相關(guān)資料,需要的朋友可以參考下2016-10-10
這篇文章主要介紹了Python面向?qū)ο缶幊讨^承與多態(tài),結(jié)合實(shí)例形式詳細(xì)分析了Python面向?qū)ο缶幊讨欣^承與多態(tài)的概念、使用方法及相關(guān)注意事項(xiàng),需要的朋友可以參考下2018-01-01
python多進(jìn)程使用函數(shù)封裝實(shí)例
這篇文章主要介紹了python多進(jìn)程使用函數(shù)封裝實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-05-05
在本篇文章里小編給大家整理的是關(guān)于python中wheel的用法整理內(nèi)容，需要的朋友們可以跟著學(xué)習(xí)下。2020-06-06
這篇文章主要介紹了淺談Python traceback的優(yōu)雅處理，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-08-08
Python開(kāi)發(fā)虛擬環(huán)境使用virtualenvwrapper的搭建步驟教程圖解
virtualenvwrapper是用來(lái)管理virtualenv的擴(kuò)展包，用著很方便。這篇文章主要介紹了Python開(kāi)發(fā)虛擬環(huán)境使用virtualenvwrapper的搭建步驟 ,需要的朋友可以參考下2018-09-09
Python爬蟲(chóng)之Selenium下拉框處理的實(shí)現(xiàn)
這篇文章主要介紹了Python爬蟲(chóng)之Selenium下拉框處理的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
PyTorch中 tensor.detach() 和 tensor.data 的區(qū)別詳解
今天小編就為大家分享一篇PyTorch中 tensor.detach() 和 tensor.data 的區(qū)別詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01