Python爬蟲:將headers請(qǐng)求頭字符串轉(zhuǎn)為字典的方法
更新時(shí)間：2019年08月21日 16:22:16 作者：彭世瑜
今天小編就為大家分享一篇Python爬蟲:將headers請(qǐng)求頭字符串轉(zhuǎn)為字典的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
原生請(qǐng)求頭字符串
raw_headers = """Host: open.tool.hexun.com Pragma: no-cache Cache-Control: no-cache User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36 Accept: */* Referer: http://stock.hexun.com/gsxw/ Accept-Encoding: gzip, deflate Accept-Language: zh-CN,zh;q=0.9,en;q=0.8"""
將字符串轉(zhuǎn)為字典
split(sep=None, maxsplit=None)
headers = dict([line.split(": ",1) for line in raw_headers.split("\n")])
輸出測(cè)試
print(headers)
"""
{
'Accept-Language': ' zh-CN,zh;q=0.9,en;q=0.8',
'Accept-Encoding': ' gzip, deflate',
'Accept': ' */*',
'User-Agent': ' Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Host': ' open.tool.hexun.com',
'Referer': ' http://stock.hexun.com/gsxw/',
'Pragma': ' no-cache',
'Cache-Control': ' no-cache'
}
"""
封裝為函數(shù)
def get_headers(header_raw):
"""
通過(guò)原生請(qǐng)求頭獲取請(qǐng)求頭字典
:param header_raw: {str} 瀏覽器請(qǐng)求頭
:return: {dict} headers
"""
return dict(line.split(": ", 1) for line in header_raw.split("\n"))
def get_cookies(cookie_raw):
"""
通過(guò)原生cookie獲取cookie字段
:param cookie_raw: {str} 瀏覽器原始cookie
:return: {dict} cookies
"""
return dict(line.split("=", 1) for line in cookie_raw.split("; "))
以上這篇Python爬蟲:將headers請(qǐng)求頭字符串轉(zhuǎn)為字典的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家介紹了Python正則表達(dá)式，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來(lái)幫助2021-11-11
談?wù)勅绾问謩?dòng)釋放Python的內(nèi)存
Python不會(huì)自動(dòng)清理這些內(nèi)存，這篇文章主要介紹了談?wù)勅绾问謩?dòng)釋放Python的內(nèi)存，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下。2016-12-12
使用Python實(shí)現(xiàn)檢測(cè)并刪除離群值
離群值是一個(gè)數(shù)據(jù)項(xiàng)/對(duì)象,它明顯偏離其余的（所謂的正常）對(duì)象,本文主要為大家詳細(xì)介紹了如何使用Python實(shí)現(xiàn)檢測(cè)并刪除離群值,感興趣的小伙伴可以了解下2024-01-01
使用Flask開發(fā)RESTful?API的方法實(shí)現(xiàn)
RESTful?API是一種基于REST架構(gòu)風(fēng)格設(shè)計(jì)的Web服務(wù)接口,本文主要介紹了使用Flask開發(fā)RESTful?API的方法實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下2023-11-11
詳解python實(shí)現(xiàn)小波變換的一個(gè)簡(jiǎn)單例子
這篇文章主要介紹了詳解python實(shí)現(xiàn)小波變換的一個(gè)簡(jiǎn)單例子，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
python一行sql太長(zhǎng)折成多行并且有多個(gè)參數(shù)的方法
今天小編就為大家分享一篇python一行sql太長(zhǎng)折成多行并且有多個(gè)參數(shù)的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-07-07
這篇文章主要介紹了在Django框架中編寫Context處理器的方法,Django是重多高人氣Python框架中最為著名的一個(gè),需要的朋友可以參考下2015-07-07
Python3中在Anaconda環(huán)境下安裝basemap包
今天小編就為大家分享一篇關(guān)于Python3中在Anaconda環(huán)境下安裝basemap包的文章，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2018-10-10
python數(shù)據(jù)分析apply(),map(),applymap()用法
這篇文章主要介紹了python數(shù)據(jù)分析apply(),map(),applymap()用法，可以方便地實(shí)現(xiàn)對(duì)批量數(shù)據(jù)的自定義操作。用法歸納如下,需要的朋友可以參考一下2022-03-03
這篇文章主要介紹了如何在pycharm中快捷安裝pip命令(如pygame)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。2021-05-05