selenium中g(shù)et_cookies()和add_cookie()的用法詳解
在用selenium爬取網(wǎng)頁的時(shí)候,有時(shí)候需要登陸,這時(shí)候用selenium獲取cookie和攜帶cookie是很方便的,獲取cookie可以通過內(nèi)置的函數(shù)get_cookies(),它得到的是一組cookie,是由cookie組成的列表。單個(gè)的cookie是字典組成的,所有g(shù)et_cookies()返回值是由字典組成的列表。
dictCookies = browser.get_cookies() jsonCookies = json.dumps(dictCookies) # print(jsonCookies) with open('anquan.txt', 'w') as f: f.write(jsonCookies)
注意:這個(gè)jsonCookies是一個(gè)列表,是一個(gè)完整的cookie。
{'name': 'QCARJSESSIONID', 'value': 'BBmPcsfClCknfQX1cN2MLMgKXZGtFWqsBvjN9mbM9tmbL38hMmw4!1426878101', 'path': '/', 'domain': 'qcar.apiins.com', 'secure': False, 'httpOnly': True} {'name': 'BIGipServercar_qcar_poool', 'value': '1191316140.16671.0000', 'path': '/', 'domain': 'qcar.apiins.com', 'secure': False, 'httpOnly': False} {'name': 'chinainsuranceJSESSIONID', 'value': 'rkgncsfG8pnrhh8x1CvNy46zHplyLkTjyv1LL2hk4wDrkD9Mjz9Y!2078734058', 'path': '/', 'domain': 'qcar.apiins.com', 'secure': False, 'httpOnly': True} {'name': 'BIGipServercar_core_pool', 'value': '1191316140.17951.0000', 'path': '/', 'domain': 'qcar.apiins.com', 'secure': False, 'httpOnly': False}
這樣就獲取到了cookie,那么如何使用呢,我們讓瀏覽器對象攜帶cookies就行了,這時(shí)候用另外一個(gè)函數(shù)add_cookie()
with open('anquan.txt', 'r', encoding='utf8') as f: listCookies = json.loads(f.read()) print('%%%%%%%%%%%%%%%%%', listCookies) for cookie in listCookies: obj.add_cookie(cookie) obj.get('https://qcar.apiins.com/qcar') # 讀取完cookie刷新頁面 obj.refresh()
這樣,我們就可以攜帶cookie,實(shí)現(xiàn)免登陸。有人說,你直接登陸不就完事了嗎?有些應(yīng)用場景還是用的到的,比如說驗(yàn)證碼識別率不高,比如監(jiān)視爬蟲,定時(shí)爬蟲,要求五分鐘爬一次,兩分鐘爬一次,每次登陸會很麻煩。這個(gè)時(shí)候我們可以分開,一個(gè)專門登陸抓取cookie,30分鐘更新一次cookie文件。另外一個(gè)讀取cookie文件就ok了。
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)的矩陣類實(shí)例
這篇文章主要介紹了Python實(shí)現(xiàn)的矩陣類,結(jié)合完整實(shí)例形式分析了Python矩陣的定義、計(jì)算、轉(zhuǎn)換等相關(guān)操作技巧,需要的朋友可以參考下2017-08-08幾行代碼讓 Python 函數(shù)執(zhí)行快 30 倍
Python 編程語言,與其他流行編程語言相比主要缺點(diǎn)是它的動(dòng)態(tài)特性和多功能屬性拖慢了速度表現(xiàn)。Python 代碼是在運(yùn)行時(shí)被解釋的,而不是在編譯時(shí)被編譯為原生代碼。在本文中,我們將討論如何用多處理模塊并行執(zhí)行自定義 Python 函數(shù),并進(jìn)一步對比運(yùn)行時(shí)間指標(biāo)。2021-10-10python使用win32com在百度空間插入html元素示例
這篇文章主要介紹了python使用win32com在百度空間插入html元素的示例,大家參考使用吧2014-02-02python代碼打印100-999之間的回文數(shù)示例
今天小編就為大家分享一篇python代碼打印100-999之間的回文數(shù)示例,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11