Python3中關(guān)于cookie的創(chuàng)建與保存
1.cookie的作用
cookie 是指某些網(wǎng)站為了辨別用戶身份、進(jìn)行session跟蹤而儲(chǔ)存在用戶本地終端上的數(shù)據(jù),就像有些網(wǎng)站上的一些數(shù)據(jù)是需要登錄后才能看得到,那么想抓取某個(gè)頁(yè)面內(nèi)容,就需要用到cookie來(lái)模擬登陸了。
在用cookie模擬登陸的時(shí)候,需要用到python中的CookieJar
,CookieJar中有一些子類,例如:
- FileCookieJar,LWPCookieJar,MoziliaCookieJar
- CookieJar 管理http生成的cookie,負(fù)責(zé)cookie的存儲(chǔ)工作,向http當(dāng)中添加指定的cookie
MozillaCookieJar
和LWPCookieJar
類都是FileCookieJar
的子類。實(shí)現(xiàn)了具體的把cookie內(nèi)容保存為文件的方法。只是這兩個(gè)類對(duì)應(yīng)的標(biāo)準(zhǔn)不同而已。
2 獲取cookie
from http.cookiejar import CookieJar,LWPCookieJar from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener from urllib.parse import urlencode import ssl # ----------------------------------------獲取cookie--------------------------- # 生成一個(gè)管理cookie的對(duì)象 cookie_obj = CookieJar() # 創(chuàng)建一個(gè)支持cookie的對(duì)象,對(duì)象屬于HTTPCookieProcessor cookie_handler = HTTPCookieProcessor(cookie_obj) #創(chuàng)建一個(gè)opener opener = build_opener(cookie_handler) response = opener.open('http://www.baidu.com') print(response) #打印cookie for cookie in cookie_obj: print('key:',cookie.name) print('value:',cookie.value)
3 保存cookie的文件
from http.cookiejar import CookieJar,LWPCookieJar from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener filename = 'neihan.txt' # 設(shè)置cookie保存的文件 cookie_obj = LWPCookieJar(filename=filename) # 創(chuàng)建一個(gè)支持cookie的對(duì)象,對(duì)象屬于HTTPCookieProcessor cookie_handler = HTTPCookieProcessor(cookie_obj) #創(chuàng)建一個(gè)opener opener = build_opener(cookie_handler) #請(qǐng)求網(wǎng)頁(yè) response = opener.open('http://www.neihanshequ.com') # 保存cookie到指定的文件當(dāng)中去 # ignore_expires=True 即便目標(biāo)cookie已經(jīng)在文件中存在,仍然對(duì)其寫(xiě)入 # ignore_discard=True 即便cookie將要/已經(jīng)過(guò)期,仍然寫(xiě)入 cookie_obj.save(ignore_expires=True,ignore_discard=True)
4 使用本地的cookie進(jìn)行請(qǐng)求
from http.cookiejar import CookieJar,LWPCookieJar from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener cookie = LWPCookieJar() #從文件中讀取cookie到變量 cookie.load('neihan.txt') request = Request('http://www.neihanshequ.com') # 創(chuàng)建一個(gè)支持cookie的對(duì)象,對(duì)象屬于HTTPCookieProcessor cookie_handler = HTTPCookieProcessor(cookie) #創(chuàng)建一個(gè)opener opener = build_opener(cookie_handler) #請(qǐng)求網(wǎng)頁(yè) response = opener.open(request) # print(response.read().decode())
5 使用cookie進(jìn)行模擬登陸
from http.cookiejar import CookieJar,LWPCookieJar from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener from urllib.parse import urlencode import ssl cookie = LWPCookieJar(filename='meishi.txt') cookie_handler = HTTPCookieProcessor(cookie) opener = build_opener(cookie_handler) headers={ 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0' } post_url = 'https://i.meishi.cc/login.php?redirect=https%3A%2F%2Fi.meishi.cc%2Flogin.php%3Fac%3Dzhuce' # urlencode對(duì)url當(dāng)中的參數(shù)進(jìn)行編碼 # urlencode()編碼的對(duì)象為字典類型 post_data = urlencode({ 'username':'***********', #自己的登陸賬號(hào) 'password':'************' #自己的登陸密碼 }) # 請(qǐng)求url 并傳參,設(shè)置編碼方式 request = Request(post_url,bytes(post_data,encoding='utf-8')) # 解決證書(shū)問(wèn)題 ssl._create_default_https_context = ssl._create_unverified_context response = opener.open(request) print(response.read().decode()) cookie.save(ignore_discard=True,ignore_expires=True)
這里的post_url
是抓包獲取來(lái)的
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了,希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
- Python3+selenium實(shí)現(xiàn)cookie免密登錄的示例代碼
- Python3 Post登錄并且保存cookie登錄其他頁(yè)面的方法
- Python3 使用cookiejar管理cookie的方法
- Python3爬蟲(chóng)之urllib攜帶cookie爬取網(wǎng)頁(yè)的方法
- 利用selenium 3.7和python3添加cookie模擬登陸的實(shí)現(xiàn)
- qpython3 讀取安卓lastpass Cookies
- python3實(shí)現(xiàn)讀取chrome瀏覽器cookie
- Python3爬蟲(chóng)帶上cookie的實(shí)例代碼
相關(guān)文章
在python的類中動(dòng)態(tài)添加屬性與生成對(duì)象
這篇文章給大家介紹了如何在python的類中動(dòng)態(tài)添加屬性和生成對(duì)象,文中通過(guò)幾個(gè)方面來(lái)進(jìn)行介紹,對(duì)這感興趣的朋友們可以學(xué)習(xí)學(xué)習(xí)。2016-09-09Python中Turtle庫(kù)改變畫(huà)筆(海龜)方向的兩種方法總結(jié)
turtle庫(kù)是python標(biāo)準(zhǔn)庫(kù)之一,入門(mén)級(jí)繪圖庫(kù),import turtle之后即可使用,下面這篇文章主要給大家介紹了關(guān)于Python中Turtle庫(kù)改變畫(huà)筆(海龜)方向的兩種方法,需要的朋友可以參考下2022-11-11Python使用moviepy讀取字幕srt文件報(bào)錯(cuò)的解決方法詳解
這篇文章主要為大家詳細(xì)介紹了Python使用moviepy讀取字幕srt文件報(bào)錯(cuò)‘gbk‘?codec?can‘t?decode的兩種解決辦法,有需要的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-01-01使用python實(shí)現(xiàn)壓縮PDF文件大小的方法
壓縮 PDF 文件能有效減小文件大小并提高文件傳輸?shù)男?同時(shí)還能節(jié)省計(jì)算機(jī)存儲(chǔ)空間,除了使用一些專業(yè)工具對(duì)PDF文件進(jìn)行壓縮,我們還可以通過(guò) Python 來(lái)執(zhí)行該操作,本文將分享一個(gè)簡(jiǎn)單有效的使用 Python 壓縮 PDF 文件的方法,需要的朋友可以參考下2024-06-06Python數(shù)據(jù)庫(kù)安裝及MySQL?Connector應(yīng)用教程
這篇文章主要為大家介紹了Python數(shù)據(jù)庫(kù)安裝及MySQL Connector應(yīng)用教程,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-11-11web自動(dòng)化測(cè)試Selenium點(diǎn)擊元素的常用方法
在Web自動(dòng)化測(cè)試中,Selenium提供多種點(diǎn)擊方法,常用的click()方法通過(guò)選中元素并觸發(fā)點(diǎn)擊事件,若click()方法不穩(wěn)定,可以采用JavaScript執(zhí)行點(diǎn)擊或使用ActionChains類模擬鼠標(biāo)點(diǎn)擊,需要的朋友可以參考下2024-09-09python 遞歸遍歷文件夾,并打印滿足條件的文件路徑實(shí)例
下面小編就為大家?guī)?lái)一篇python 遞歸遍歷文件夾,并打印滿足條件的文件路徑實(shí)例。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-08-08Python函數(shù)關(guān)鍵字參數(shù)及用法詳解
本文主要介紹了Python函數(shù)關(guān)鍵字參數(shù)及用法詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03