Python3中關(guān)于cookie的創(chuàng)建與保存
1.cookie的作用
cookie 是指某些網(wǎng)站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數(shù)據(jù),就像有些網(wǎng)站上的一些數(shù)據(jù)是需要登錄后才能看得到,那么想抓取某個頁面內(nèi)容,就需要用到cookie來模擬登陸了。
在用cookie模擬登陸的時候,需要用到python中的CookieJar,CookieJar中有一些子類,例如:
- FileCookieJar,LWPCookieJar,MoziliaCookieJar
- CookieJar 管理http生成的cookie,負(fù)責(zé)cookie的存儲工作,向http當(dāng)中添加指定的cookie
MozillaCookieJar和LWPCookieJar類都是FileCookieJar的子類。實現(xiàn)了具體的把cookie內(nèi)容保存為文件的方法。只是這兩個類對應(yīng)的標(biāo)準(zhǔn)不同而已。
2 獲取cookie
from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener
from urllib.parse import urlencode
import ssl
# ----------------------------------------獲取cookie---------------------------
# 生成一個管理cookie的對象
cookie_obj = CookieJar()
# 創(chuàng)建一個支持cookie的對象,對象屬于HTTPCookieProcessor
cookie_handler = HTTPCookieProcessor(cookie_obj)
#創(chuàng)建一個opener
opener = build_opener(cookie_handler)
response = opener.open('http://www.baidu.com')
print(response)
#打印cookie
for cookie in cookie_obj:
print('key:',cookie.name)
print('value:',cookie.value)
3 保存cookie的文件
from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener
filename = 'neihan.txt'
# 設(shè)置cookie保存的文件
cookie_obj = LWPCookieJar(filename=filename)
# 創(chuàng)建一個支持cookie的對象,對象屬于HTTPCookieProcessor
cookie_handler = HTTPCookieProcessor(cookie_obj)
#創(chuàng)建一個opener
opener = build_opener(cookie_handler)
#請求網(wǎng)頁
response = opener.open('http://www.neihanshequ.com')
# 保存cookie到指定的文件當(dāng)中去
# ignore_expires=True 即便目標(biāo)cookie已經(jīng)在文件中存在,仍然對其寫入
# ignore_discard=True 即便cookie將要/已經(jīng)過期,仍然寫入
cookie_obj.save(ignore_expires=True,ignore_discard=True)
4 使用本地的cookie進行請求
from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener
cookie = LWPCookieJar()
#從文件中讀取cookie到變量
cookie.load('neihan.txt')
request = Request('http://www.neihanshequ.com')
# 創(chuàng)建一個支持cookie的對象,對象屬于HTTPCookieProcessor
cookie_handler = HTTPCookieProcessor(cookie)
#創(chuàng)建一個opener
opener = build_opener(cookie_handler)
#請求網(wǎng)頁
response = opener.open(request)
# print(response.read().decode())
5 使用cookie進行模擬登陸
from http.cookiejar import CookieJar,LWPCookieJar
from urllib.request import Request,urlopen,HTTPCookieProcessor,build_opener
from urllib.parse import urlencode
import ssl
cookie = LWPCookieJar(filename='meishi.txt')
cookie_handler = HTTPCookieProcessor(cookie)
opener = build_opener(cookie_handler)
headers={
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0'
}
post_url = 'https://i.meishi.cc/login.php?redirect=https%3A%2F%2Fi.meishi.cc%2Flogin.php%3Fac%3Dzhuce'
# urlencode對url當(dāng)中的參數(shù)進行編碼
# urlencode()編碼的對象為字典類型
post_data = urlencode({
'username':'***********', #自己的登陸賬號
'password':'************' #自己的登陸密碼
})
# 請求url 并傳參,設(shè)置編碼方式
request = Request(post_url,bytes(post_data,encoding='utf-8'))
# 解決證書問題
ssl._create_default_https_context = ssl._create_unverified_context
response = opener.open(request)
print(response.read().decode())
cookie.save(ignore_discard=True,ignore_expires=True)
這里的post_url是抓包獲取來的
總結(jié)
以上就是這篇文章的全部內(nèi)容了,希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接
相關(guān)文章
Python中Turtle庫改變畫筆(海龜)方向的兩種方法總結(jié)
turtle庫是python標(biāo)準(zhǔn)庫之一,入門級繪圖庫,import turtle之后即可使用,下面這篇文章主要給大家介紹了關(guān)于Python中Turtle庫改變畫筆(海龜)方向的兩種方法,需要的朋友可以參考下2022-11-11
Python使用moviepy讀取字幕srt文件報錯的解決方法詳解
這篇文章主要為大家詳細介紹了Python使用moviepy讀取字幕srt文件報錯‘gbk‘?codec?can‘t?decode的兩種解決辦法,有需要的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-01-01
Python數(shù)據(jù)庫安裝及MySQL?Connector應(yīng)用教程
這篇文章主要為大家介紹了Python數(shù)據(jù)庫安裝及MySQL Connector應(yīng)用教程,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-11-11
Python函數(shù)關(guān)鍵字參數(shù)及用法詳解
本文主要介紹了Python函數(shù)關(guān)鍵字參數(shù)及用法詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03

