詳解在Python程序中使用Cookie的教程
大家好哈,上一節(jié)我們研究了一下爬蟲的異常處理問題,那么接下來我們一起來看一下Cookie的使用。
為什么要使用Cookie呢?
Cookie,指某些網(wǎng)站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數(shù)據(jù)(通常經(jīng)過加密)
比如說有些網(wǎng)站需要登錄后才能訪問某個頁面,在登錄之前,你想抓取某個頁面內容是不允許的。那么我們可以利用Urllib2庫保存我們登錄的Cookie,然后再抓取其他頁面就達到目的了。
在此之前呢,我們必須先介紹一個opener的概念。
1.Opener
當你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例)。在前面,我們都是使用的默認的opener,也就是urlopen。它是一個特殊的opener,可以理解成opener的一個特殊實例,傳入的參數(shù)僅僅是url,data,timeout。
如果我們需要用到Cookie,只用這個opener是不能達到目的的,所以我們需要創(chuàng)建更一般的opener來實現(xiàn)對Cookie的設置。
2.Cookielib
cookielib模塊的主要作用是提供可存儲cookie的對象,以便于與urllib2模塊配合使用來訪問Internet資源。 Cookielib模塊非常強大,我們可以利用本模塊的CookieJar類的對象來捕獲cookie并在后續(xù)連接請求時重新發(fā)送,比如可以實現(xiàn)模擬登錄 功能。該模塊主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。
它們的關系:CookieJar —-派生—->FileCookieJar —-派生—–>MozillaCookieJar和LWPCookieJar
1)獲取Cookie保存到變量
首先,我們先利用CookieJar對象實現(xiàn)獲取cookie的功能,存儲到變量中,先來感受一下
import urllib2 import cookielib #聲明一個CookieJar對象實例來保存cookie cookie = cookielib.CookieJar() #利用urllib2庫的HTTPCookieProcessor對象來創(chuàng)建cookie處理器 handler=urllib2.HTTPCookieProcessor(cookie) #通過handler來構建opener opener = urllib2.build_opener(handler) #此處的open方法同urllib2的urlopen方法,也可以傳入request response = opener.open('http://www.baidu.com') for item in cookie: print 'Name = '+item.name print 'Value = '+item.value
我們使用以上方法將cookie保存到變量中,然后打印出了cookie中的值,運行結果如下
Name = BAIDUID Value = B07B663B645729F11F659C02AAE65B4C:FG=1 Name = BAIDUPSID Value = B07B663B645729F11F659C02AAE65B4C Name = H_PS_PSSID Value = 12527_11076_1438_10633 Name = BDSVRTM Value = 0 Name = BD_HOME Value = 0
2)保存Cookie到文件
在上面的方法中,我們將cookie保存到了cookie這個變量中,如果我們想將cookie保存到文件中該怎么做呢?這時,我們就要用到
FileCookieJar這個對象了,在這里我們使用它的子類MozillaCookieJar來實現(xiàn)Cookie的保存
import cookielib import urllib2 #設置保存cookie的文件,同級目錄下的cookie.txt filename = 'cookie.txt' #聲明一個MozillaCookieJar對象實例來保存cookie,之后寫入文件 cookie = cookielib.MozillaCookieJar(filename) #利用urllib2庫的HTTPCookieProcessor對象來創(chuàng)建cookie處理器 handler = urllib2.HTTPCookieProcessor(cookie) #通過handler來構建opener opener = urllib2.build_opener(handler) #創(chuàng)建一個請求,原理同urllib2的urlopen response = opener.open("http://www.baidu.com") #保存cookie到文件 cookie.save(ignore_discard=True, ignore_expires=True)
關于最后save方法的兩個參數(shù)在此說明一下:
官方解釋如下:
- ignore_discard: save even cookies set to be discarded.
- ignore_expires: save even cookies that have expiredThe file is overwritten if it already exists
由此可見,ignore_discard的意思是即使cookies將被丟棄也將它保存下來,ignore_expires的意思是如果在該文件中 cookies已經(jīng)存在,則覆蓋原文件寫入,在這里,我們將這兩個全部設置為True。運行之后,cookies將被保存到cookie.txt文件中, 我們查看一下內容,附圖如下
3)從文件中獲取Cookie并訪問
那么我們已經(jīng)做到把Cookie保存到文件中了,如果以后想使用,可以利用下面的方法來讀取cookie并訪問網(wǎng)站,感受一下
import cookielib import urllib2 #創(chuàng)建MozillaCookieJar實例對象 cookie = cookielib.MozillaCookieJar() #從文件中讀取cookie內容到變量 cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True) #創(chuàng)建請求的request req = urllib2.Request("http://www.baidu.com") #利用urllib2的build_opener方法創(chuàng)建一個opener opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) response = opener.open(req) print response.read()
設想,如果我們的 cookie.txt 文件中保存的是某個人登錄百度的cookie,那么我們提取出這個cookie文件內容,就可以用以上方法模擬這個人的賬號登錄百度。
4)利用cookie模擬網(wǎng)站登錄
下面我們以我們學校的教育系統(tǒng)為例,利用cookie實現(xiàn)模擬登錄,并將cookie信息保存到文本文件中,來感受一下cookie大法吧!
注意:密碼我改了啊,別偷偷登錄本宮的選課系統(tǒng) o(╯□╰)o
import urllib import urllib2 import cookielib filename = 'cookie.txt' #聲明一個MozillaCookieJar對象實例來保存cookie,之后寫入文件 cookie = cookielib.MozillaCookieJar(filename) opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) postdata = urllib.urlencode({ 'stuid':'201200131012', 'pwd':'23342321' }) #登錄教務系統(tǒng)的URL loginUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bks_login2.login' #模擬登錄,并把cookie保存到變量 result = opener.open(loginUrl,postdata) #保存cookie到cookie.txt中 cookie.save(ignore_discard=True, ignore_expires=True) #利用cookie請求訪問另一個網(wǎng)址,此網(wǎng)址是成績查詢網(wǎng)址 gradeUrl = 'http://jwxt.sdu.edu.cn:7890/pls/wwwbks/bkscjcx.curscopre' #請求訪問成績查詢網(wǎng)址 result = opener.open(gradeUrl) print result.read()
以上程序的原理如下
創(chuàng)建一個帶有cookie的opener,在訪問登錄的URL時,將登錄后的cookie保存下來,然后利用這個cookie來訪問其他網(wǎng)址。
如登錄之后才能查看的成績查詢呀,本學期課表呀等等網(wǎng)址,模擬登錄就這么實現(xiàn)啦,是不是很酷炫?
相關文章
Python實現(xiàn)把utf-8格式的文件轉換成gbk格式的文件
這篇文章主要介紹了Python實現(xiàn)把utf-8格式的文件轉換成gbk格式的文件,本文給出了實現(xiàn)代碼并同時剖析了代碼的作用,需要的朋友可以參考下2015-01-01Python交互環(huán)境下打印和輸入函數(shù)的實例內容
在本篇文章里小編給大家分享的是關于Python交互環(huán)境下打印和輸入函數(shù)的實例內容,有興趣的朋友們可以學習下。2020-02-02Django框架中render_to_response()函數(shù)的使用方法
這篇文章主要介紹了Django框架中render_to_response()函數(shù)的使用方法,注意范例中該方法的參數(shù)的使用,需要的朋友可以參考下2015-07-07Python使用plt.boxplot()函數(shù)繪制箱圖、常用方法以及含義詳解
箱線圖一般用來展現(xiàn)數(shù)據(jù)的分布,如上下四分位值、中位數(shù)等,也可以直觀地展示異常點,下面這篇文章主要給大家介紹了關于Python使用plt.boxplot()函數(shù)繪制箱圖、常用方法以及含義詳解的相關資料,需要的朋友可以參考下2022-08-08