Python爬蟲實現(xiàn)自動登錄、簽到功能的代碼
更新 2016/8/9:最近發(fā)現(xiàn)目標網(wǎng)站已經(jīng)屏蔽了這個登錄簽到的接口(PS:不過我還是用這個方式賺到了將近一萬點積分·····)
前幾天女朋友跟我說,她在一個素材網(wǎng)站上下載東西,積分總是不夠用,積分是怎么來的呢,是每天登錄網(wǎng)站簽到獲得的,當然也能購買,她不想去買,因為偶爾才會用一次,但是每到用的時候就發(fā)現(xiàn)積分不夠,又記不得每天去簽到,所以就有了這個糾結(jié)的事情。怎么辦呢,想辦法唄,于是我就用python寫了個小爬蟲,每天去自動幫她簽到掙積分。廢話不多說,下面就講講代碼。
我這里用的是python3.4,使用python2.x的朋友如果有需要請繞道查看別的文章。
工具:Fiddler
首先下載安裝Fiddler,這個工具是用來監(jiān)聽網(wǎng)絡請求,有助于你分析請求鏈接和參數(shù)。
打開目標網(wǎng)站:http://www.17sucai.com/,然后點擊登錄
好了,先別急著登錄,打開你的Fiddler,此時Fiddler里面是沒有監(jiān)聽到網(wǎng)絡請求的,然后回到頁面,輸入郵箱和密碼,點擊登錄,下面再到fiddler里面去看
這里面的第一個請求就是你點擊登錄的網(wǎng)絡請求,點擊這個鏈接可以在右邊看到你的一些請求信息
然后點擊WebForms可以看到你的請求參數(shù),也就是用戶名和密碼
下面我們有代碼來實現(xiàn)登錄功能
import urllib.request import urllib import gzip import http.cookiejar #定義一個方法用于生成請求頭信息,處理cookie def getOpener(head): # deal with the Cookies <pre name="code" class="python"> cj = http.cookiejar.CookieJar() pro = urllib.request.HTTPCookieProcessor(cj) opener = urllib.request.build_opener(pro) header = [] for key, value in head.items(): elem = (key, value) header.append(elem) opener.addheaders = header return opener #定義一個方法來解壓返回信息 def ungzip(data): try: # 嘗試解壓 print('正在解壓.....') data = gzip.decompress(data) print('解壓完畢!') except: print('未經(jīng)壓縮, 無需解壓') return data #封裝頭信息,偽裝成瀏覽器 header = { 'Connection': 'Keep-Alive', 'Accept-Language': 'zh-CN,zh;q=0.8', 'Accept': 'application/json, text/javascript, */*; q=0.01', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36', 'Accept-Encoding': 'gzip, deflate', 'X-Requested-With': 'XMLHttpRequest', 'Host': 'www.17sucai.com', } url = 'http://www.17sucai.com/auth' opener = getOpener(header) id = 'xxxxxxxxxxxxx'#你的用戶名 password = 'xxxxxxx'#你的密碼 postDict = { 'email': id, 'password': password, } postData = urllib.parse.urlencode(postDict).encode() op = opener.open(url, postData) data = op.read() data = ungzip(data) print(data)
好了,接下來清空一下你的Fiddler,然后運行這個程序,看一下你的Fiddler
你可以點擊這個鏈接,看看右邊的請求信息和你用瀏覽器請求的是不是一樣
下面是程序后代打印的信息
code=200表示登陸成功
解析來就需要獲取到簽到的url,這里你需要一個沒有簽到的賬號在網(wǎng)站中點擊簽到按鈕,然后通過Fiddler來獲取到簽到的鏈接和需要的信息。
然后點擊“簽到”,簽到成功后到Fiddler中查看捕捉到的url
點擊這個url可以在右邊查看訪問這個鏈接時所需要的頭信息和cookies神馬的,我們已經(jīng)登錄成功后直接使用cookies就行了,python對cookies的處理做好了封裝,下面是我的代碼中對cookies的使用
cj = http.cookiejar.CookieJar() pro = urllib.request.HTTPCookieProcessor(cj) opener = urllib.request.build_opener(pro)
下面是簽到成功返回的信息:code=200表示請求成功,day=1表示連續(xù)簽到一天,score=20表示獲得的積分數(shù)
下面放出完整代碼,當然,為了測試代碼簽到,你還需要你一沒有簽到過的賬號
import urllib.request import urllib import gzip import http.cookiejar def getOpener(head): # deal with the Cookies cj = http.cookiejar.CookieJar() pro = urllib.request.HTTPCookieProcessor(cj) opener = urllib.request.build_opener(pro) header = [] for key, value in head.items(): elem = (key, value) header.append(elem) opener.addheaders = header return opener def ungzip(data): try: # 嘗試解壓 print('正在解壓.....') data = gzip.decompress(data) print('解壓完畢!') except: print('未經(jīng)壓縮, 無需解壓') return data header = { 'Connection': 'Keep-Alive', 'Accept-Language': 'zh-CN,zh;q=0.8', 'Accept': 'application/json, text/javascript, */*; q=0.01', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36', 'Accept-Encoding': 'gzip, deflate', 'X-Requested-With': 'XMLHttpRequest', 'Host': 'www.17sucai.com', } url = 'http://www.17sucai.com/auth' opener = getOpener(header) id = 'xxxxxxx' password = 'xxxxxxx' postDict = { 'email': id, 'password': password, } postData = urllib.parse.urlencode(postDict).encode() op = opener.open(url, postData) data = op.read() data = ungzip(data) print(data) url = 'http://www.17sucai.com/member/signin' #簽到的地址 op = opener.open(url) data = op.read() data = ungzip(data) print(data)
相比登錄,簽到也就是在登錄完成后重新打開一個鏈接而已,由于我的賬號都已經(jīng)簽到過了,這里就不在貼運行代碼的圖 了。
接下來要做的就是在你電腦上寫個bat 腳本,再在“任務計劃”中添加一個定時任務就行了。
在此之前你還需要配置一下python的環(huán)境變量,這里就不在贅述了。
到此這篇關于Python爬蟲實現(xiàn)自動登錄、簽到功能的代碼的文章就介紹到這了,更多相關Python爬蟲實現(xiàn)自動登錄、簽到內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!
- 如何基于Python爬蟲爬取美團酒店信息
- 10個python爬蟲入門實例(小結(jié))
- python 爬蟲如何正確的使用cookie
- python 爬蟲基本使用——統(tǒng)計杭電oj題目正確率并排序
- python 如何使用find和find_all爬蟲、找文本的實現(xiàn)
- Python爬蟲代理池搭建的方法步驟
- python如何提升爬蟲效率
- python爬蟲構(gòu)建代理ip池抓取數(shù)據(jù)庫的示例代碼
- python爬蟲爬取網(wǎng)頁數(shù)據(jù)并解析數(shù)據(jù)
- Python 通過爬蟲實現(xiàn)GitHub網(wǎng)頁的模擬登錄的示例代碼
- Python爬蟲防封ip的一些技巧
- Python爬蟲爬取微信朋友圈
- python爬蟲使用requests發(fā)送post請求示例詳解
- python爬蟲使用正則爬取網(wǎng)站的實現(xiàn)
- Python爬蟲獲取豆瓣電影并寫入excel
- Python3爬蟲關于識別點觸點選驗證碼的實例講解
- Selenium結(jié)合BeautifulSoup4編寫簡單的python爬蟲
相關文章
Python 序列化 pickle/cPickle模塊使用介紹
這篇文章主要介紹了Python 序列化 pickle/cPickle模塊使用介紹,需要的朋友可以參考下2014-11-11Python-docx 實現(xiàn)整體修改或者部分修改文字的大小和字體類型
這篇文章主要介紹了Python-docx 實現(xiàn)整體修改或者部分修改文字的大小和字體類型,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03python3使用PyMysql連接mysql數(shù)據(jù)庫實例
本篇文章主要介紹了python3使用PyMysql連接mysql數(shù)據(jù)庫實例,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2017-02-02分布式爬蟲scrapy-redis的實戰(zhàn)踩坑記錄
最近用scrapy-redis嘗試了分布式爬蟲,使用過程中也遇到了不少問題,下面這篇文章主要給大家介紹了關于分布式爬蟲scrapy-redis的實戰(zhàn)踩坑記錄,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下2022-08-08python?dowhy數(shù)據(jù)估計因果分析功能探索
這篇文章主要為大家介紹了python?dowhy數(shù)據(jù)估計因果分析功能實例探索,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2024-02-02