python模擬登陸、POST/GET請求方式
python模擬登陸、POST/GET請求
通常我們在訪問網(wǎng)頁時，都會通過某個輸入框輸入數(shù)據(jù)，網(wǎng)頁就會發(fā)出POST、GET或者其他形式向服務器發(fā)起請求，成功后并返回數(shù)據(jù)到前臺展示。以下針對python的requests庫做簡單介紹。
前提先安裝python以及requests庫
安裝requests：
pip install requests
請求測試url = http://www.test.com
一、GET請求
1、無請求參數(shù)：直接訪問某url鏈接即可獲取數(shù)據(jù)
result = requests.get(url=url) print(result.status_code) # 請求狀態(tài) print(result.url)# 請求url print(result.text) # 請求結(jié)果
2、有請求參數(shù)：鍵值對形式表示參數(shù)
result = requests.get(url=url, params={'keyword1':'val1','keyword2':'val2'})
#或者可以直接先拼接url
#new_url = url + '?keyword1=' + val1 + '&keyword1=' +val2
#result = requests.get(url=new_url)
print(result.status_code) # 請求狀態(tài)
print(result.url)# 請求url
print(result.text) # 請求結(jié)果
3、有請求頭部參數(shù)：鍵值對形式表示參數(shù)
result = requests.get(url=url, params={'keyword1':'val1','keyword2':'val2'})
#或者可以直接先拼接url
#new_url = url + '?keyword1=' + val1 + '&keyword1=' +val2
#result = requests.get(url=new_url)
print(result.status_code) # 請求狀態(tài)
print(result.url)# 請求url
print(result.text) # 請求結(jié)果
二、POST請求
1、請求的結(jié)果集是application/x-www-form-urlencoded
result = requests.post(url=url,data={'keyword1':'val1','keyword2':'val2'},headers={'Content-Type':'application/x-www-form-urlencoded'})
print(result.status_code) # 請求狀態(tài)
print(result.url)# 請求url
print(result.text) # 請求結(jié)果
2、請求的結(jié)果集是multipart/form-data
result = requests.post(url=url,data={'keyword1':'val1','keyword2':'val2'},headers={'Content-Type':'multipart/form-data'})
print(result.status_code) # 請求狀態(tài)
print(result.url)# 請求url
print(result.text) # 請求結(jié)果
3、請求的結(jié)果集是application/json
import json
data = {'keyword1':'val1','keyword2':'val2'}
json_data = json.dumps(data)
result = requests.post(url=url,data=json_data,headers={'Content-Type':'application/json'})
print(result.status_code) # 請求狀態(tài)
print(result.url)# 請求url
print(result.text) # 請求結(jié)果
如下圖：
下來來說一下之前自己遇到的坑，請求方式為POST,且為Request Payload形式的請求。
一開始自以為跟form-data一樣，只傳一個url跟data，且data沒有格式化成JSON，導致請求回來的狀態(tài)為415:服務器無法處理請求附帶的媒體格式,經(jīng)查閱后來改個格式以及請求頭就順利返回數(shù)據(jù)。
完整demo如下：
import json
import requests
import datetime
import re, urllib.request, lxml.html, http.cookiejar
url = 'http://test.com/products'
# payloadData數(shù)據(jù)
payload_data = {'keyword1': "val1", 'keyword2': "val2"}
# 請求頭設置
payload_header = {
'Host': 'test.com',
'Content-Type': 'application/json; charset=UTF-8',
}
# 下載超時
timeout = 30
# 代理IP
# proxy_list = {"HTTP":'http://210.22.5.117"3128',"HTTP":'http://163.172.189.32:8811',"HTTP":'http://180.153.144.138:8800'}
json_data = json.dumps(payload_data)
# allow_redirects 是否重定向
# result = requests.post(url=url, data=json_data, headers=payloadHeader, timeout=timeout, proxies=proxy_list, allow_redirects=True)
result = requests.post(url, data=json_data, headers=payload_header, timeout=timeout, allow_redirects=True)
# 下面這種直接填充json參數(shù)的方式也OK
# result = requests.post(url, json=json_data, headers=payload_header)
print("請求耗時：{0}, 狀態(tài)碼：{1}, 結(jié)果：{2}".format(datetime.datetime.now(),res.status_code,res.text))
三、需要模擬登陸后再發(fā)送Post請求
有時候就想模擬頁面上的某些細微的操作，例如登錄后需要在前端利用ajax請求修改數(shù)據(jù)。
如果只是極個別數(shù)量修改的話，那還是前端直接操作快一點。
如果是大批量的修改那還是得借住程序遍歷修改即可。
登錄頁面：
先打開F12進入開發(fā)者模式，然后隨便在上面的表單輸入框數(shù)據(jù)，點擊登錄，雖然是錯誤的登錄數(shù)據(jù)，我們只是為了查看登錄請求提交的數(shù)據(jù)格式，如下圖：
其中的某些不是我們輸入的隱藏值，我們需要到頁面源碼中的表單獲取，右鍵查看頁面源碼，把那些非自己輸入的 “__VIEWSTATE"，”__VIEWSTATEGENERATOR"，"__EVENTVALIDATION" 的值到原頁面中查找，例如：
也就是說我們得事先先訪問該頁面頁面源碼并解析獲取以上屬性值：
import requests, string
import re, urllib.request, lxml.html, http.cookiejar
login_url = "http://test.com/Login.aspx"
response = urllib.request.urlopen(login_url)
f = response.read()
doc = lxml.html.document_fromstring(f)
VIEWSTATE = doc.xpath("http://input[@id='__VIEWSTATE']/@value")
VIEWSTATEGENERATOR = doc.xpath("http://input[@id='__VIEWSTATEGENERATOR']/@value")
EVENTVALIDATION = doc.xpath("http://input[@id='__EVENTVALIDATION']/@value")
獲取到這些之后，得把這些值放回到Form-Data（表單數(shù)據(jù)中）：
from urllib.parse import quote
login_data = urllib.parse.urlencode({
'__EVENTTARGET' : '',
'__EVENTARGUMENT' : '',
'__VIEWSTATE' : VIEWSTATE[0],
'__VIEWSTATEGENERATOR' : VIEWSTATEGENERATOR[0],
'__EVENTVALIDATION' : EVENTVALIDATION[0],
'TextCustomerID' : "真實商戶號",
'TextAdminName' : '真實用戶名',
'TextPassword' : '真實密碼',
'btnLogin.x' : 40,
'btnLogin.y' : 10
}).encode('utf-8')
登錄參數(shù)的編碼很重要，如果沒有進行utf-8編碼會報以下錯誤:
Traceback (most recent call last):
File "c:\users\user\appdata\local\programs\python\python38\lib\http\client.py", line 965, in send
self.sock.sendall(data)
File "c:\users\user\appdata\local\programs\python\python38\lib\ssl.py", line 1201, in sendall
with memoryview(data) as view, view.cast("B") as byte_view:
TypeError: memoryview: a bytes-like object is required, not 'str'
表單數(shù)據(jù)有了，接下來就是把請求頭也要獲取出來：
header = {
'Host': 'www.test.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:74.0) Gecko/20100101 Firefox/74.0',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Accept-Encoding': 'gzip, deflate',
'Content-Type': 'application/x-www-form-urlencoded',
'Origin': 'http://www.test.com',
'Connection': 'keep-alive',
'Referer': 'http://www.test.com/Login.aspx',
'Upgrade-Insecure-Requests': 1
}
模擬登陸并保存cookie:
#模擬登錄請求 login_request = urllib.request.Request(login_url, login_data, Headers) #創(chuàng)建cookie，利用cookie實現(xiàn)持久化登錄 cj = http.cookiejar.CookieJar() opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj)) login_result = opener.open(login_request)
最后模擬登陸后，如果是要采集某頁面數(shù)據(jù)的話也可以通過urllib.request.urlopen訪問頁面鏈接讀取頁面源碼進行數(shù)據(jù)采集。
如果有批量數(shù)據(jù)需要進行Post/Get處理，那么就可以把待處理的數(shù)據(jù)獲取好，然后遍歷發(fā)起Post或Get請求即可：
import time, random
var datas = {.....}
for data in datas:
response = requests.get(url, headers = headers, data=json_data, cookies = cj)
# 或
response = requests.post(url, headers = headers, data=json_data, cookies = cj)
time.sleep(random.randint(3, 5))
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
pyenv虛擬環(huán)境管理python多版本和軟件庫的方法
這篇文章主要介紹了pyenv虛擬環(huán)境管理python多版本和軟件庫，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-12-12
基于Python的Post請求數(shù)據(jù)爬取的方法詳解
這篇文章主要介紹了基于Python的Post請求數(shù)據(jù)爬取的方法,需要的朋友可以參考下2019-06-06
這篇文章主要為大家詳細介紹了python實現(xiàn)百度語音識別api，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-04-04
本文主要介紹了JupyterLab遠程密碼訪問實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-02-02
jupyter 實現(xiàn)notebook中顯示完整的行和列
這篇文章主要介紹了jupyter 實現(xiàn)notebook中顯示完整的行和列，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
詳解JavaScript編程中的window與window.screen對象
這篇文章主要介紹了JavaScript編程中的window與window.screen對象,是JS在瀏覽器中視圖編程的基礎(chǔ),需要的朋友可以參考下2015-10-10
詳解python string類型 bytes類型 bytearray類型
這篇文章主要介紹了python string類型 bytes類型 bytearray類型,需要的朋友可以參考下2017-12-12
python爬蟲實戰(zhàn)steam加密逆向RSA登錄解析
今天帶來爬蟲實戰(zhàn)的文章。在挑選游戲的過程中感受學習，讓你突飛猛進。本文主要實現(xiàn)用Python逆向登錄世界上最大的游戲平臺源碼分享，了解steam加密手段有多高明2021-10-10
下面小編就為大家分享一篇python3獲取當前文件的上一級目錄實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
Python中函數(shù)的創(chuàng)建及調(diào)用
這篇文章主要介紹了Python中函數(shù)的創(chuàng)建及調(diào)用，創(chuàng)建函數(shù)也稱為定義一個函數(shù)，可以理解為創(chuàng)建一個具有某種用途的工具。調(diào)用函數(shù)也就是執(zhí)行函數(shù)。如果把創(chuàng)建的函數(shù)理解為創(chuàng)建一個具體有某種用途的工具，那么調(diào)用函數(shù)就相當于使用該工具2022-06-06