亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

python中requests庫(kù)安裝與使用詳解

 更新時(shí)間：2022年07月07日 08:32:02   作者：米兔-miny  
requests是一個(gè)很實(shí)用的Python HTTP客戶端庫(kù),爬蟲(chóng)和測(cè)試服務(wù)器響應(yīng)數(shù)據(jù)時(shí)經(jīng)常會(huì)用到,下面這篇文章主要給大家介紹了關(guān)于python中requests庫(kù)安裝與使用的相關(guān)資料,需要的朋友可以參考下

前言

記得我剛學(xué)python-requests庫(kù)的時(shí)候總會(huì)有點(diǎn)暈，于是我做了以下關(guān)于requests庫(kù)的知識(shí)點(diǎn)整理，方便初學(xué)者可以更好的了解requests庫(kù)。如果有補(bǔ)充或錯(cuò)誤，或者不懂的地方，可以評(píng)論區(qū)留言。

1、Requests介紹

Requests是Python一個(gè)很實(shí)用的HTTP客戶端，完全滿足如今網(wǎng)絡(luò)爬蟲(chóng)的需求

urllib庫(kù)和requests庫(kù)功能類似，但requests庫(kù)功能更多更實(shí)用

2、requests庫(kù)的安裝

pip命令安裝（方法一）

  • windows操作系統(tǒng)：pip install requests
  • Mac操作系統(tǒng)：pip3 install requests
  • Linux操作系統(tǒng)：sodo pip install requests

源碼安裝（方法二）

  • 下載 requests源碼 http://mirrors.aliyun.com/pypi/simple/ requests/
  • 下載文件到本地之后，解壓到Python安裝目錄，之后打開(kāi)解壓文
  • 運(yùn)行命令行輸入python setup.py install 即可安裝

測(cè)試

  • import requests
  • 如果沒(méi)提示錯(cuò)誤，那說(shuō)明已經(jīng)安裝成功了！

3、requests庫(kù)常用的方法

序號(hào)

方法

描述

1

requests.request(url)

構(gòu)造一個(gè)請(qǐng)求，支持以下各種方法

2

requests.get()

發(fā)送一個(gè)Get請(qǐng)求

3

requests.post()

發(fā)送一個(gè)Post請(qǐng)求

4

requests.head()

獲取HTML的頭部信息

5

requests.put()

發(fā)送Put請(qǐng)求

6

requests.patch()

提交局部修改的請(qǐng)求

7

requests.delete()

提交刪除請(qǐng)求

最常用的方法為get()和post()分別用于發(fā)送Get請(qǐng)求和Post請(qǐng)求

4、response對(duì)象的常用屬性

序號(hào)

屬性或方法

描述

1

response.status_code

響應(yīng)狀態(tài)碼

2

response.content

把response對(duì)象轉(zhuǎn)換為二進(jìn)制數(shù)據(jù)

3

response.text

把response對(duì)象轉(zhuǎn)換為字符串?dāng)?shù)據(jù)

4

response.encoding

定義response對(duì)象的編碼

5

response.cookie

獲取請(qǐng)求后的cookie

6

response.url

獲取請(qǐng)求網(wǎng)址

7

response.json()

內(nèi)置的JSON解碼器

8

Response.headers

以字典對(duì)象存儲(chǔ)服務(wù)器響應(yīng)頭，字典鍵不區(qū)分大小寫(xiě)

5、使用requests發(fā)送get請(qǐng)求

  • 不帶參數(shù)的get請(qǐng)求
    • 案例：爬取百度主頁(yè)
  • 帶參數(shù)的get請(qǐng)求
    • 案例：貼吧
  • 獲取JSON數(shù)據(jù)
    • 案例：百度美女圖片
  • 獲取二進(jìn)制數(shù)據(jù)
    • 案例：下載百度logo

5.1  不帶參數(shù)的get請(qǐng)求

# 不帶參數(shù)的get請(qǐng)求
 
import requests
url='http://www.baidu.com'
resp = requests.get(url)
# 設(shè)置響應(yīng)的經(jīng)編碼格式
resp.encoding='utf-8'
cookie=resp.cookies    # 獲取請(qǐng)求后的cookie信息
headers=resp.headers
print('響應(yīng)狀態(tài)碼：', resp.status_code)
print('請(qǐng)求后的cookie：', cookie)
print('獲取請(qǐng)求的網(wǎng)址：', resp.url)
print('響應(yīng)頭：', headers)
print('響應(yīng)內(nèi)容', resp.text)
----------------------------------以下為輸出結(jié)果----------------------------------
'''
響應(yīng)狀態(tài)碼： 200
請(qǐng)求后的cookie： <RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
獲取請(qǐng)求的網(wǎng)址： http://www.baidu.com/
響應(yīng)頭： {'Cache-Control': 'private, no-cache, no-store, proxy-revalidate, no-transform', 'Connection': 'keep-alive', 'Content-Encoding': 'gzip', 'Content-Type': 'text/html', 'Date': 'Fri, 23 Apr 2021 00:10:35 GMT', 'Last-Modified': 'Mon, 23 Jan 2017 13:28:16 GMT', 'Pragma': 'no-cache', 'Server': 'bfe/1.0.8.18', 'Set-Cookie': 'BDORZ=27315; max-age=86400; domain=.baidu.com; path=/', 'Transfer-Encoding': 'chunked'}
響應(yīng)內(nèi)容 <!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type.........
'''

5.2 帶參數(shù)的get請(qǐng)求

5.2.1 查詢參數(shù)params

  • params，數(shù)據(jù)類型為字典
  • 作用：對(duì)URL地址中的查詢參數(shù)自動(dòng)進(jìn)行編碼拼接
  • 使用示例：resp = requests.get(url=baseurl, params=params, headers=headers)
# 帶參數(shù)的get請(qǐng)求
 
import requests
url = 'https://tieba.baidu.com/f?'
params = {'kw':'大學(xué)吧', 'pn':'3'}
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64)'}
# 開(kāi)始請(qǐng)求
html = requests.get(url=url, params=params, headers=headers).text
print(html)

5.2.2 SSL證書(shū)認(rèn)證參數(shù) verify

  • 參數(shù)值：True（默認(rèn)）| False
  • 適用網(wǎng)站：https類型網(wǎng)站但是沒(méi)有經(jīng)過(guò) 證書(shū)認(rèn)證機(jī)構(gòu) 認(rèn)證的網(wǎng)站
  • 適用場(chǎng)景：當(dāng)程序中拋出SSLError異常則考慮使用此參數(shù)
  • 使用示例：requests.get(url=url,headers=headers,verify=False)
  • 當(dāng)verify參數(shù)設(shè)置為False時(shí)，則不會(huì)再對(duì)網(wǎng)站進(jìn)行SSL證書(shū)認(rèn)證

5.2.3 設(shè)置超時(shí)時(shí)間 timeout

我們可以通過(guò)timeout屬性設(shè)置超時(shí)時(shí)間，一旦超過(guò)這個(gè)時(shí)間還沒(méi)獲得響應(yīng)內(nèi)容，就會(huì)提示錯(cuò)誤。

import requests
requests.get('http://github.com', timeout=0.001)
 
---------------------以下為輸出結(jié)果（報(bào)錯(cuò)）---------------------
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

5.2.4 代理IP參數(shù) proxies

5.2.4.1 免費(fèi)代理IP

  • 語(yǔ)法格式：proxies = { '協(xié)議':'協(xié)議://IP:端口號(hào)'}
  • 示例：
    • 當(dāng)我們抓取的地址為http時(shí)，則會(huì)選擇proxies中http的代理，反之為https
import requests
 
url = 'http://httpbin.org/get'
headers = {'User-Agent':'Mozilla/5.0'}
# 定義代理，再代理IP網(wǎng)站中查找免費(fèi)代理IP
proxies = {
    'http':'http://112.85.164.220:9999',
    'https':'https://112.85.164.220:9999'
}
html = requests.get(url=url,proxies=proxies,headers=headers,timeout=5).text
print(html)

5.2.4.1 私密代理和獨(dú)享代理

語(yǔ)法格式：proxies = { '協(xié)議':'協(xié)議://用戶名:密碼@IP:端口號(hào)'}

示例：

5.3 獲取JSON數(shù)據(jù)

# 獲取json數(shù)據(jù)
 
# 案例：百度獲取宮崎駿動(dòng)漫圖片
# 滑動(dòng)頁(yè)面，URL沒(méi)變化，F(xiàn)12中的文件越來(lái)越多，說(shuō)明這是動(dòng)態(tài)網(wǎng)頁(yè)
# 選擇XHR中的一個(gè)，復(fù)制其Request URL,粘貼給url
 
import requests
url='https://image.baidu.com/search/acjson?tn=resultjson_com&logid=10167214135414424439&ipn=rj&ct=201326592&is=&fp=result&queryWord=%E5%AE%AB%E5%B4%8E%E9%AA%8F%E5%8A%A8%E6%BC%AB%E5%9B%BE%E7%89%87&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=&z=&ic=&hd=&latest=&copyright=&word=%E5%AE%AB%E5%B4%8E%E9%AA%8F%E5%8A%A8%E6%BC%AB%E5%9B%BE%E7%89%87&s=&se=&tab=&width=&height=&face=&istype=&qc=&nc=&fr=&expermode=&force=&pn=30&rn=30&gsm=1e&1619134335166='
resp=requests.get(url)
json_data=resp.json()
print(json_data)

5.4 獲取二進(jìn)制數(shù)據(jù)

一般來(lái)說(shuō)，對(duì)于非文本請(qǐng)求，可以以字節(jié)形式訪問(wèn)響應(yīng)正文。

# 獲取二進(jìn)制數(shù)據(jù)
 
# 案例：保存百度圖片
import requests
url='https://www.baidu.com/img/bd_logo1.png'
resp=requests.get(url)
# 存儲(chǔ)
with open('logo.png','wb') as file:
    # resp.content：把response對(duì)象轉(zhuǎn)換為二進(jìn)制數(shù)據(jù)
    file.write(resp.content)

6、使用requests發(fā)送post請(qǐng)求

  • 語(yǔ)法結(jié)構(gòu)
    • requests.post(url, data=None, json=None)
  • 參數(shù)說(shuō)明
    • url：需要爬取的網(wǎng)站的網(wǎng)址
    • data：請(qǐng)求數(shù)據(jù)
    • json：json格式的數(shù)據(jù)
  • 案例：登錄小說(shuō)樓
    • https://www.xslou.com/login.php
import requests
url='https://www.xslou.com/login.php'
data={'username':'18600605736', 'password':'57365736', 'action':'login'}
resp = requests.post(url,data)
resp.encoding='gb2312'
print('響應(yīng)狀態(tài)碼：', resp.status_code)   # 200
print('響應(yīng)內(nèi)容', resp.text)        # <html>......</html>

7、使用requests的session發(fā)送請(qǐng)求

import requests
url='https://www.xslou.com/login.php'
data={'username':'18600605736', 'password':'57365736', 'action':'login'}
 
# 使用session發(fā)送請(qǐng)求
session = requests.session()
resp=session.post(url,data=data)    # 使用session發(fā)送post請(qǐng)求
resp.encoding='gb2312'
# print( resp.text)        # <html>..<title>登錄成功</title>....</html>

總結(jié)

到此這篇關(guān)于python中requests庫(kù)安裝與使用的文章就介紹到這了,更多相關(guān)python requests庫(kù)詳解內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

最新評(píng)論