亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

python爬蟲 基于requests模塊的get請求實現(xiàn)詳解

 更新時間:2019年08月20日 10:06:58   作者:minger_lcm  
這篇文章主要介紹了python爬蟲 基于requests模塊的get請求實現(xiàn)詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

需求:爬取搜狗首頁的頁面數(shù)據(jù)

import requests
# 1.指定url
url = 'https://www.sogou.com/'
# 2.發(fā)起get請求:get方法會返回請求成功的響應(yīng)對象
response = requests.get(url=url)
# 3.獲取響應(yīng)中的數(shù)據(jù):text屬性作用是可以獲取響應(yīng)對象中字符串形式的頁面數(shù)據(jù)
page_data = response.text
# 4.持久化數(shù)據(jù)
with open("sougou.html","w",encoding="utf-8") as f:
  f.write(page_data)
  f.close()
print("ok")

requests模塊如何處理攜帶參數(shù)的get請求,返回攜帶參數(shù)的請求

需求:指定一個詞條,獲取搜狗搜索結(jié)果所對應(yīng)的頁面數(shù)據(jù)

之前urllib模塊處理url上參數(shù)有中文的需要處理編碼,requests會自動處理url編碼

發(fā)起帶參數(shù)的get請求

params可以是傳字典或者列表

def get(url, params=None, **kwargs):
  r"""Sends a GET request.
  :param url: URL for the new :class:`Request` object.
  :param params: (optional) Dictionary, list of tuples or bytes to send
    in the body of the :class:`Request`.
  :param \*\*kwargs: Optional arguments that ``request`` takes.
  :return: :class:`Response <Response>` object
  :rtype: requests.Response
import requests
# 指定url
url = 'https://www.sogou.com/web'
# 封裝get請求參數(shù)
prams = {
  'query':'周杰倫',
  'ie':'utf-8'
}
response = requests.get(url=url,params=prams)
page_text = response.text
with open("周杰倫.html","w",encoding="utf-8") as f:
  f.write(page_text)
  f.close()
print("ok")

利用requests模塊自定義請求頭信息,并且發(fā)起帶參數(shù)的get請求

get方法有個headers參數(shù) 把請求頭信息的字典賦給headers參數(shù)

import requests
# 指定url
url = 'https://www.sogou.com/web'
# 封裝get請求參數(shù)
prams = {
  'query':'周杰倫',
  'ie':'utf-8'
}
# 自定義請求頭信息
headers={
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
  }
response = requests.get(url=url,params=prams,headers=headers)
page_text = response.text
with open("周杰倫.html","w",encoding="utf-8") as f:
  f.write(page_text)
  f.close()
print("ok")

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • pytorch中Tensor.to(device)和model.to(device)的區(qū)別及說明

    pytorch中Tensor.to(device)和model.to(device)的區(qū)別及說明

    這篇文章主要介紹了pytorch中Tensor.to(device)和model.to(device)的區(qū)別及說明,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2022-07-07
  • 利用Python獲取文件夾下所有文件實例代碼

    利用Python獲取文件夾下所有文件實例代碼

    在處理數(shù)據(jù)的過程中經(jīng)常需要遍歷文件夾,如果遠(yuǎn)程服務(wù)器的文件是分布式存儲,遍歷需要更快的速度,下面這篇文章主要給大家介紹了關(guān)于利用Python獲取文件夾下所有文件的相關(guān)資料,需要的朋友可以參考下
    2023-01-01
  • python+opencv邊緣提取與各函數(shù)參數(shù)解析

    python+opencv邊緣提取與各函數(shù)參數(shù)解析

    這篇文章主要介紹了python+opencv邊緣提取與各函數(shù)參數(shù)解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-03-03
  • 詳解Python多線程Selenium跨瀏覽器測試

    詳解Python多線程Selenium跨瀏覽器測試

    本篇文章主要介紹了Python多線程Selenium跨瀏覽器測試,具有一定的參考價值,感興趣的小伙伴們可以參考一下。
    2017-04-04
  • 淺談pytorch torch.backends.cudnn設(shè)置作用

    淺談pytorch torch.backends.cudnn設(shè)置作用

    今天小編就為大家分享一篇淺談pytorch torch.backends.cudnn設(shè)置作用,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-02-02
  • pandas 按照特定順序輸出的實現(xiàn)代碼

    pandas 按照特定順序輸出的實現(xiàn)代碼

    這篇文章主要介紹了pandas 按照特定順序輸出的實現(xiàn)代碼,非常不錯,具有一定的參考借鑒價值,需要的朋友可以參考下
    2018-07-07
  • Python中的引用與copy介紹

    Python中的引用與copy介紹

    這篇文章主要以整型數(shù)據(jù)類型及列表為例,詳細(xì)的介紹了再Python中的引用與copy的相關(guān)資料,需要的朋友可以參考下面文章內(nèi)容
    2021-09-09
  • Python去除圖片水印實現(xiàn)方法詳解

    Python去除圖片水印實現(xiàn)方法詳解

    這篇文章主要為大家詳細(xì)介紹了如何利用Python實現(xiàn)處理圖片水印的相關(guān)資料,主要是實現(xiàn)圖片水印的去除效果,感興趣的小伙伴可以嘗試一下
    2023-01-01
  • Python報錯:NameError:?name?‘xxx‘?is?not?defined的解決辦法

    Python報錯:NameError:?name?‘xxx‘?is?not?defined的解決辦法

    這篇文章主要給大家介紹了關(guān)于Python報錯:NameError:?name?‘xxx‘?is?not?defined的解決辦法,文中通過代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2024-06-06
  • Python正則表達(dá)式字符串的匹配、替換、分割、查找方式

    Python正則表達(dá)式字符串的匹配、替換、分割、查找方式

    這篇文章主要介紹了Python正則表達(dá)式字符串的匹配、替換、分割、查找方式,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-07-07

最新評論