亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

Scrapy 配置動(dòng)態(tài)代理IP的實(shí)現(xiàn)

 更新時(shí)間：2020年09月28日 10:34:07   作者：BradyCC  
這篇文章主要介紹了Scrapy 配置動(dòng)態(tài)代理IP的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

應(yīng)用 Scrapy框架 ，配置動(dòng)態(tài)IP處理反爬。

# settings 配置中間件
DOWNLOADER_MIDDLEWARES = {
  'text.middlewares.TextDownloaderMiddleware': 543,
  # 'text.middlewares.RandomUserAgentMiddleware': 544,
  # 'text.middlewares.CheckUserAgentMiddleware': 545,
  'text.middlewares.ProxyMiddleware': 546,
  'text.middlewares.CheckProxyMiddleware': 547
}

 
# settings 配置可用動(dòng)態(tài)IP
PROXIES = [
  "http://101.231.104.82:80",
  "http://39.137.69.6:8080",
  "http://39.137.69.10:8080",
  "http://39.137.69.7:80",
  "http://39.137.77.66:8080",
  "http://117.191.11.102:80",
  "http://117.191.11.113:8080",
  "http://117.191.11.113:80",
  "http://120.210.219.103:8080",
  "http://120.210.219.104:80",
  "http://120.210.219.102:80",
  "http://119.41.236.180:8010",
  "http://117.191.11.80:8080"
]
# middlewares 配置中間件
import random

class ProxyMiddleware(object):

  def process_request(self, request, spider):
    ip = random.choice(spider.settings.get('PROXIES'))
    print('測(cè)試IP:', ip)
    request.meta['proxy'] = ip


class CheckProxyMiddleware(object):

  def process_response(self, request, response, spider):
    print('代理IP:', request.meta['proxy'])
    return response

到此這篇關(guān)于Scrapy 配置動(dòng)態(tài)代理IP的實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)Scrapy 動(dòng)態(tài)代理IP內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

相關(guān)文章

  • Python文件右鍵找不到IDLE打開項(xiàng)解決辦法

    Python文件右鍵找不到IDLE打開項(xiàng)解決辦法

    這篇文章主要介紹了Python文件右鍵找不到IDLE打開項(xiàng)解決辦法,本文使用注冊(cè)表解決了這個(gè)問(wèn)題,需要的朋友可以參考下
    2015-06-06
  • python統(tǒng)計(jì)字母、空格、數(shù)字等字符個(gè)數(shù)的實(shí)例

    python統(tǒng)計(jì)字母、空格、數(shù)字等字符個(gè)數(shù)的實(shí)例

    今天小編就為大家分享一篇python統(tǒng)計(jì)字母、空格、數(shù)字等字符個(gè)數(shù)的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-06-06
  • Python中使用ConfigParser解析ini配置文件實(shí)例

    Python中使用ConfigParser解析ini配置文件實(shí)例

    這篇文章主要介紹了Python中使用ConfigParser解析ini配置文件實(shí)例,本文給出了創(chuàng)建和讀取ini文件的例子,需要的朋友可以參考下
    2014-08-08
  • Django使用Jinja2模板引擎的示例代碼

    Django使用Jinja2模板引擎的示例代碼

    這篇文章主要介紹了Django使用Jinja2模板引擎的示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-08-08
  • Python數(shù)據(jù)類型之Set集合實(shí)例詳解

    Python數(shù)據(jù)類型之Set集合實(shí)例詳解

    這篇文章主要介紹了Python數(shù)據(jù)類型之Set集合,結(jié)合實(shí)例形式詳細(xì)分析了Python數(shù)據(jù)類型中集合的概念、原理、創(chuàng)建、遍歷、交集、并集等相關(guān)操作技巧,需要的朋友可以參考下
    2019-05-05
  • 使用python進(jìn)行文本預(yù)處理和提取特征的實(shí)例

    使用python進(jìn)行文本預(yù)處理和提取特征的實(shí)例

    今天小編就為大家分享一篇使用python進(jìn)行文本預(yù)處理和提取特征的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-06-06
  • Python+matplotlib實(shí)現(xiàn)餅圖的繪制

    Python+matplotlib實(shí)現(xiàn)餅圖的繪制

    Matplotlib是一個(gè)Python的2D繪圖庫(kù)，它以各種硬拷貝格式和跨平臺(tái)的交互式環(huán)境生成出版質(zhì)量級(jí)別的圖形。本文將利用Matplotlib庫(kù)繪制餅圖，感興趣的可以了解一下
    2022-03-03
  • python如何讀取指定csv單元格

    python如何讀取指定csv單元格

    這篇文章主要介紹了python如何讀取指定csv單元格方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2024-02-02
  • Python實(shí)現(xiàn)將多張圖片合成視頻并加入背景音樂(lè)

    Python實(shí)現(xiàn)將多張圖片合成視頻并加入背景音樂(lè)

    這篇文章主要為大家介紹了如何利用Python實(shí)現(xiàn)將多張圖片合成mp4視頻，并加入背景音樂(lè)。文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以了解一下
    2022-04-04
  • 一文教你如何用Python輕輕松松操作Excel,Word,CSV

    一文教你如何用Python輕輕松松操作Excel,Word,CSV

    數(shù)據(jù)處理是 Python 的一大應(yīng)用場(chǎng)景，而 Excel 又是當(dāng)前最流行的數(shù)據(jù)處理軟件。本文將為大家詳細(xì)介紹一下如何用Python輕輕松松操作Excel、Word、CSV，需要的可以參考一下
    2022-02-02

最新評(píng)論