DOWNLOADER_MIDDLEWARES = {

    'scraper.random_user_agent.RandomUserAgentMiddleware': 400,

      'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,

}

自定義useragent處理模塊

復(fù)制代碼代碼如下:

from scraper.settings import USER_AGENT_LIST

import random

from scrapy import log

class RandomUserAgentMiddleware(object):

    def process_request(self, request, spider):

        ua  = random.choice(USER_AGENT_LIST)

        if ua:

            request.headers.setdefault('User-Agent', ua)

        #log.msg('>>>> UA %s'%request.headers)

希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

相關(guān)文章

Python可視化神器pyecharts繪制水球圖
這篇文章主要介紹了Python可視化神器pyecharts繪制水球圖，水球圖首先是動(dòng)態(tài)的效果，像水流一樣波動(dòng)，所以看起來比較的舒服，一般用于業(yè)務(wù)里面的完成率，其實(shí)和之前的儀表盤有點(diǎn)類似
2022-07-07
python案例練習(xí)合集
這篇文章主要介紹了python案例學(xué)習(xí)合集，主要的分享對(duì)的練習(xí)案例有python批量查詢、python批量請(qǐng)求（GET?|?POST）、python列表轉(zhuǎn)集合練習(xí)，需要的小伙伴可以參考一下，希望對(duì)你的學(xué)習(xí)有所幫助
2022-02-02
基于Tensorflow的MNIST手寫數(shù)字識(shí)別分類
這篇文章主要為大家詳細(xì)介紹了基于Tensorflow的MNIST手寫數(shù)字識(shí)別分類，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2020-06-06
Django路由層URLconf作用及原理解析
這篇文章主要介紹了Django路由層URLconf作用及原理解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-09-09
python為什么會(huì)環(huán)境變量設(shè)置不成功
在本篇文章里小編給大家分享的是一篇關(guān)于python環(huán)境變量設(shè)置不成功怎么辦的解決方法內(nèi)容，有興趣的朋友們可以跟著學(xué)習(xí)下。
2020-06-06
淺談Python類的__getitem__和__setitem__特殊方法
下面小編就為大家?guī)硪黄獪\談Python類的__getitem__和__setitem__特殊方法。小編覺得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2016-12-12
簡介Python中用于處理字符串的center()方法
這篇文章主要介紹了簡介Python中用于處理字符串的center()方法,是Python入門中的基礎(chǔ)知識(shí),需要的朋友可以參考下
2015-05-05
Windows下pycharm安裝第三方庫失敗(通用解決方案)
這篇文章主要介紹了Windows下pycharm安裝第三方庫失敗(通用解決方案)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-09-09
詳解利用Python scipy.signal.filtfilt() 實(shí)現(xiàn)信號(hào)濾波
這篇文章主要介紹了詳解利用Python scipy.signal.filtfilt() 實(shí)現(xiàn)信號(hào)濾波，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧
2019-06-06
一文帶你精通Python中exec函數(shù)的高級(jí)技巧
在?Python?中,exec?是一個(gè)內(nèi)置函數(shù),允許在運(yùn)行時(shí)動(dòng)態(tài)執(zhí)行?Python?代碼,本文將詳細(xì)介紹?Python?exec?函數(shù)的高級(jí)用法,包括動(dòng)態(tài)代碼生成、執(zhí)行外部文件等內(nèi)容,希望對(duì)大家有所幫助
2023-11-11