Python使用scrapy采集數(shù)據(jù)過程中放回下載過大頁面的方法
更新時間：2015年04月08日 10:27:20 作者：pythoner
這篇文章主要介紹了Python使用scrapy采集數(shù)據(jù)過程中放回下載過大頁面的方法,可實現(xiàn)限制下載過大頁面的功能,非常具有實用價值,需要的朋友可以參考下
本文實例講述了Python使用scrapy采集數(shù)據(jù)過程中放回下載過大頁面的方法。分享給大家供大家參考。具體分析如下：
添加以下代碼到settings.py，myproject為你的項目名稱
復(fù)制代碼 代碼如下:
DOWNLOADER_HTTPCLIENTFACTORY = 'myproject.downloader.LimitSizeHTTPClientFactory'
自定義限制下載過大頁面的模塊
復(fù)制代碼 代碼如下:
MAX_RESPONSE_SIZE = 1048576 # 1Mb
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class LimitSizePageGetter(ScrapyHTTPPageGetter):
def handleHeader(self, key, value):
ScrapyHTTPPageGetter.handleHeader(self, key, value)
if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
self.connectionLost('oversized')
class LimitSizeHTTPClientFactory(ScrapyHTTPClientFactory):
protocol = LimitSizePageGetter
from scrapy.core.downloader.webclient import ScrapyHTTPClientFactory, ScrapyHTTPPageGetter
class LimitSizePageGetter(ScrapyHTTPPageGetter):
def handleHeader(self, key, value):
ScrapyHTTPPageGetter.handleHeader(self, key, value)
if key.lower() == 'content-length' and int(value) > MAX_RESPONSE_SIZE:
self.connectionLost('oversized')
class LimitSizeHTTPClientFactory(ScrapyHTTPClientFactory):
protocol = LimitSizePageGetter
希望本文所述對大家的Python程序設(shè)計有所幫助。
相關(guān)文章
GUI功能是opencv的入門知識，本文給大家介紹下OpenCV圖像處理GUI功能，結(jié)合實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，感興趣的朋友一起看看吧2022-03-03
turtle模塊以面向?qū)ο蠛兔嫦蜻^程的方式提供turtle圖形基元,由于它使用Tkinter作為基礎(chǔ)圖形,因此需要安裝有Tk支持的Python版本,下面這篇文章主要給大家介紹了關(guān)于Python中turtle.write方法使用說明的相關(guān)資料,需要的朋友可以參考下2022-02-02
Python替換NumPy數(shù)組中大于某個值的所有元素實例
這篇文章主要介紹了Python替換NumPy數(shù)組中大于某個值的所有元素實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
Python3實現(xiàn)網(wǎng)頁內(nèi)容轉(zhuǎn)換成PDF文檔和圖片
pdfkit是把 HTML+CSS 格式的文件轉(zhuǎn)換成 PDF 的一種工具，它是 wkhtmltopdf 這個工具包的 python 封裝。本文將利用pdfkit實現(xiàn)網(wǎng)頁內(nèi)容轉(zhuǎn)換成PDF文檔和圖片效果，感興趣的可以學(xué)習(xí)一下2022-06-06
linux環(huán)境下的python安裝過程圖解(含setuptools)
這篇文章主要介紹了linux環(huán)境下的python安裝過程圖解(含setuptools),小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-11-11
這篇文章主要介紹了Python3 replace()函數(shù)使用方法,需要的朋友可以參考下2018-03-03
在VS2017中用C#調(diào)用python腳本的實現(xiàn)
這篇文章主要介紹了在VS2017中用C#調(diào)用python腳本的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
如何使用Selenium實現(xiàn)簡單的網(wǎng)絡(luò)自動化操作指南
Selenium是一個用于Web應(yīng)用測試的工具,Selenium測試直接運行在瀏覽器中,就像真正的用戶在操作一樣,這篇文章主要給大家介紹了關(guān)于如何使用Selenium實現(xiàn)簡單的網(wǎng)絡(luò)自動化操作的相關(guān)資料,需要的朋友可以參考下2024-03-03
這篇文章主要介紹了Python之os模塊案例詳解,本篇文章通過簡要的案例,講解了該項技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-09-09
python excel使用xlutils類庫實現(xiàn)追加寫功能的方法
今天小編就為大家?guī)硪黄猵ython excel使用xlutils類庫實現(xiàn)追加寫功能的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05