如何向scrapy中的spider傳遞參數(shù)的幾種方法
有時(shí)需要根據(jù)項(xiàng)目的實(shí)際需求向spider傳遞參數(shù)以控制spider的行為，比如說(shuō)，根據(jù)用戶提交的url來(lái)控制spider爬取的網(wǎng)站。在這種情況下，可以使用兩種方法向spider傳遞參數(shù)。
第一種方法，在命令行用crawl控制spider爬取的時(shí)候，加上-a選項(xiàng)，例如：
scrapy crawl myspider -a category=electronics
然后在spider里這樣寫：
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
def __init__(self, category=None, *args, **kwargs):
super(MySpider, self).__init__(*args, **kwargs)
self.start_urls = ['http://www.example.com/categories/%s' % category]
# ...
也就是在spider的構(gòu)造函數(shù)里加上帶入的參數(shù)即可。
第二種方法，在用scrapyd控制spider的時(shí)候，可以向schedule.json發(fā)送-d選項(xiàng)加入?yún)?shù)，同樣的，也需要在spider的構(gòu)造函數(shù)里如上寫法。例如：
$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d setting=DOWNLOAD_DELAY=2 -d arg1=val1
另外，如果需要在scrapy發(fā)出的request上加入?yún)?shù)，可以使用request的meta參數(shù)，然后就可以相應(yīng)的在返回的respose對(duì)象中獲得傳入的參數(shù)。這在某些情況下相當(dāng)有用，比如說(shuō)需要確定這個(gè)url是哪個(gè)用戶請(qǐng)求爬取的，可以先用上面兩種方法之一將信息傳遞給spider，spider就可以把這個(gè)信息加入到request中，然后在相應(yīng)的reponse中就可以將這個(gè)信息與從url的頁(yè)面中獲得的信息一起存入數(shù)據(jù)庫(kù)。例如：
def parse_page1(self, response):
item = MyItem()
item['main_url'] = response.url
request = scrapy.Request("http://www.example.com/some_page.html",
callback=self.parse_page2)
request.meta['item'] = item
return request
def parse_page2(self, response):
item = response.meta['item']
item['other_url'] = response.url
return item
到此這篇關(guān)于如何向scrapy中的spider傳遞參數(shù)的幾種方法的文章就介紹到這了,更多相關(guān)scrapy spider傳遞參數(shù)內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
不過(guò)下面可是我們開(kāi)發(fā)產(chǎn)品初期的一些血淋淋的案例，更多的安全威脅可以看看北北同學(xué)的《python hack》PPT，里面提及了不只命令執(zhí)行的威脅，那些都是我們親身經(jīng)歷的代碼2013-02-02
pandas中的數(shù)據(jù)去重處理的實(shí)現(xiàn)方法
這篇文章主要介紹了pandas中的數(shù)據(jù)去重處理的實(shí)現(xiàn)方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
Python讀取txt內(nèi)容寫入xls格式excel中的方法
今天小編就為大家分享一篇Python讀取txt內(nèi)容寫入xls格式excel中的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-10-10
詳解pandas的外部數(shù)據(jù)導(dǎo)入與常用方法
這篇文章主要介紹了詳解pandas的外部數(shù)據(jù)導(dǎo)入與常用方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
這篇文章主要介紹了Python的列表和列表算法，小編感覺(jué)這篇文章具有一定參考價(jià)值，需要的朋友可以了解下，希望能給你帶來(lái)幫助2021-08-08
Python遍歷文件夾和讀寫文件的實(shí)現(xiàn)方法
本篇文章主要介紹了Python遍歷文件夾和讀寫文件的實(shí)現(xiàn)方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-05-05
今天小編就為大家分享一篇關(guān)于使用Python批量修改文件名的代碼實(shí)例，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-01-01
Python使用cx_Oracle模塊操作Oracle數(shù)據(jù)庫(kù)詳解
這篇文章主要介紹了Python使用cx_Oracle模塊操作Oracle數(shù)據(jù)庫(kù),結(jié)合實(shí)例形式較為詳細(xì)的分析了cx_Oracle模塊的下載、安裝及針對(duì)Oracle數(shù)據(jù)庫(kù)的連接、執(zhí)行SQL語(yǔ)句、存儲(chǔ)過(guò)程等相關(guān)操作技巧,需要的朋友可以參考下2018-05-05
Python3爬蟲(chóng)中關(guān)于Ajax分析方法的總結(jié)
在本篇文章里小編給大家整理的是一篇關(guān)于Python3爬蟲(chóng)中關(guān)于Ajax分析方法的總結(jié)，需要的朋友們可以學(xué)習(xí)下。2020-07-07
Python自然語(yǔ)言處理之詞干,詞形與最大匹配算法代碼詳解
這篇文章主要介紹了Python自然語(yǔ)言處理之詞干,詞形與MaxMatch算法代碼詳解，涉及詞干提取，詞形還原，簡(jiǎn)單總結(jié)了二者的區(qū)別和聯(lián)系，最后還分享了最大匹配算法的相關(guān)示例，具有一定參考價(jià)值，需要的朋友可以了解下。2017-11-11