快捷導(dǎo)航

python scrapy項目下spiders內(nèi)多個爬蟲同時運行的實現(xiàn)

更新時間：2021年04月21日 08:36:40 作者：行者劉6

這篇文章主要介紹了python scrapy項目下spiders內(nèi)多個爬蟲同時運行的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

一般創(chuàng)建了scrapy文件夾后，可能需要寫多個爬蟲，如果想讓它們同時運行而不是順次運行的話，得怎么做？

a、在spiders目錄的同級目錄下創(chuàng)建一個commands目錄，并在該目錄中創(chuàng)建一個crawlall.py，將scrapy源代碼里的commands文件夾里的crawl.py源碼復(fù)制過來，只修改run()方法即可！

import os
from scrapy.commands import ScrapyCommand
from scrapy.utils.conf import arglist_to_dict
from scrapy.utils.python import without_none_values
from scrapy.exceptions import UsageError
 
class Command(ScrapyCommand):
    requires_project = True
    def syntax(self):
        return "[options] <spider>"
    def short_desc(self):
        return "Run all spider"
    def add_options(self, parser):
        ScrapyCommand.add_options(self, parser)
        parser.add_option("-a", dest="spargs", action="append", default=[], metavar="NAME=VALUE",
                          help="set spider argument (may be repeated)")
        parser.add_option("-o", "--output", metavar="FILE",
                          help="dump scraped items into FILE (use - for stdout)")
        parser.add_option("-t", "--output-format", metavar="FORMAT",
                          help="format to use for dumping items with -o")
 
    def process_options(self, args, opts):
        ScrapyCommand.process_options(self, args, opts)
        try:
            opts.spargs = arglist_to_dict(opts.spargs)
        except ValueError:
            raise UsageError("Invalid -a value, use -a NAME=VALUE", print_help=False)
        if opts.output:
            if opts.output == '-':
                self.settings.set('FEED_URI', 'stdout:', priority='cmdline')
            else:
                self.settings.set('FEED_URI', opts.output, priority='cmdline')
            feed_exporters = without_none_values(
                self.settings.getwithbase('FEED_EXPORTERS'))
            valid_output_formats = feed_exporters.keys()
            if not opts.output_format:
                opts.output_format = os.path.splitext(opts.output)[1].replace(".", "")
            if opts.output_format not in valid_output_formats:
                raise UsageError("Unrecognized output format '%s', set one"
                                 " using the '-t' switch or as a file extension"
                                 " from the supported list %s" % (opts.output_format,
                                                                  tuple(valid_output_formats)))
            self.settings.set('FEED_FORMAT', opts.output_format, priority='cmdline')
 
    def run(self, args, opts):
        #獲取爬蟲列表
        spd_loader_list=self.crawler_process.spider_loader.list()#獲取所有的爬蟲文件。
        print(spd_loader_list)
        #遍歷各爬蟲
        for spname in spd_loader_list or args:
            self.crawler_process.crawl(spname, **opts.spargs)
            print ('此時啟動的爬蟲為：'+spname)
        self.crawler_process.start()

b、還得在里面加個_init_.py文件

c、到這里還沒完，settings.py配置文件還需要加一條。

　　COMMANDS_MODULE = ‘項目名稱.目錄名稱'　

COMMANDS_MODULE = 'ds1.commands'

d、最后啟動crawlall即可！

當(dāng)然，安全起見，可以先在命令行中進入該項目所在目錄，并輸入scrapy -h,可以查看是否有命令crawlall 。如果有，那就成功了，可以啟動了

我是寫了個啟動文件，放在第一級即可

要不直接在命令臺cmd里輸入 scrapy crawlall 就行了

##注意的是，爬蟲好像是2個同時運行，而且運行時是交叉的？

還有settings里的文件，只針對其中一個？

到此這篇關(guān)于python scrapy項目下spiders內(nèi)多個爬蟲同時運行的文章就介紹到這了,更多相關(guān)python scrapy項目下spiders內(nèi)多個爬蟲同時運行內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: