pycharm下打開、執(zhí)行并調(diào)試scrapy爬蟲程序的方法

更新時(shí)間：2017年11月29日 11:05:30 作者：轟_HONG

本篇文章主要介紹了pycharm下打開、執(zhí)行并調(diào)試scrapy爬蟲程序的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧

首先得有一個(gè)Scrapy項(xiàng)目，我在Desktop上新建一個(gè)Scrapy的項(xiàng)目叫test，在Desktop目錄打開命令行，鍵入命令：scrapy startproject test1

目錄結(jié)構(gòu)如下：

打開Pycharm，選擇open

選擇項(xiàng)目，ok

打開如下界面之后，按alt + 1，打開project 面板

在test1/spiders/，文件夾下，新建一個(gè)爬蟲spider.py，注意代碼中的name="dmoz"。這個(gè)名字后面會用到。

在test1目錄和scrapy.cfg同級目錄下面，新建一個(gè)begin.py文件（便于理解可以寫成main.py），注意箭頭2所指的名字和第5步中的name='dmoz'名字是一樣的。

from scrapy import cmdline
cmdline.execute("scrapy crawl dmoz".split())

7. 上面把文件搞定了，下面要配置一下pycharm了。點(diǎn)擊Run->Edit Configurations

8. 新建一個(gè)運(yùn)行的python模塊

9. Name：改成spider； script：選擇剛才新建的那個(gè)begin.py文件；Working Direciton：改成自己的工作目錄

10. 至此，大功告成了，點(diǎn)擊下圖，右上角的按鈕就能運(yùn)行了。

調(diào)試

可以在其他代碼中設(shè)置斷點(diǎn)，就可以debug運(yùn)行

遇到問題

1. Unknown command: crawl

調(diào)試運(yùn)行，斷點(diǎn)并未命中，控制臺輸出信息如下：

H:\Python\Python36\python.exe "H:\Program Files (x86)\JetBrains\PyCharm Community Edition 4.5.4\helpers\pydev\pydevd.py" --multiproc --client 127.0.0.1 --port 59810 --file H:/Python/Python36/Lib/site-packages/scrapy/cmdline.py crawl quotes -o quotes.jl
pydev debugger: process 4740 is connecting

Connected to pydev debugger (build 141.3058)
Scrapy 1.3.2 - no active project

Unknown command: crawl

Use "scrapy" to see available commands

Process finished with exit code 2

工作目錄設(shè)置有誤，造成無法識別 scrapy 命令，按照上文所說，將工作目錄設(shè)置為包含 scrapy.cfg，重新運(yùn)行，問題解決。

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: