快速部署 Scrapy項(xiàng)目scrapyd的詳細(xì)流程

更新時(shí)間：2021年09月29日 14:24:35 作者：離開(kāi)你，我才發(fā)現(xiàn)

這篇文章主要介紹了快速部署 Scrapy項(xiàng)目scrapyd的詳細(xì)流程,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下

快速部署 Scrapy項(xiàng)目 scrapyd

給服務(wù)端 install scrapyd

pip install scrapyd -i https://pypi.tuna.tsinghua.edu.cn/simple

運(yùn)行

scrapyd

在這里插入圖片描述

修改配置項(xiàng) ，以便遠(yuǎn)程訪問(wèn)

使用Ctrl +c 停止上一步的運(yùn)行的scrapyd

在要運(yùn)行scrapyd 命令的路徑下，新建文件scrapyd.cnf 文件

輸入以下內(nèi)容

[scrapyd]
# 網(wǎng)頁(yè)和Json服務(wù)監(jiān)聽(tīng)的IP地址，默認(rèn)為127.0.0.1（只有改成0.0.0.0 才能在別的電腦上能夠訪問(wèn)scrapyd運(yùn)行之后的服務(wù)器）
bind_address = 0.0.0.0
# 監(jiān)聽(tīng)的端口，默認(rèn)為6800
http_port = 6800
# 是否打開(kāi)debug模式，默認(rèn)為off
debug = off

在這里插入圖片描述

在客戶端 install scrapyd-client

1. 安裝 scrapy-client 命令如下

pip install scrapyd-client -i https://pypi.tuna.tsinghua.edu.cn/simple

配置Scrapy 項(xiàng)目

修改 scrapy.cfg 文件

在這里插入圖片描述

1 檢查配置

scrapyd-deploay -l

發(fā)布scrapy項(xiàng)目到scrapyd所在的服務(wù)器（此時(shí)爬蟲(chóng)未運(yùn)行）

# scrapyd-deploy <target> -p <project> --version <version>
# taget : 就是前面配置文件里的deploy后面的的target名字，例如 ubuntu1
# project: 可以隨意定義， 建議與 scrapy 爬蟲(chóng)項(xiàng)目名相同
# version: 自定義版本號(hào) 不寫(xiě)的話默認(rèn)為當(dāng)前時(shí)間戳， 一般不寫(xiě)
scrapyd-deploy ubuntu-1 -p douban

注意

爬蟲(chóng)目錄下不要放無(wú)關(guān)的py文件，放無(wú)關(guān)的py文件會(huì)導(dǎo)致發(fā)布失敗，但是當(dāng)爬蟲(chóng)發(fā)布成功后，會(huì)在當(dāng)前目錄生成一個(gè)setup.py文件，可以刪除掉。

4.發(fā)送運(yùn)行爬蟲(chóng)命令

curl http://10.211.55.5:6800/schedule.json -d project=douban -d spider=top250

5.停止爬蟲(chóng)

curl http://ip:6800/cancel.json -d project=項(xiàng)目名 -d job=任務(wù)的id值

在這里插入圖片描述

curl http://10.211.55.5:6800/cancel.json -d project=douban -d job=121cc034388a11ebb1a7001c42d0a249

在這里插入圖片描述

注意

如果scrapy項(xiàng)目代碼，修改了，只需要重新發(fā)布到scrapyd所在服務(wù)器即可
如果scrapy項(xiàng)目暫停了，可以再次通過(guò)curl的方式發(fā)送命令讓其“斷點(diǎn)續(xù)爬”

Scrapy項(xiàng)目部署-圖形化操作Gerapy

一，說(shuō)明

Gerapy 是一款國(guó)人開(kāi)發(fā)的爬蟲(chóng)管理軟件（有中文界面）是一個(gè)管理爬蟲(chóng)項(xiàng)目的可視化工具，把項(xiàng)目部署到管理的操作全部變?yōu)榻换ナ?，?shí)現(xiàn)批量部署，更方便控制、管理、實(shí)時(shí)查看結(jié)果。

gerapy和scrapyd的關(guān)系就是，我們可以通過(guò)gerapy中配置scrapyd后，不使用命令，直接通過(guò)圖形化界面開(kāi)啟爬蟲(chóng)。