scrapy-redis的安裝部署步驟講解
先說下自己的環(huán)境，redis是部署在centos上的，爬蟲運(yùn)行在windows上，
1. 安裝redis
yum install -y redis
2. 修改配置文件
vi /etc/redis.conf
將 protected-mode no解注釋，否則的話，在不設(shè)置密碼情況下遠(yuǎn)程無法連接redis
3. 重啟redis
systemctl restart redis
4. 關(guān)閉防火墻
systemctl stop firewalld.service
5. 開始創(chuàng)建scrapy-redis的相關(guān)，和普通的scrapy一樣的創(chuàng)建，只不過修改setting.py文件，添加一行
REDIS_URL = 'redis://192.168.61.130:6379'
6. 修改spiders.py文件
# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
name = 'myspider'
redis_key = 'test_key'
allowed_domains = ['www.example.com']
def parse(self, response):
print(1111)
pass
7. 可以執(zhí)行這個(gè)爬蟲了
scrapy runspider example.py
8. 進(jìn)入redis
redis-cli -h 127.0.0.1 -p rpush test_key http://test.com
即可看到爬蟲開始運(yùn)行了
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
相關(guān)文章
這篇文章主要介紹了在Python 中的復(fù)數(shù)問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-05-05
配置python連接oracle讀取excel數(shù)據(jù)寫入數(shù)據(jù)庫(kù)的操作流程
這篇文章主要介紹了配置python連接oracle，讀取excel數(shù)據(jù)寫入數(shù)據(jù)庫(kù),本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-03-03
Pytorch DataLoader shuffle驗(yàn)證方式
這篇文章主要介紹了Pytorch DataLoader shuffle驗(yàn)證方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-06-06
Python利用openpyxl庫(kù)遍歷Sheet的實(shí)例
今天小編就為大家?guī)硪黄狿ython利用openpyxl庫(kù)遍歷Sheet的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05
pytorch的Backward過程用時(shí)太長(zhǎng)問題及解決
這篇文章主要介紹了pytorch的Backward過程用時(shí)太長(zhǎng)問題及解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-02-02
基于python全局設(shè)置id 自動(dòng)化測(cè)試元素定位過程解析
這篇文章主要介紹了基于python全局設(shè)置id 自動(dòng)化測(cè)試元素定位過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
利用python和百度地圖API實(shí)現(xiàn)數(shù)據(jù)地圖標(biāo)注的方法
這篇文章主要介紹了利用python和百度地圖API實(shí)現(xiàn)數(shù)據(jù)地圖標(biāo)注的方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
Python List cmp()知識(shí)點(diǎn)總結(jié)
在本篇內(nèi)容里小編給大家整理了關(guān)于Python List cmp()用法相關(guān)知識(shí)點(diǎn)，有需要的朋友們跟著學(xué)習(xí)下。2019-02-02
reduce() 函數(shù)會(huì)對(duì)參數(shù)序列中元素進(jìn)行累積，下面這篇文章主要給大家介紹了關(guān)于python中reduce()函數(shù)的使用方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來一起看看吧。2017-09-09
Python基于回溯法子集樹模板實(shí)現(xiàn)8皇后問題
這篇文章主要介紹了Python基于回溯法子集樹模板實(shí)現(xiàn)8皇后問題,簡(jiǎn)單說明了8皇后問題的原理并結(jié)合實(shí)例形式分析了Python回溯法子集樹模板解決8皇后問題的具體實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-09-09