scrapy-redis的安裝部署步驟講解
更新時間：2019年02月27日 11:29:25 作者：世紀殤
今天小編就為大家分享一篇關于scrapy-redis的安裝部署步驟講解，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
先說下自己的環(huán)境，redis是部署在centos上的，爬蟲運行在windows上，
1. 安裝redis
yum install -y redis
2. 修改配置文件
vi /etc/redis.conf
將 protected-mode no解注釋，否則的話，在不設置密碼情況下遠程無法連接redis
3. 重啟redis
systemctl restart redis
4. 關閉防火墻
systemctl stop firewalld.service
5. 開始創(chuàng)建scrapy-redis的相關，和普通的scrapy一樣的創(chuàng)建，只不過修改setting.py文件，添加一行
REDIS_URL = 'redis://192.168.61.130:6379'
6. 修改spiders.py文件
# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
name = 'myspider'
redis_key = 'test_key'
allowed_domains = ['www.example.com']
def parse(self, response):
print(1111)
pass
7. 可以執(zhí)行這個爬蟲了
scrapy runspider example.py
8. 進入redis
redis-cli -h 127.0.0.1 -p rpush test_key http://test.com
即可看到爬蟲開始運行了
總結
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關內(nèi)容請查看下面相關鏈接
相關文章
這篇文章主要介紹了在Python 中的復數(shù)問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-05-05
配置python連接oracle讀取excel數(shù)據(jù)寫入數(shù)據(jù)庫的操作流程
這篇文章主要介紹了配置python連接oracle，讀取excel數(shù)據(jù)寫入數(shù)據(jù)庫,本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-03-03
Pytorch DataLoader shuffle驗證方式
這篇文章主要介紹了Pytorch DataLoader shuffle驗證方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-06-06
今天小編就為大家?guī)硪黄狿ython利用openpyxl庫遍歷Sheet的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了pytorch的Backward過程用時太長問題及解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-02-02
這篇文章主要介紹了基于python全局設置id 自動化測試元素定位過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-09-09
利用python和百度地圖API實現(xiàn)數(shù)據(jù)地圖標注的方法
這篇文章主要介紹了利用python和百度地圖API實現(xiàn)數(shù)據(jù)地圖標注的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-05-05
在本篇內(nèi)容里小編給大家整理了關于Python List cmp()用法相關知識點，有需要的朋友們跟著學習下。2019-02-02
reduce() 函數(shù)會對參數(shù)序列中元素進行累積，下面這篇文章主要給大家介紹了關于python中reduce()函數(shù)的使用方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面來一起看看吧。2017-09-09
這篇文章主要介紹了Python基于回溯法子集樹模板實現(xiàn)8皇后問題,簡單說明了8皇后問題的原理并結合實例形式分析了Python回溯法子集樹模板解決8皇后問題的具體實現(xiàn)技巧,需要的朋友可以參考下2017-09-09