Pycharm+Scrapy安裝并且初始化項目的方法
前言
Scrapy是一個開源的網(wǎng)絡(luò)爬蟲框架，Python編寫的。最初設(shè)計用于網(wǎng)頁抓取，也可以用來提取數(shù)據(jù)使用API或作為一個通用的網(wǎng)絡(luò)爬蟲。是數(shù)據(jù)采集不可必備的利器。
安裝
pip install scrapy
如果使用上面的命令太慢。國內(nèi)可以使用豆瓣源進行加速。
pip install -i https://pypi.douban.com/simple scrapy
注意要寫錯了，是 https://pypi.douban.com/simple 很多包都可以使用這個源進行加速，這也是pip的一個技巧，還可以使用阿里云進行加速。
安裝完成之后在命令行輸入
scrapy -v
如果出現(xiàn)了相應(yīng)的版本號就說明安裝成功。
創(chuàng)建項目
目前還沒有IDE 能夠創(chuàng)建scrapy的項目，我們必須手動初始化項目。
1、找一個目錄
輸入命令
scrapy startproject SpiderObject
命令行出現(xiàn)這樣的結(jié)果說明創(chuàng)建成果
You can start your first spider with: cd SpiderObject scrapy genspider example example.com
去文件夾中看看
初始化項目
使用pycharm打開該項目
如果出現(xiàn)這個頁面就說明對了。
下面生成一個模板
打開pycharm的terminal
輸入
scrapy genspider BiduSpider http://www.baidu.com
我們的spider 包下面會多一個文件
這說明我們的spider創(chuàng)建成功。可以在pytharm中使用這個 強大的框架了。
以上這篇Pycharm+Scrapy安裝并且初始化項目的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python3.6 Schedule模塊定時任務(wù)(實例講解)
下面小編就為大家?guī)硪黄狿ython3.6 Schedule模塊定時任務(wù)(實例講解)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-11-11
今天小編就為大家分享一篇用Python實現(xiàn)篩選文件腳本的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
python 請求服務(wù)器的實現(xiàn)代碼(http請求和https請求)
本篇文章主要介紹了python 請求服務(wù)器的實現(xiàn)代碼(http請求和https請求)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-05-05
Matplotlib子圖的創(chuàng)建的實現(xiàn)
本文主要介紹了Matplotlib子圖的創(chuàng)建的實現(xiàn),包括fig.add_axes()創(chuàng)建子圖和plt.axes創(chuàng)建子圖這兩種方法,具有一定的參考價值,感興趣的可以了解一下2023-11-11
這篇文章主要介紹了Scrapy啟動報錯invalid syntax的解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-09-09
Python中urlencode()函數(shù)構(gòu)建URL查詢字符串的利器學(xué)習(xí)
這篇文章主要為大家介紹了Python中urlencode()函數(shù)構(gòu)建URL查詢字符串的利器學(xué)習(xí),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-10-10
這篇文章主要介紹了python中的列表推導(dǎo),需要的朋友可以參考下2014-04-04
這篇文章主要介紹了在Python的Flask框架中使用日期和時間的教程,包括對各個時區(qū)之間轉(zhuǎn)換的一些處理,需要的朋友可以參考下2015-04-04
python通過ftplib登錄到ftp服務(wù)器的方法
這篇文章主要介紹了python通過ftplib登錄到ftp服務(wù)器的方法,涉及Python使用ftplib模塊的相關(guān)技巧,需要的朋友可以參考下2015-05-05
這篇文章主要給大家介紹了關(guān)于如何利用Python實現(xiàn)端口掃描器的相關(guān)資料,用來檢測目標(biāo)服務(wù)器上有哪些端口開放,本文適用于有 Python和計算機網(wǎng)絡(luò)語言基礎(chǔ)的用戶,需要的朋友可以參考下2021-08-08