詳解python3 + Scrapy爬蟲(chóng)學(xué)習(xí)之創(chuàng)建項(xiàng)目
最近準(zhǔn)備做一個(gè)關(guān)于scrapy框架的實(shí)戰(zhàn)，爬取騰訊社招信息并存儲(chǔ)，這篇博客記錄一下創(chuàng)建項(xiàng)目的步驟
pycharm是無(wú)法創(chuàng)建一個(gè)scrapy項(xiàng)目的
因此，我們需要用命令行的方法新建一個(gè)scrapy項(xiàng)目
請(qǐng)確保已經(jīng)安裝了scrapy，twisted，pypiwin32
一：進(jìn)入你所需要的路徑，這個(gè)路徑存儲(chǔ)你創(chuàng)建的項(xiàng)目
我的將放在E盤(pán)的Scrapy目錄下
二：創(chuàng)建項(xiàng)目：scrapy startproject ***(這個(gè)是項(xiàng)目名)
這樣就創(chuàng)建好了一個(gè)名為tencent的項(xiàng)目
三：進(jìn)入項(xiàng)目新建一個(gè)爬蟲(chóng)：scrapy genspider tencent_spider hr.tencent.com
這里我們要注意，上面的命令，加黑的是爬蟲(chóng)名稱，斜體是域名
這樣，我們就新建了一個(gè)爬蟲(chóng)項(xiàng)目，打開(kāi)文件夾查看
打開(kāi)spiders
然后我們用pycharm打開(kāi)
點(diǎn)擊File —>open，找到項(xiàng)目所在文件夾，打開(kāi)即可
這樣，我們就新建了一個(gè)scrapy項(xiàng)目，如果安裝了所需要的庫(kù)，scrapy飄紅，記得去切換解釋器
在File—>settings的標(biāo)紅的地方
另外推薦大家，在根目錄下新建一個(gè)start.py的文件并寫(xiě)入
from scrapy import cmdline
cmdline.execute("scrapy crawl tencent_spider".split())
這樣，我們每次運(yùn)行，運(yùn)行start.py，即可，不用到命令行執(zhí)行運(yùn)行命令
鼠標(biāo)右鍵tencent，新建python文件，即可創(chuàng)建。
以上所述是小編給大家介紹的python3 Scrapy爬蟲(chóng)創(chuàng)建項(xiàng)目詳解整合，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
相關(guān)文章
10個(gè)Python面試常問(wèn)的問(wèn)題(小結(jié))
這篇文章主要介紹了10個(gè)Python面試常問(wèn)的問(wèn)題(小結(jié))，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-11-11
Python2升級(jí)/安裝pip報(bào)錯(cuò)問(wèn)題及解決
這篇文章主要介紹了Python2升級(jí)/安裝pip報(bào)錯(cuò)問(wèn)題及解決方案,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-03-03
基于Python實(shí)現(xiàn)GeoServer矢量文件批量發(fā)布
由于矢量圖層文件較多，手動(dòng)發(fā)布費(fèi)時(shí)費(fèi)力，python支持的關(guān)于geoserver包又由于年久失修，無(wú)法在較新的geoserver版本中正常使用。本文為大家準(zhǔn)備了Python自動(dòng)化發(fā)布矢量文件的代碼，需要的可以參考一下2022-07-07
基于Python實(shí)現(xiàn)DIT-FFT算法
FFT（Fast Fourier Transformation）是離散傅氏變換（DFT）的快速算法。即為快速傅氏變換。本文將用Python語(yǔ)言實(shí)現(xiàn)DIT-FFT算法，感興趣的可以了解一下2022-10-10
numpy求矩陣的特征值與特征向量(np.linalg.eig函數(shù)用法)
這篇文章主要介紹了numpy求矩陣的特征值與特征向量(np.linalg.eig函數(shù)用法)，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-02-02
Python+Selenium定位不到元素常見(jiàn)原因及解決辦法(報(bào)：NoSuchElementException)
這篇文章主要介紹了Python+Selenium定位不到元素常見(jiàn)原因及解決辦法(報(bào)：NoSuchElementException),文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
django如何連接已存在數(shù)據(jù)的數(shù)據(jù)庫(kù)
這篇文章主要給大家介紹了關(guān)于django如何連接已存在數(shù)據(jù)的數(shù)據(jù)庫(kù)的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用django具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-08-08
這篇文章主要為大家詳細(xì)介紹了python如何提取英語(yǔ)pdf內(nèi)容并翻譯，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2020-03-03
PyTorch中torch.tensor()和torch.to_tensor()的區(qū)別
在Pytorch中Tensor和tensor都用于生成新的張量,但二者并不相同,下面這篇文章主要給大家介紹了關(guān)于PyTorch中torch.tensor()和torch.to_tensor()區(qū)別的相關(guān)資料,需要的朋友可以參考下2023-01-01
Python 中的一個(gè)有用的基本加密庫(kù)就叫做 cryptography 。這篇文章主要介紹了Python玩轉(zhuǎn)加密的技巧,需要的朋友可以參考下2019-05-05