Python2.7下安裝Scrapy框架步驟教程

更新時間：2017年12月22日 09:40:01 作者：耀相惜

本篇文章主要介紹了Python2.7下安裝Scrapy框架步驟教程，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

由于畢業(yè)設計的要求，需要在網(wǎng)站上抓取大量的數(shù)據(jù)，那么使用Scrapy框架可以讓這一過程變得簡單不少，畢竟Scrapy是一個為了爬去網(wǎng)站數(shù)據(jù)、提取結構性數(shù)據(jù)而編寫的應用框架。于是，便開始了我的安裝Scrapy框架之旅?？梢哉f這個過程并不是很愉快，各種錯誤各種出，不過到最后，終于安裝上了Scrapy框架。下面總結一下我的Scrapy框架的安裝。

1.安裝python2.7

由于Scrapy不支持Python3.0，于是我卸載了Python3.0，又重新安裝了Python2.7(python2.7安裝包),在安裝Python2.7的時候，會有一個自動設置環(huán)境變量的選項，建議在這里將選項選上，省下后期自己添加環(huán)境變量。我們后期自己添加環(huán)境變量，就是根據(jù)自己實際安裝的路徑，在系統(tǒng)的環(huán)境變量path中添加這兩條語句就可以。

在配置完環(huán)境之后，我們測試一下我們是否安裝配置環(huán)境成功。只要在cmd中輸入 python –version ，然后能夠顯示正確的python版本就可以了。如果未能顯示，則重啟一下cmd試試。

2.安裝pywin32

在安裝配置好python2.7之后，我們還不能直接安裝Scrapy，我們首先需要安裝Scrapy依賴的幾個工具。接下來安裝pywin32（pywin32安裝包），這個軟件安裝的時候一直next就可以了。

3.安裝pip

pip實際上一款比較方便的在線軟件安裝工具，類似于easy install,我們現(xiàn)在安裝pip，在之后的軟件安裝的時候我們就可以使用 pip install 命令了。首先我們要下載get-pip.py(get-pip.py文件) ，下載完成之后，我們在cmd下進行安裝，首先切換到文件所在目錄，然后輸入python get-pip.py語句，便可以進行安裝了，但是最頭疼的問題出現(xiàn)了，由于該文件會將一些配置文件自動寫入到我們的C盤用戶文件目錄下，而我的用戶目錄是中文名，就會產(chǎn)生編碼異常。

在查找一番資料之后，終于將問題解決了，為了解決中文路徑的問題，我們只需要在 D:\python27\Lib\site-packages的目錄下新建一個名為
sitecustomize.py的文件即可。

然后在文件內(nèi)輸入以下代碼：

import sys
reload(sys)
sys.setdefaultencoding('gbk')

當然不一定一定要設置為gbk編碼，這個根據(jù)自己的電腦的編碼來設置。這樣我們的中文路徑問題就算解決了，我們在重啟cmd，在執(zhí)行安裝pip語句之后，pip便順利完成了。安裝完成之后，我們可以進行一下檢驗，在cmd中輸入pip –version,如果顯示正確的版本號則說明正確。

4.安裝lxml

在安裝完成pip之后，本想可以輕松的使用pip install lxml命令來進行安裝，但是意外發(fā)生了，由于使用pip需要vc2008的環(huán)境，而且只能是2008的，2013的都不行。沒辦法為了使用這款工具，只能在去求教度娘，終于找到了解決辦法，原來微軟給我們提供了VcForPython（VCForPython安裝包），這樣我們就不用安裝VC2008了，這樣之后，我們便可以使用 pip install lxml進行安裝了。

5.安裝pyOpenSSL

在安裝這個工具的時候我們便可以使用 pip install pyOpenSSL 語句來進行安裝了，安裝的速度取決于網(wǎng)速了。

6.安裝Scrapy

終于經(jīng)歷一波坎坷之后，我們終于可以安裝Scrapy框架了，在cmd中輸入 pip install Scrapy命令之后，我們就可以等著享受成功的喜悅了。在安裝完成之后，我們在cmd中輸入Scrapy來檢測一下，是否真正的安裝成功。