快捷導(dǎo)航

零基礎(chǔ)寫(xiě)python爬蟲(chóng)之爬蟲(chóng)框架Scrapy安裝配置

更新時(shí)間：2014年11月06日 12:01:33 投稿：hebedich

Scrapy是一個(gè)使用Python編寫(xiě)的，輕量級(jí)的，簡(jiǎn)單輕巧，并且使用起來(lái)非常的方便。使用Scrapy可以很方便的完成網(wǎng)上數(shù)據(jù)的采集工作，它為我們完成了大量的工作，而不需要自己費(fèi)大力氣去開(kāi)發(fā)。

前面十章爬蟲(chóng)筆記陸陸續(xù)續(xù)記錄了一些簡(jiǎn)單的Python爬蟲(chóng)知識(shí)，
用來(lái)解決簡(jiǎn)單的貼吧下載，績(jī)點(diǎn)運(yùn)算自然不在話下。
不過(guò)要想批量下載大量的內(nèi)容，比如知乎的所有的問(wèn)答，那便顯得游刃不有余了點(diǎn)。
于是乎，爬蟲(chóng)框架Scrapy就這樣出場(chǎng)了！
Scrapy = Scrach+Python，Scrach這個(gè)單詞是抓取的意思，

Scrapy的官網(wǎng)地址：點(diǎn)我點(diǎn)我。

那么下面來(lái)簡(jiǎn)單的演示一下Scrapy的安裝流程。
具體流程參照：http://chabaoo.cn/article/48607.htm
友情提醒：一定要按照Python的版本下載，要不然安裝的時(shí)候會(huì)提醒找不到Python。建議大家安裝32位是因?yàn)橛行┌姹镜谋貍滠浖?4位不好找。

1.安裝Python（建議32位）

建議安裝Python2.7.x，3.x貌似還不支持。
安裝完了記得配置環(huán)境，將python目錄和python目錄下的Scripts目錄添加到系統(tǒng)環(huán)境變量的Path里。
在cmd中輸入python如果出現(xiàn)版本信息說(shuō)明配置完畢。

2.安裝lxml

lxml是一種使用 Python 編寫(xiě)的庫(kù)，可以迅速、靈活地處理 XML。點(diǎn)擊這里選擇對(duì)應(yīng)的Python版本安裝。

3.安裝setuptools

用來(lái)安裝egg文件，點(diǎn)擊這里下載python2.7的對(duì)應(yīng)版本的setuptools。

4.安裝zope.interface

可以使用第三步下載的setuptools來(lái)安裝egg文件，現(xiàn)在也有exe版本，點(diǎn)擊這里下載。

5.安裝Twisted

Twisted是用Python實(shí)現(xiàn)的基于事件驅(qū)動(dòng)的網(wǎng)絡(luò)引擎框架，點(diǎn)擊這里下載。

6.安裝pyOpenSSL

pyOpenSSL是Python的OpenSSL接口，點(diǎn)擊這里下載。