本文介紹了Python3安裝Scrapy的方法步驟，分享給大家，具體如下：

1. 運(yùn)行平臺(tái)：Windows
2. Python版本：Python3.x
3. IDE：Sublime text3

一、Scrapy簡(jiǎn)介

Scrapy是一個(gè)為了爬取網(wǎng)站數(shù)據(jù)提取結(jié)構(gòu)性數(shù)據(jù)而編寫(xiě)的應(yīng)用框架，可以應(yīng)用于數(shù)據(jù)挖掘，信息處理或存儲(chǔ)歷史數(shù)據(jù)等一些列的程序中。Scrapy最初就是為了網(wǎng)絡(luò)爬取而設(shè)計(jì)的。現(xiàn)在，Scrapy已經(jīng)推出了曾承諾過(guò)的Python3.x版本。

為什么學(xué)習(xí)Scrapy呢？它能我們更好的完成爬蟲(chóng)任務(wù)，自己寫(xiě)Python爬蟲(chóng)程序好比孤軍奮戰(zhàn)，而使用了Scrapy就好比手底下有了千軍萬(wàn)馬。Scrapy可以起到事半功倍(甚至好幾倍*.*)的效果。所以，學(xué)習(xí)Scrapy也就顯得很有必要了。

二、Scrapy安裝

1.直接使用指令pip3 install scrapy，發(fā)現(xiàn)有諸多錯(cuò)誤。

1. Failed building wheel for lxml
2. Microsoft Visual C++ 10.0 is required
3. Failed building twisted
4. Unable to find vcvarsall.bat

遇到的錯(cuò)誤，如下圖所示：

2.解決辦法

在http://www.lfd.uci.edu/~gohlke/pythonlibs/有很多用于windows的編譯好的Python第三方庫(kù)，我們下載好對(duì)應(yīng)自己Python版本的庫(kù)即可。

(1)在cmd中輸入指令python，查看python的版本，如下：

從上圖可以看出可以看出我的Python版本為Python3.5.2-64bit。

(2)登陸http://www.lfd.uci.edu/~gohlke/pythonlibs/，Ctrl+F搜索Lxml、Twisted、Scrapy，下載對(duì)應(yīng)的版本，例如：lxml-3.7.3-cp35-cp35m-win_adm64.whl，表示lxml的版本為3.7.3，對(duì)應(yīng)的python版本為3.5-64bit。我下載的版本如下圖所示：

(3)在cmd中輸入DOS指令，進(jìn)入下載好的whl文件夾下，例如我的三個(gè)whl文件放在了Scrapy文件夾下：

(4)依次執(zhí)行如下命令：

a.pip3 install wheel

b.pip3 install lxml-3.7.3-cp35-cp35m-win_amd64.whl

c.pip3 install Twisted-17.1.0-cp35-cp35m-win_amd64.whl

d.pip3 install Scrapy-1.3.2-py2.py3-none-any.whl

這樣Scrapy的安裝就完成了，請(qǐng)忽略最后兩行讓我升級(jí)pip的信息。*.*

(5)Srapy已經(jīng)安裝成功，還要下載pywin32，找到對(duì)應(yīng)版本下載，一路下一步安裝即可。安裝完成后，就可以正常使用Scrapy了。

URL：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20220/

至此，大功告成，我們可以愉快的使用Scrapy了。

常見(jiàn)錯(cuò)誤

1、pkg_resources.VersionConflict: (six 1.5.2 (/usr/lib/python3/dist-packages), Requirement.parse('six>=1.6.0'))

six包版本過(guò)低，six包是一個(gè)提供兼容Python2和Python3的庫(kù)，升級(jí)six包即可。

sudo pip3 install -U six

2、c/_cffi_backend.c:15:17: fatal error: ffi.h: No such file or directory

缺少Libffi這個(gè)庫(kù)。什么是libffi？“FFI” 的全名是 Foreign Function Interface，通常指的是允許以一種語(yǔ)言編寫(xiě)的代碼調(diào)用另一種語(yǔ)言的代碼。而Libffi庫(kù)只提供了最底層的、與架構(gòu)相關(guān)的、完整的”FFI”。

安裝相應(yīng)的庫(kù)即可。

Ubuntu、Debian：

sudo apt-get install build-essential libssl-dev libffi-dev python3-dev

CentOS、RedHat:

sudo yum install gcc libffi-devel python-devel openssl-devel

3、ImportError: No module named 'cryptography'

這是缺少加密的相關(guān)組件，利用pip安裝即可。

sudo pip3 install cryptography

4、ImportError: No module named 'packaging'

缺少packaging這個(gè)包，它提供了Python包的核心功能，利用pip安裝即可。

sudo pip3 install packaging

5、ImportError: No module named 'appdirs'

缺少appdirs這個(gè)包，它用來(lái)確定文件目錄，利用pip單獨(dú)安裝即可。

sudo pip3 install appdirs

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論