python中安裝Scrapy模塊依賴包匯總

更新時間：2017年07月02日 10:20:25 作者：lon.y@qq.com

Scrapy的安裝有一些依賴包,沒有這些包是會安裝失敗的，下面我們就來詳細探討下

本地虛擬環(huán)境開發(fā)完成之后，上線過程中需要一一安裝依賴包，做個記錄如下：

CentOS 安裝python3.5.3

wget https://www.python.org/ftp/python/3.5.3/Python-3.5.3.tgz
tar -xf Python-3.5.3.tgz cd Python-3.5.3
./configure --prefix=/usr/local/python353 make &amp; make install

完成安裝python3.5.3，在不刪除系統(tǒng)自帶的python2.x情況下，做幾個軟鏈：

#做python3軟鏈
ln -s /usr/local/python353/bin/python3 /usr/local/bin/
#pip3軟鏈
ln -s /usr/local/python353/bin/pip3 /usr/local/bin/

上傳程序，安裝scrapy及其依賴包：

#user agent包
pip3 install fake-useragent -i https://pypi.douban.com/simple/
#pymysql包
pip3 install pymysql -i https://pypi.douban.com/simple/
#PooledDB依賴包
pip3 install DBUtils -i https://pypi.douban.com/simple/
#PIL模塊依賴包
pip3 install Image -i https://pypi.douban.com/simple/

在Centos系統(tǒng)中安裝過程中，出現一個較為淡疼的問題：系統(tǒng)沒有安裝sqlite3，故此一直提示：
解決上面問題，下載sqlite3

sudo wget http://www.sqlite.org/2017/sqlite-autoconf-3190300.tar.gz

編譯安裝：

tar zxvf sqlite-autoconf-3190300.tar.gz cd sqlite-autoconf-3190300
./configure --prefix=/usr/local/sqlite3
make && make install

重新編譯Python，找到Python3.5.3的安裝文件路徑，編輯setup.py腳本，找到 “sqlite3”

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
]

在最后一行加入sqlite3編譯安裝路徑，如下：

sqlite_inc_paths = [ '/usr/include',
'/usr/include/sqlite',
'/usr/include/sqlite3',
'/usr/local/include',
'/usr/local/include/sqlite',
'/usr/local/include/sqlite3',
'/usr/local/sqlite3',
]

重新編譯Python3.5.3:

./configure --prefix=/usr/local/python353
make && make install

您可能感興趣的文章:

Tensorflow訓練MNIST手寫數字識別模型
這篇文章主要為大家詳細介紹了Tensorflow訓練MNIST手寫數字識別模型，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2020-02-02
Python生成并下載文件后端代碼實例
這篇文章主要介紹了Python生成并下載文件后端代碼實例,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-08-08
python連接MySQL、MongoDB、Redis、memcache等數據庫的方法
這篇文章主要介紹了python連接操作MySQL、MongoDB、Redis、memcache等數據庫的方法，大家可以參考使用
2013-11-11
Python如何把十進制數轉換成ip地址
這篇文章主要介紹了Python如何把十進制數轉換成ip地址,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-05-05
python抓取網站的圖片并下載到本地的方法
今天小編就為大家分享一篇python抓取網站的圖片并下載到本地的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-05-05
python上下文管理器使用場景及異常處理
這篇文章主要為大家介紹了python上下文管理器使用場景及異常處理示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2022-06-06
python爬蟲MeterSphere平臺執(zhí)行報告流程解析
這篇文章主要為大家介紹了python爬蟲MeterSphere平臺執(zhí)行報告流程解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
2023-12-12
python使用wxPython打開并播放wav文件的方法
這篇文章主要介紹了python使用wxPython打開并播放wav文件的方法,涉及Python操作音頻文件的相關技巧,需要的朋友可以參考下
2015-04-04
python中pandas nlargest()的詳細用法小結
df.nlargest()是一個DataFrame的方法,用于返回DataFrame中最大的n個值所在的行,通過調用nlargest()方法,我們返回了分數最高的三個行,并按照降序排列,本文結合實例代碼給大家介紹的非常詳細,需要的朋友參考下吧
2023-10-10
flask + pymysql操作Mysql數據庫的實例
下面小編就為大家?guī)硪黄猣lask + pymysql操作Mysql數據庫的實例。小編覺得挺不錯的，現在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-11-11