快捷導(dǎo)航

Python爬蟲基礎(chǔ)講解之scrapy框架

更新時(shí)間：2021年06月17日 16:04:40 作者：松鼠愛吃餅干

scrapy是一個(gè)使用Python語言（基于Twisted框架）編寫的開源網(wǎng)絡(luò)爬蟲框架,目前由scrapinghub Ltd維護(hù).Scrapy簡單易用、靈活易拓展、開發(fā)社區(qū)活躍，并且是跨平臺(tái)的.在Linux、MaxOS以及windows平臺(tái)都可以使用,需要的朋友可以參考下

網(wǎng)絡(luò)爬蟲

網(wǎng)絡(luò)爬蟲是指在互聯(lián)網(wǎng)上自動(dòng)爬取網(wǎng)站內(nèi)容信息的程序，也被稱作網(wǎng)絡(luò)蜘蛛或網(wǎng)絡(luò)機(jī)器人。大型的爬蟲程序被廣泛應(yīng)用于搜索引擎、數(shù)據(jù)挖掘等領(lǐng)域，個(gè)人用戶或企業(yè)也可以利用爬蟲收集對(duì)自身有價(jià)值的數(shù)據(jù)。

一個(gè)網(wǎng)絡(luò)爬蟲程序的基本執(zhí)行流程可以總結(jié)三個(gè)過程：請求數(shù)據(jù)，解析數(shù)據(jù)，保存數(shù)據(jù)

數(shù)據(jù)請求

請求的數(shù)據(jù)除了普通的HTML之外，還有json數(shù)據(jù)、字符串?dāng)?shù)據(jù)、圖片、視頻、音頻等。

解析數(shù)據(jù)

當(dāng)一個(gè)數(shù)據(jù)下載完成后，對(duì)數(shù)據(jù)中的內(nèi)容進(jìn)行分析，并提取出需要的數(shù)據(jù)，提取到的數(shù)據(jù)可以以多種形式保存起來，數(shù)據(jù)的格式有非常多種，常見的有csv、json、pickle等

保存數(shù)據(jù)

最后將數(shù)據(jù)以某種格式(CSV、JSON)寫入文件中，或存儲(chǔ)到數(shù)據(jù)庫（MySQL、MongoDB)中。同時(shí)保存為一種或者多種。

通常，我們想要獲取的數(shù)據(jù)并不只在一個(gè)頁面中，而是分布在多個(gè)頁面中，這些頁面彼此聯(lián)系，一個(gè)頁面中可能包含一個(gè)或多個(gè)到其他頁面的鏈接，提取完當(dāng)前頁面中的數(shù)據(jù)后，還要把頁面中的某些鏈接也提取出來，然后對(duì)鏈接頁面進(jìn)行爬?。ㄑh(huán)1-3步驟)。

設(shè)計(jì)爬蟲程序時(shí)，還要考慮防止重復(fù)爬取相同頁面(URL去重)、網(wǎng)頁搜索策略（深度優(yōu)先或廣度優(yōu)先等)、爬蟲訪問邊界限定等一系列問題。

從頭開發(fā)一個(gè)爬蟲程序是一項(xiàng)煩瑣的工作，為了避免因制造輪子而消耗大量時(shí)間，在實(shí)際應(yīng)用中我們可以選擇使用一些優(yōu)秀的爬蟲框架，使用框架可以降低開發(fā)成本，提高程序質(zhì)量，讓我們能夠?qū)Ｗ⒂跇I(yè)務(wù)邏輯（爬取有價(jià)值的數(shù)據(jù))。接下來，就帶你學(xué)習(xí)目前非常流行的開源爬蟲框架Scrapy。

scrapy安裝

scrapy官網(wǎng)：https://scrapy.org/
scrapy中文文檔：https://www.osgeo.cn/scrapy/intro/overview.html

安裝方式

在任意操作系統(tǒng)下，可以使用pip安裝Scrapy，例如：

pip install scrapy

安裝完成后我們需要測試安裝是否成功，通過如下步驟確認(rèn)：

在終端中測試能否執(zhí)行scrapy這條命令

scrapy 2.4.0 - no active project
 
usage:
    scrapy <command>[options] [args]
 
Available commands :
    bench        Run quick benchmark test
    fetch        Fetch a URL using the scrapy down1oader
    genspider        Generate new spider using pre-defined temp1ates
    runspider        Run a self-contained spider (without creating a project)
    settings        Get settings values
    she11        Interactive scraping console
    startproject        create new project
    version        Print scrapy version
    view        open URL in browser,as seen by scrapy
 
    [ more ]        More commands available when run from project directory
 
use "scrapy <command> -h" to see more info about a command

輸入scrapy bench測試連通性，如果出現(xiàn)以下情況表示安裝成功：

通過了以上兩項(xiàng)檢測，說明Scrapy安裝成功了。如上所示，我們安裝的是當(dāng)前最新版本2.4.0。

注意：

在安裝Scrapy的過程中可能會(huì)遇到缺少VC++等錯(cuò)誤，可以安裝缺失模塊的離線包

成功安裝后，在CMD下運(yùn)行scrapy出現(xiàn)上圖不算真正成功，檢測真正是否成功使用scrapybench測試，如果沒有提示錯(cuò)誤，就代表成功安裝。

全局命令

scrapy 2.4.0 - no active project
 
usage:
  scrapy <command>[options] [args]
 
Available commands :
  bench      Run quick benchmark test #測試電腦性能
  fetch      Fetch a URL using the scrapy down1oader#將源代碼下載下來并顯示出來
  genspider      Generate new spider using pre-defined temp1ates#創(chuàng)建一個(gè)新的spider文件
  runspider      Run a self-contained spider (without creating a project)# 這個(gè)和通過craw1啟動(dòng)爬蟲不同，scrapy runspider爬蟲文件名稱
  settings      Get settings values#獲取當(dāng)前的配置信息
  she11      Interactive scraping console#進(jìn)入scrapy 的交互模式
  startproject      create new project#創(chuàng)建爬蟲項(xiàng)目
  version      Print scrapy version#顯示scrapy框架的版本
  view      open URL in browser，as seen by scrapy#將網(wǎng)頁document內(nèi)容下載下來，并且在瀏覽器顯示出來
 
  [ more ]      More commands available when run from project directory
use "scrapy <command> -h" to see more info about a command

項(xiàng)目命令