一.為什么使用Scrapy框架?

Scrapy是一個快速、高層次的屏幕抓取和web抓取的框架,可用于數(shù)據(jù)挖掘、監(jiān)測和自動化檢測，任何人都可以根據(jù)需要去進行修改。

二.Scrapy框架每個組件介紹

1.Scrapy引擎（Scrapy Engine）：負責控制數(shù)據(jù)流在系統(tǒng)的所以組件中的流動，并在相應(yīng)動作發(fā)生時觸發(fā)事件。

2.調(diào)度器（Scheduler）:從引擎接受reques并將其入隊，便于以后請求它們提供給引擎。

3.下載器（Downloader）：負責獲取網(wǎng)頁數(shù)據(jù)并且提供給引擎，然后提供給Spider。

4.Spiders： 指Scrapy用戶編寫用于分析response并且提取item或額外跟進的URL類人。每個Spider負責處理一些特定網(wǎng)站。

5.Item Pipeline：負責處理被Spider提取出來的item。典型的處理有清潔、驗證及持久化

6.下載器中間件（Downloader Middlewares）：指在引擎及下載器之間的特定鉤子（specific hook），處理Downloader 傳遞給引擎的response。它提供一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能。

7.Spiders中間件（Spider Middlewares）:指在引擎及Spider之間的特定鉤子（specific hook），處理Spider 的輸入（response）和輸出（items及requests）。它提供一個簡便的機制，通過插入自定義代碼來擴展Scrapy功能。

三.Scrapy框架工作原理

1.引擎向spider要URL

2.引擎將要爬取的URL給調(diào)度器

3.調(diào)度器會將URL生成請求對象放入指定的隊列中

4.從隊列中出隊一個請求

5.引擎將請求交給下載器進行處理

6.下載器發(fā)送請求獲取互聯(lián)網(wǎng)數(shù)據(jù)

7.下載器將數(shù)據(jù)返回給引擎

8.引擎將數(shù)據(jù)再次給到spiders

9.spiders通過xpath解析該數(shù)據(jù)，得到數(shù)據(jù)或URL

10.spiders將數(shù)據(jù)或URL給到引擎

11.引擎判斷該數(shù)據(jù)是URL還是數(shù)據(jù)，交給管道處理，URL交給調(diào)度器處理

12.當調(diào)度器里沒有任何數(shù)據(jù)之后，整個程序停止

下面是我根據(jù)工作原理畫的可以結(jié)合去看：

總結(jié)

本篇文章就到這里了，希望能夠給你帶來幫助，也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!

最新評論