python常見(jiàn)的框架有哪些

1.scrapy框架

scrapy框架是一套比較成熟的python爬蟲(chóng)框架，是使用python開(kāi)發(fā)的快速、高層次的信息爬取框架，可以高效率地爬取web頁(yè)面并提取出我們關(guān)注的結(jié)構(gòu)化數(shù)據(jù)。

scrapy框架的應(yīng)用領(lǐng)域有許多，比如網(wǎng)絡(luò)爬蟲(chóng)，數(shù)據(jù)挖掘、數(shù)據(jù)監(jiān)測(cè)、自動(dòng)化測(cè)試等。

scrapy框架是一套開(kāi)源的框架，開(kāi)源也就意味著我們能夠看到并且免費(fèi)試用scrapy的所有代碼。

2.crawley框架

crawley也是使用python開(kāi)發(fā)出來(lái)的一款爬蟲(chóng)框架，該框架致力于改變?nèi)藗儚幕ヂ?lián)網(wǎng)中提取數(shù)據(jù)的方式，讓大家可以更高效地從互聯(lián)網(wǎng)中爬取對(duì)應(yīng)內(nèi)容。

crawley框架的主要特點(diǎn)有：

• 1>高速爬取對(duì)應(yīng)網(wǎng)站內(nèi)容
• 2> 可以將爬取到內(nèi)容輕松地存儲(chǔ)到數(shù)據(jù)庫(kù)中，比如：postgres，mysql，oracle，sqlite等數(shù)據(jù)庫(kù)
• 3>可以將爬取到的數(shù)據(jù)導(dǎo)出為json，xml等格式
• 4>支持非關(guān)系型數(shù)據(jù)庫(kù)，比如：mongodb，couchdb等
• 5>支持使用命令行工具
• 6>可以使用你喜歡的工具提取數(shù)據(jù)，比如使用xpath或者pyquery等工具
• 7>支持使用cookie登陸并訪問(wèn)哪些只有登陸才能夠訪問(wèn)的網(wǎng)頁(yè)
• 8>簡(jiǎn)單易學(xué)

3.portia框架

portia框架是一款允許沒(méi)有任何編程基礎(chǔ)的用戶可視化地爬取網(wǎng)頁(yè)的爬蟲(chóng)框架，給出你要爬取的網(wǎng)頁(yè)中感興趣的數(shù)據(jù)內(nèi)容，通過(guò)portia框架，可以將你所需要的信息從相似的網(wǎng)頁(yè)中自動(dòng)提取出來(lái)，如果需要，可以子啊github上的主頁(yè)進(jìn)行獲取。

如果需要，上百度自己查吧，具體的我就不寫(xiě)了。

4.newspaper框架

newspaper框架是一種用來(lái)提取新聞、文章以及內(nèi)容分析的python爬蟲(chóng)框架。

更準(zhǔn)確地說(shuō)，newspaper是一個(gè)python的庫(kù)，只不過(guò)這個(gè)庫(kù)是由第三方開(kāi)發(fā)的，可以歸為一種框架。

newspaper框架在的主要特點(diǎn)：

• 1>比較簡(jiǎn)單
• 2>速度比較快
• 3>支持多線程
• 4>支持十多種語(yǔ)言

由此我們可以知道newspaper框架是輕量級(jí)框架，并且就爬取文章信息這一功能來(lái)說(shuō)，使用起來(lái)很方便

5.Python-goose框架

coose本來(lái)是一款用java寫(xiě)的文章提取工具，Xavier Grangier用python重寫(xiě)了goose，并將重寫(xiě)后goose命名為python-goose。

所以，python-coose框架實(shí)現(xiàn)的功能同樣是進(jìn)行文章提取。

總結(jié)

以上是python常用的5種框架，這是我知道，如果各位大神，還有其他的 ，也可以留言，相互溝通，學(xué)習(xí)。

另外后面3種框架可以再github上找到。希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論