python常見的框架有哪些

1.scrapy框架

scrapy框架是一套比較成熟的python爬蟲框架，是使用python開發(fā)的快速、高層次的信息爬取框架，可以高效率地爬取web頁面并提取出我們關注的結構化數(shù)據。

scrapy框架的應用領域有許多，比如網絡爬蟲，數(shù)據挖掘、數(shù)據監(jiān)測、自動化測試等。

scrapy框架是一套開源的框架，開源也就意味著我們能夠看到并且免費試用scrapy的所有代碼。

2.crawley框架

crawley也是使用python開發(fā)出來的一款爬蟲框架，該框架致力于改變人們從互聯(lián)網中提取數(shù)據的方式，讓大家可以更高效地從互聯(lián)網中爬取對應內容。

crawley框架的主要特點有：

• 1>高速爬取對應網站內容
• 2> 可以將爬取到內容輕松地存儲到數(shù)據庫中，比如：postgres，mysql，oracle，sqlite等數(shù)據庫
• 3>可以將爬取到的數(shù)據導出為json，xml等格式
• 4>支持非關系型數(shù)據庫，比如：mongodb，couchdb等
• 5>支持使用命令行工具
• 6>可以使用你喜歡的工具提取數(shù)據，比如使用xpath或者pyquery等工具
• 7>支持使用cookie登陸并訪問哪些只有登陸才能夠訪問的網頁
• 8>簡單易學

3.portia框架

portia框架是一款允許沒有任何編程基礎的用戶可視化地爬取網頁的爬蟲框架，給出你要爬取的網頁中感興趣的數(shù)據內容，通過portia框架，可以將你所需要的信息從相似的網頁中自動提取出來，如果需要，可以子啊github上的主頁進行獲取。

如果需要，上百度自己查吧，具體的我就不寫了。

4.newspaper框架

newspaper框架是一種用來提取新聞、文章以及內容分析的python爬蟲框架。

更準確地說，newspaper是一個python的庫，只不過這個庫是由第三方開發(fā)的，可以歸為一種框架。

newspaper框架在的主要特點：

• 1>比較簡單
• 2>速度比較快
• 3>支持多線程
• 4>支持十多種語言

由此我們可以知道newspaper框架是輕量級框架，并且就爬取文章信息這一功能來說，使用起來很方便

5.Python-goose框架

coose本來是一款用java寫的文章提取工具，Xavier Grangier用python重寫了goose，并將重寫后goose命名為python-goose。

所以，python-coose框架實現(xiàn)的功能同樣是進行文章提取。

總結

以上是python常用的5種框架，這是我知道，如果各位大神，還有其他的 ，也可以留言，相互溝通，學習。

另外后面3種框架可以再github上找到。希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論