本文實例講述了Python3爬蟲相關入門知識。分享給大家供大家參考，具體如下：

在網上看到大多數(shù)爬蟲教程都是Python2的，但Python3才是未來的趨勢，許多初學者看了Python2的教程學Python3的話很難適應過來，畢竟Python2.x和Python3.x還是有很多區(qū)別的，一個系統(tǒng)的學習方法和路線非常重要，因此我在聯(lián)系了一段時間之后，想寫一下自己的學習過程，分享一下自己的學習經驗，順便也鍛煉一下自己。

一、入門篇

這里是Python3的官方技術文檔，在這里需要著重說一下，語言的技術文檔是用來查的，不是用來學習的，真的沒必要把文檔背下來，這樣學習效率真的很低，不如片學邊做，在實踐中才會學到東西，不然即使你背會了文檔，你仍然很難做出什么項目來，我當初就是在這上面，走了很多彎路，在這里推薦W3cscjool里面的教程非常不錯，學習與實踐相結合。

1. 少廢話，先看東西

第一個例子：爬取知乎首頁源碼。

#-*-coding:utf-8 -*-
import urllib.request
url = "http://www.zhihu.com"
page_info = urllib.request.urlopen(url).read()
page_info = page_info.decode('utf-8')
print(page_info)

運行結果：

運行之后，在IDLE shell里面知乎網站首頁的源代碼就會被讀出來啦Blahblahblah~~~

爬蟲定義：

網絡爬蟲（Web Spider），又被稱為網頁蜘蛛，是一種按照一定的規(guī)則，自動地抓取網站信息的程序或者腳本。

簡介：

網絡蜘蛛是一個很形象的名字。如果把互聯(lián)網比喻成一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。網絡蜘蛛是通過網頁的鏈接地址來尋找網頁，從 網站某一個頁面開始，讀取網頁的內容，找到在網頁中的其它鏈接地址，然后通過這些鏈接地址尋找下一個網頁，這樣一直循環(huán)下去，直到把這個網站所有的網頁都抓取完為止。

爬蟲流程：

①先由urllib的request打開Url得到網頁html文檔——②瀏覽器打開網頁源代碼分析元素節(jié)點——③通過Beautiful Soup（后面會講到）或則正則表達式提取想要的數(shù)據(jù)——④存儲數(shù)據(jù)到本地磁盤或數(shù)據(jù)庫（抓取，分析，存儲）

urllib和urllib2

python2.x里urllib2庫，在python3.x里，urllib2改名為urllib，被分成一些子模塊：urllib.request, urllib.parse和urllib.error。盡管函數(shù)名稱大多數(shù)和原來一樣，但是在用新的urllib庫時需要注意哪些函數(shù)被移動到子模塊里了。
urllib是python的標準庫，包含了從網絡請求數(shù)據(jù)，處理cookie，甚至改變像請求頭和用戶代理這些元數(shù)據(jù)的函數(shù)。
urlopen用來打開并讀取一個從網絡獲取的遠程對象。它可以輕松讀取HTML文件、圖像文件或其他任何文件流。

url = "http://www.zhihu.com"
page_info = urllib.request.urlopen(url).read()

urllib.request是urllib的一個子模塊,可以打開和處理一些復雜的網址

decode('utf-8')用來將頁面轉換成utf-8的編碼格式，否則會出現(xiàn)亂碼

page_info = page_info.decode('utf-8')
print(page_info)

urllib.request.urlopen()方法實現(xiàn)了打開url,并返回一個 http.client.HTTPResponse對象,通過http.client.HTTPResponse的read()方法,獲得response body,轉碼最后通過print()打印出來.

更多關于Python相關內容可查看本站專題：《Python Socket編程技巧總結》、《Python正則表達式用法總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設計有所幫助。

最新評論