Python實(shí)現(xiàn)抓取頁(yè)面上鏈接的簡(jiǎn)單爬蟲分享
除了C/C++以外，我也接觸過(guò)不少流行的語(yǔ)言，PHP、java、javascript、python，其中python可以說(shuō)是操作起來(lái)最方便，缺點(diǎn)最少的語(yǔ)言了。
前幾天想寫爬蟲，后來(lái)跟朋友商量了一下，決定過(guò)幾天再一起寫。爬蟲里重要的一部分是抓取頁(yè)面中的鏈接，我在這里簡(jiǎn)單的實(shí)現(xiàn)一下。
首先我們需要用到一個(gè)開源的模塊，requests。這不是python自帶的模塊，需要從網(wǎng)上下載、解壓與安裝：
windows用戶直接點(diǎn)擊下載。解壓后再本地使用命令python setup.py install安裝即可。 https://github.com/kennethreitz/requests/zipball/master
這個(gè)模塊的文檔我也正在慢慢翻譯，翻譯完了就給大家傳上來(lái)（英文版先發(fā)在附件里）。就像它的說(shuō)明里面說(shuō)的那樣，built for human beings,為人類而設(shè)計(jì)。使用它很方便，自己看文檔。最簡(jiǎn)單的，requests.get()就是發(fā)送一個(gè)get請(qǐng)求。
代碼如下：
# coding:utf-8
import re
import requests
# 獲取網(wǎng)頁(yè)內(nèi)容
r = requests.get('http://www.163.com')
data = r.text
# 利用正則查找所有連接
link_list =re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\').+?(?=\')" ,data)
for url in link_list:
print url
首先import進(jìn)re和requests模塊，re模塊是使用正則表達(dá)式的模塊。
data = requests.get('http://www.163.com')，向網(wǎng)易首頁(yè)提交get請(qǐng)求，得到一個(gè)requests對(duì)象r，r.text就是獲得的網(wǎng)頁(yè)源代碼，保存在字符串data中。
再利用正則查找data中所有的鏈接，我的正則寫的比較粗糙，直接把href=""或href=''之間的信息獲取到，這就是我們要的鏈接信息。
re.findall返回的是一個(gè)列表，用for循環(huán)遍歷列表并輸出：
這是我獲取到的所有連接的一部分。
上面是獲取網(wǎng)站里所有鏈接的一個(gè)簡(jiǎn)單的實(shí)現(xiàn)，沒有處理任何異常，沒有考慮到超鏈接的類型，代碼僅供參考。requests模塊文檔見附件。
相關(guān)文章
Python實(shí)現(xiàn)自動(dòng)整理表格的示例代碼
這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)自動(dòng)整理表格的功能，文中的示例代碼簡(jiǎn)潔易懂，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-03-03
這篇文章主要介紹了python的類class定義及其初始化方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-05-05![python-leetcode求區(qū)間[M,N]內(nèi)的所有素?cái)?shù)的個(gè)數(shù)實(shí)現(xiàn)方式](http://img.jbzj.com/images/xgimg/bcimg2.png)
python-leetcode求區(qū)間[M,N]內(nèi)的所有素?cái)?shù)的個(gè)數(shù)實(shí)現(xiàn)方式
這篇文章主要介紹了python-leetcode求區(qū)間[M,N]內(nèi)的所有素?cái)?shù)的個(gè)數(shù)實(shí)現(xiàn)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
Python 存儲(chǔ)字符串時(shí)節(jié)省空間的方法
這篇文章主要介紹了Python 存儲(chǔ)字符串時(shí)節(jié)省空間的方法,非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2019-04-04
python實(shí)現(xiàn)外賣信息管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)外賣信息管理系統(tǒng)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-01-01
Python全面分析系統(tǒng)的時(shí)域特性和頻率域特性
今天小編就為大家分享一篇Python全面分析系統(tǒng)的時(shí)域特性和頻率域特性，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-02-02
這篇文章主要介紹了python基于K-means聚類算法的圖像分割，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
Python中11種NumPy高級(jí)操作總結(jié)
熬夜整了了11種Numpy的高級(jí)操作，每一種都有參數(shù)解釋與小例子輔助說(shuō)明。文中的示例代碼講解詳細(xì)，感興趣的小伙伴快跟隨小編一起學(xué)習(xí)一下吧2022-05-05
這篇文章主要介紹了python實(shí)現(xiàn)XML解析的方法解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11
這篇文章主要介紹了python使用pdfminer解析pdf文件的方法示例，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-12-12