Python簡(jiǎn)單實(shí)現(xiàn)網(wǎng)頁內(nèi)容抓取功能示例
更新時(shí)間：2018年06月07日 08:43:54 作者：偶-木
這篇文章主要介紹了Python簡(jiǎn)單實(shí)現(xiàn)網(wǎng)頁內(nèi)容抓取功能,結(jié)合實(shí)例形式分析了Python基于urllib模塊的網(wǎng)頁請(qǐng)求、內(nèi)容讀取等相關(guān)操作技巧,需要的朋友可以參考下
本文實(shí)例講述了Python簡(jiǎn)單實(shí)現(xiàn)網(wǎng)頁內(nèi)容抓取功能。分享給大家供大家參考，具體如下：
使用模塊：
import urllib2 import urllib
普通抓取實(shí)例：
#!/usr/bin/python # -*- coding: UTF-8 -*- import urllib2 url = 'http://www.baidu.com' #創(chuàng)建request對(duì)象 request = urllib2.Request(url) #發(fā)送請(qǐng)求，獲取結(jié)果 try: response = urllib2.urlopen(request) except BaseException, err: print err exit() #獲取狀態(tài)碼，如果是200表示獲取成功 code = response.getcode() print code #讀取內(nèi)容 if 200 == code: content = response.read() print content
Get請(qǐng)求抓取實(shí)例：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
import urllib
#urllib2使用GET方式的請(qǐng)求
url = 'http://www.baidu.com/s'
values = {'wd' : '車云'}
# 必須編碼
data = urllib.urlencode(values)
url = url + '?' + data
print url
#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91
#創(chuàng)建request對(duì)象
request = urllib2.Request(url)
#發(fā)送請(qǐng)求，獲取結(jié)果
try:
response = urllib2.urlopen(request)
except BaseException, err:
print err
exit()
#獲取狀態(tài)碼，如果是200表示獲取成功
code = response.getcode()
print code
#讀取內(nèi)容
if 200 == code:
content = response.read()
print content
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
python中協(xié)程實(shí)現(xiàn)TCP連接的實(shí)例分析
在本篇文章中我們給大家分享了python中協(xié)程實(shí)現(xiàn)TCP連接的代碼示例內(nèi)容，有需要的朋友們可以跟著學(xué)習(xí)下。2018-10-10
這篇文章主要介紹了python 貪心算法的實(shí)現(xiàn)，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-09-09
python opencv設(shè)置攝像頭分辨率以及各個(gè)參數(shù)的方法
下面小編就為大家分享一篇python opencv設(shè)置攝像頭分辨率以及各個(gè)參數(shù)的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要為大家詳細(xì)介紹了Django實(shí)現(xiàn)文件上傳下載，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-10-10
python的開發(fā)效率非常的高,但是當(dāng)我們用python寫一些小工具需要給用戶使用的時(shí)候,用戶大多數(shù)是沒有安裝python的,本文介紹兩種python的打包方案,使用pyinstaller和nuitka打包成exe,文中通過代碼示例介紹的非常詳細(xì),需要的朋友可以參考下2024-05-05
Python 搭建Web站點(diǎn)之Web服務(wù)器與Web框架
這篇文章主要介紹了Python 搭建Web站點(diǎn)系列文章的第一篇，主要給大家簡(jiǎn)單介紹Web服務(wù)器與Web框架的相關(guān)資料,需要的朋友可以參考下2016-11-11
Pycharm導(dǎo)入anaconda環(huán)境的教程圖解
這篇文章主要介紹了Pycharm導(dǎo)入anaconda環(huán)境的教程，本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-07-07
Python實(shí)現(xiàn)的微信好友數(shù)據(jù)分析功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)的微信好友數(shù)據(jù)分析功能,結(jié)合實(shí)例形式分析了Python使用itchat、pandas、pyecharts等模塊針對(duì)微信好友數(shù)據(jù)進(jìn)行統(tǒng)計(jì)與計(jì)算相關(guān)操作技巧,需要的朋友可以參考下2018-06-06
Django實(shí)現(xiàn)支付寶付款和微信支付的示例代碼
支付寶支付和微信支付是當(dāng)今互聯(lián)網(wǎng)產(chǎn)品常用的功能，這篇文章主要介紹了Django實(shí)現(xiàn)支付寶付款和微信支付的示例代碼,小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-07-07
相信很多人都很想把python文件封裝成exe文件,下面這篇文章主要給大家介紹了關(guān)于python封裝成exe的相關(guān)資料,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2022-06-06