python訪問抓取網(wǎng)頁常用命令總結

更新時間：2017年04月11日 15:34:37 投稿：lqh

這篇文章主要介紹了python訪問抓取網(wǎng)頁常用命令的相關資料,需要的朋友可以參考下

python訪問抓取網(wǎng)頁常用命令

簡單的抓取網(wǎng)頁:

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件對象
page=response.read()

直接將URL保存為本地文件：

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件對象
page=response.read()

POST方式：

import urllib.parse 
import urllib.request 
 
url="http://liuxin-blog.appspot.com/messageboard/add" 
 
values={"content":"命令行發(fā)出網(wǎng)頁請求測試"} 
data=urllib.parse.urlencode(values) 

#創(chuàng)建請求對象 
req=urllib.request.Request(url,data) 
#獲得服務器返回的數(shù)據(jù) 
response=urllib.request.urlopen(req) 
#處理數(shù)據(jù) 
page=response.read()

GET方式：

import urllib.parse 
import urllib.request 
 
url="http://www.google.cn/webhp" 
 
values={"rls":"ig"} 
data=urllib.parse.urlencode(values) 
 
theurl=url+"?"+data 
#創(chuàng)建請求對象 
req=urllib.request.Request(theurl) 
#獲得服務器返回的數(shù)據(jù) 
response=urllib.request.urlopen(req) 
#處理數(shù)據(jù) 
page=response.read()

有2個常用的方法,geturl(),info()

geturl()的設置是為了辨別是否有服務器端的網(wǎng)址重定向,而info()則包含了一系列的信息。

中文問題的處理，會用到 encode()編碼 dencode()解碼：

感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！

您可能感興趣的文章:

Python實現(xiàn)快速替換Word文檔中的關鍵字
使用Python自動化處理Word文檔可以幫助您提高效率，并減少手動處理文檔所需的時間和精力，所以本文為大家準備了Python快速替換Word文檔中的關鍵字的方法，希望對大家有所幫助
2023-06-06
利用Python繪制有趣的萬圣節(jié)南瓜怪效果
這篇文章主要介紹了用Python繪制有趣的萬圣節(jié)南瓜怪效果，本文實例圖文相結合給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下
2019-10-10
Python單元和文檔測試實例詳解
這篇文章主要介紹了Python單元和文檔測試,結合實例形式分析了Python單元測試模塊unittest及文檔測試模塊doctest相關使用技巧,需要的朋友可以參考下
2019-04-04
Python實現(xiàn)CNN的多通道輸入實例
今天小編就為大家分享一篇Python實現(xiàn)CNN的多通道輸入實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-01-01
python中heapq堆排算法的實現(xiàn)
這篇文章主要介紹了python中heapq堆排算法的實現(xiàn)，該模塊提供了堆排序算法的實現(xiàn)。堆是二叉樹，最大堆中父節(jié)點大于或等于兩個子節(jié)點，最小堆父節(jié)點小于或等于兩個子節(jié)點。下面文章更多詳細介紹，需要的小伙伴可以參考一下
2022-05-05
django中related_name的用法說明
這篇文章主要介紹了django中related_name的用法說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-05-05
Python繪圖實現(xiàn)坐標軸共享與復用詳解
這篇文章主要為大家詳細介紹了Python在繪圖時如何實現(xiàn)坐標軸共享與復用,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下
2024-02-02
pycharm new project變成灰色的解決方法
今天小編就為大家分享一篇pycharm new project變成灰色的解決方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-06-06
Python?文件操作方法總結
這篇文章主要介紹了Python?文件操作方法總結，文章基于python的基礎展開Python?文件操作方法，具有一定的參考價值，需要的小伙伴可以參考一下
2022-05-05
Python字典查找數(shù)據(jù)的5個基礎操作方法
Python字典是另一種可變?nèi)萜髂Ｐ?且可存儲任意類型對象,如字符串、數(shù)字、元組等其他容器模型,下面這篇文章主要給大家介紹了關于Python字典查找數(shù)據(jù)的5個基礎操作方法,需要的朋友可以參考下
2022-06-06