python獲取整個網(wǎng)頁源碼的方法
更新時間：2020年08月03日 07:54:00 作者：Ly
在本篇文章里小編給大家整理的是關(guān)于python獲取整個網(wǎng)頁源碼的方法，需要的朋友們可以參考下。
1、Python中獲取整個頁面的代碼：
import requests
res = requests.get('https://blog.csdn.net/yirexiao/article/details/79092355')
res.encoding = 'utf-8'
print(res.text)
2、運行結(jié)果
實例擴展：
from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
websiteurl=url
t=time.time()
n=0
html=urllib2.urlopen(websiteurl).read()
soup=BeautifulSoup(html)
pageurls=[]
Upageurls={}
pageurls=soup.find_all("a",href=True)
for links in pageurls:
if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
Upageurls[links.get("href")]=0
for links in Upageurls.keys():
try:
urllib2.urlopen(links).getcode()
except:
print "connect failed"
else:
t2=time.time()
Upageurls[links]=urllib2.urlopen(links).getcode()
print n,
print links,
print Upageurls[links]
t1=time.time()
print t1-t2
n+=1
print ("total is "+repr(n)+" links")
print time.time()-t
scanpage(http://news.163.com/)
到此這篇關(guān)于python獲取整個網(wǎng)頁源碼的方法的文章就介紹到這了,更多相關(guān)python如何獲取整個頁面內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了python自動保存百度盤資源到百度盤中的實例代碼，代碼簡單易懂，非常不錯，具有一定的參考借鑒價值,需要的朋友可以參考下2019-08-08
這篇文章主要給大家分享的是利用Python 寫小游戲吃金幣、打乒乓、滑雪并附上源碼，具有一的知識性參考價值，需要的小伙伴可以參考一下2022-03-03
下面小編就為大家?guī)硪黄猵ython字符串中的單雙引。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-02-02
ChatGLM-6B+LangChain環(huán)境部署與使用實戰(zhàn)
這篇文章主要介紹了ChatGLM-6B+LangChain環(huán)境部署與使用方法,結(jié)合實例形式詳細(xì)分析了ChatGLM-6B+LangChain環(huán)境部署相關(guān)步驟、實現(xiàn)方法與相關(guān)注意事項,需要的朋友可以參考下2023-07-07
這篇文章主要介紹了使用Python操作ArangoDB的方法步驟，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
python的reverse函數(shù)翻轉(zhuǎn)結(jié)果為None的問題
這篇文章主要介紹了python的reverse函數(shù)翻轉(zhuǎn)結(jié)果為None的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
詳解Python數(shù)據(jù)結(jié)構(gòu)與算法中的順序表
線性表在計算機中的表示可以采用多種方法，采用不同存儲方法的線性表也有著不同的名稱和特點。線性表有兩種基本的存儲結(jié)構(gòu)：順序存儲結(jié)構(gòu)和鏈?zhǔn)酱鎯Y(jié)構(gòu)。本文將介紹順序存儲結(jié)構(gòu)的特點以及各種基本運算的實現(xiàn)。需要的可以參考一下2022-01-01
今天小編就為大家分享一篇Python的對象傳遞與Copy函數(shù)使用詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
用Matlab讀取CSV文件出現(xiàn)不匹配問題及解決
這篇文章主要介紹了用Matlab讀取CSV文件出現(xiàn)不匹配問題及解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-06-06
數(shù)據(jù)清洗是數(shù)據(jù)處理過程中至關(guān)重要的一部分,本文主要介紹了如何使用Python數(shù)據(jù)清洗庫,具有一定的參考價值,感興趣的可以了解一下2023-12-12