Python讀取網(wǎng)頁(yè)內(nèi)容的方法
本文實(shí)例講述了Python讀取網(wǎng)頁(yè)內(nèi)容的方法。分享給大家供大家參考。具體如下:
import urllib2 #encoding = utf-8 class Crawler: def main(self): #req = urllib2.Request('http://www.baidu.com/') #req.add_header('User-Agent', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0)') #urllib2.socket.setdefaulttimeout(10) # 超時(shí)10秒 #page = urllib2.urlopen(req) page = urllib2.urlopen('http://www.google.com', timeout=10) data = page.read() print data print len(data) #計(jì)算字節(jié)長(zhǎng)度 if __name__ == '__main__': me=Crawler() me.main()
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
- python打開url并按指定塊讀取網(wǎng)頁(yè)內(nèi)容的方法
- Python讀取本地文件并解析網(wǎng)頁(yè)元素的方法
- Python中文分詞工具之結(jié)巴分詞用法實(shí)例總結(jié)【經(jīng)典案例】
- Python 結(jié)巴分詞實(shí)現(xiàn)關(guān)鍵詞抽取分析
- python jieba分詞并統(tǒng)計(jì)詞頻后輸出結(jié)果到Excel和txt文檔方法
- python使用jieba實(shí)現(xiàn)中文分詞去停用詞方法示例
- python中文分詞教程之前向最大正向匹配算法詳解
- Python基于jieba庫(kù)進(jìn)行簡(jiǎn)單分詞及詞云功能實(shí)現(xiàn)方法
- python實(shí)現(xiàn)中文分詞FMM算法實(shí)例
- Python中文分詞實(shí)現(xiàn)方法(安裝pymmseg)
- python中文分詞,使用結(jié)巴分詞對(duì)python進(jìn)行分詞(實(shí)例講解)
- python實(shí)現(xiàn)的讀取網(wǎng)頁(yè)并分詞功能示例
相關(guān)文章
Python中的復(fù)制操作及copy模塊中的淺拷貝與深拷貝方法
淺拷貝和深拷貝是Python基礎(chǔ)學(xué)習(xí)中必須辨析的知識(shí)點(diǎn),這里我們將為大家解析Python中的復(fù)制操作及copy模塊中的淺拷貝與深拷貝方法:2016-07-07使用Python編寫一個(gè)最基礎(chǔ)的代碼解釋器的要點(diǎn)解析
Python、Ruby等語(yǔ)言代碼就是在解釋器程序中一行行被解釋為機(jī)器碼同步執(zhí)行的,而如果使用Python編寫解釋器的話則可以把目標(biāo)代碼解釋為Python代碼再進(jìn)行解釋執(zhí)行,這里我們就來看一下使用Python編寫一個(gè)最基礎(chǔ)的代碼解釋器的要點(diǎn)解析:2016-07-07Python實(shí)現(xiàn)115網(wǎng)盤自動(dòng)下載的方法
這篇文章主要介紹了Python實(shí)現(xiàn)115網(wǎng)盤自動(dòng)下載的方法,可實(shí)現(xiàn)自動(dòng)調(diào)用115客戶端進(jìn)行下載的功能,非常實(shí)用,需要的朋友可以參考下2014-09-09python爬蟲開發(fā)之使用python爬蟲庫(kù)requests,urllib與今日頭條搜索功能爬取搜索內(nèi)容實(shí)例
這篇文章主要介紹了python爬蟲開發(fā)之使用python爬蟲庫(kù)requests,urllib與今日頭條搜索功能爬取搜索內(nèi)容實(shí)例,需要的朋友可以參考下2020-03-03Keras設(shè)定GPU使用內(nèi)存大小方式(Tensorflow backend)
這篇文章主要介紹了Keras設(shè)定GPU使用內(nèi)存大小方式(Tensorflow backend),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-05-05Python基于unittest實(shí)現(xiàn)測(cè)試用例執(zhí)行
這篇文章主要介紹了Python基于unittest實(shí)現(xiàn)測(cè)試用例執(zhí)行,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11零基礎(chǔ)學(xué)習(xí)python偏函數(shù)語(yǔ)法的推導(dǎo)方法步驟
這篇文章主要介紹了零基礎(chǔ)學(xué)習(xí)python偏函數(shù)語(yǔ)法的推導(dǎo)方法步驟詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-06-06