python爬蟲獲取百度首頁內(nèi)容教學(xué)
由傳智播客教程整理，我們這里使用的是python2.7.x版本，就是2.7之后的版本，因?yàn)閜ython3的改動(dòng)略大，我們這里不用它?，F(xiàn)在我們嘗試一下url和網(wǎng)絡(luò)爬蟲配合的關(guān)系，爬瀏覽器首頁信息。
1、首先我們創(chuàng)建一個(gè)urllib2_test01.py，然后輸入以下代碼：
2、最簡(jiǎn)單的獲取一個(gè)url的信息代碼居然只需要4行，執(zhí)行寫的python代碼：
3、之后我們會(huì)看到一下的結(jié)果
4、實(shí)際上，如果我們?cè)跒g覽器上打開網(wǎng)頁主頁的話，右鍵選擇“查看源代碼”，你會(huì)發(fā)現(xiàn)，跟我們剛打印出來的是一模一樣的。也就是說，上面的4行代碼就已經(jīng)幫我們把百度的首頁和全部代碼爬了下來了 。
5、下面我們介紹一下這四行代碼，第一行如下圖，這個(gè)就是將urllib2組件進(jìn)入進(jìn)來，供給我們使用。
6、圖片下面這步驟是調(diào)用urllib2庫中的urlopen方法，該方法接受一個(gè)url地址，然后將請(qǐng)求后的得到的回應(yīng)封裝到一個(gè)叫respones對(duì)象當(dāng)中。
7、最后這里，是調(diào)用response對(duì)象的read（）方法，將請(qǐng)求的回應(yīng)內(nèi)容以字符串的形式給html變量。最后的print html就是將字符串打出來，所以說一個(gè)基本的url請(qǐng)求是對(duì)應(yīng)的python代碼是很簡(jiǎn)單的。
總結(jié)：以上就是關(guān)于利用python爬蟲獲取百度信息的步驟內(nèi)容，感謝大家的學(xué)習(xí)和對(duì)腳本之家的支持。
- python 爬取百度文庫并下載(免費(fèi)文章限定)
- Python實(shí)現(xiàn)的爬取百度文庫功能示例
- 用python下載百度文庫的代碼
- python 爬蟲如何實(shí)現(xiàn)百度翻譯
- 詳解用Python爬蟲獲取百度企業(yè)信用中企業(yè)基本信息
- Python爬蟲爬取百度搜索內(nèi)容代碼實(shí)例
- Python爬蟲實(shí)現(xiàn)百度翻譯功能過程詳解
- python 爬蟲百度地圖的信息界面的實(shí)現(xiàn)方法
- python爬蟲之爬取百度音樂的實(shí)現(xiàn)方法
- Python爬蟲實(shí)現(xiàn)爬取百度百科詞條功能實(shí)例
- Python爬蟲實(shí)現(xiàn)百度圖片自動(dòng)下載
- Python爬蟲實(shí)例_利用百度地圖API批量獲取城市所有的POI點(diǎn)
- python實(shí)現(xiàn)百度文庫自動(dòng)化爬取
相關(guān)文章
Python 解析pymysql模塊操作數(shù)據(jù)庫的方法
這篇文章主要介紹了Python 解析pymysql模塊操作數(shù)據(jù)庫的方法，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-02-02
Python免費(fèi)驗(yàn)證碼識(shí)別之ddddocr識(shí)別OCR自動(dòng)庫實(shí)現(xiàn)
在Python爬蟲過程中,有些網(wǎng)站需要驗(yàn)證碼通過后方可進(jìn)入網(wǎng)頁,目的很簡(jiǎn)單,就是區(qū)分是人閱讀訪問還是機(jī)器爬蟲,下面這篇文章主要給大家介紹了關(guān)于Python免費(fèi)驗(yàn)證碼識(shí)別之ddddocr識(shí)別OCR自動(dòng)庫實(shí)現(xiàn)的相關(guān)資料,需要的朋友可以參考下2022-02-02
python 6.7 編寫printTable()函數(shù)表格打印(完整代碼)
這篇文章主要介紹了python 6.7 編寫一個(gè)名為printTable()的函數(shù) 表格打印，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-03-03
基于jupyter代碼無法在pycharm中運(yùn)行的解決方法
這篇文章主要介紹了基于jupyter代碼無法在pycharm中運(yùn)行的解決方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-04-04
這篇文章主要介紹了Python中使用matplotlib庫繪制各種圖方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-08-08
基于asyncio 異步協(xié)程框架實(shí)現(xiàn)收集B站直播彈幕
本文給大家分享的是基于asyncio 異步協(xié)程框架實(shí)現(xiàn)收集B站直播彈幕收集系統(tǒng)的簡(jiǎn)單設(shè)計(jì)，并附上源碼，有需要的小伙伴可以參考下2016-09-09
Python基于多線程實(shí)現(xiàn)ping掃描功能示例
這篇文章主要介紹了Python基于多線程實(shí)現(xiàn)ping掃描功能,結(jié)合實(shí)例形式分析了Python多線程與進(jìn)程相關(guān)模塊調(diào)用操作技巧,需要的朋友可以參考下2018-07-07
python ddt數(shù)據(jù)驅(qū)動(dòng)最簡(jiǎn)實(shí)例代碼
在本篇內(nèi)容里我們給大家分享了關(guān)于python ddt數(shù)據(jù)驅(qū)動(dòng)最簡(jiǎn)實(shí)例代碼以及相關(guān)知識(shí)點(diǎn)，需要的朋友們跟著學(xué)習(xí)下。2019-02-02
基于python實(shí)現(xiàn)音樂播放器代碼實(shí)例
這篇文章主要介紹了基于python實(shí)現(xiàn)音樂播放器代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-07-07
jenkins+python自動(dòng)化測(cè)試持續(xù)集成教程
這篇文章主要介紹了jenkins+python自動(dòng)化測(cè)試持續(xù)集成教程，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-05-05