零基礎(chǔ)寫python爬蟲之抓取百度貼吧代碼分享
這里就不給大家廢話了,直接上代碼,代碼的解釋都在注釋里面,看不懂的也別來問我,好好學(xué)學(xué)基礎(chǔ)知識去!
# -*- coding: utf-8 -*-
#---------------------------------------
# 程序:百度貼吧爬蟲
# 版本:0.1
# 作者:why
# 日期:2013-05-14
# 語言:Python 2.7
# 操作:輸入帶分頁的地址,去掉最后面的數(shù)字,設(shè)置一下起始頁數(shù)和終點頁數(shù)。
# 功能:下載對應(yīng)頁碼內(nèi)的所有頁面并存儲為html文件。
#---------------------------------------
import string, urllib2
#定義百度函數(shù)
def baidu_tieba(url,begin_page,end_page):
for i in range(begin_page, end_page+1):
sName = string.zfill(i,5) + '.html'#自動填充成六位的文件名
print '正在下載第' + str(i) + '個網(wǎng)頁,并將其存儲為' + sName + '......'
f = open(sName,'w+')
m = urllib2.urlopen(url + str(i)).read()
f.write(m)
f.close()
#-------- 在這里輸入?yún)?shù) ------------------
# 這個是山東大學(xué)的百度貼吧中某一個帖子的地址
#bdurl = 'http://tieba.baidu.com/p/2296017831?pn='
#iPostBegin = 1
#iPostEnd = 10
bdurl = str(raw_input(u'請輸入貼吧的地址,去掉pn=后面的數(shù)字:\n'))
begin_page = int(raw_input(u'請輸入開始的頁數(shù):\n'))
end_page = int(raw_input(u'請輸入終點的頁數(shù):\n'))
#-------- 在這里輸入?yún)?shù) ------------------
#調(diào)用
baidu_tieba(bdurl,begin_page,end_page)
以上就是python抓取百度貼吧的一段簡單的代碼,非常的實用吧,各位可以自行擴展下。
- Python實現(xiàn)爬取百度貼吧帖子所有樓層圖片的爬蟲示例
- python爬蟲教程之爬取百度貼吧并下載的示例
- 基于Python實現(xiàn)的百度貼吧網(wǎng)絡(luò)爬蟲實例
- 零基礎(chǔ)寫python爬蟲之抓取百度貼吧并存儲到本地txt文件改進版
- Python編寫百度貼吧的簡單爬蟲
- Python3實現(xiàn)爬取指定百度貼吧頁面并保存頁面數(shù)據(jù)生成本地文檔的方法
- Python爬取網(wǎng)頁中的圖片(搜狗圖片)詳解
- 簡單實現(xiàn)Python爬取網(wǎng)絡(luò)圖片
- Python爬蟲爬取一個網(wǎng)頁上的圖片地址實例代碼
- 利用Python爬取微博數(shù)據(jù)生成詞云圖片實例代碼
- Python實現(xiàn)的爬取百度貼吧圖片功能完整示例
相關(guān)文章
Python腳本實現(xiàn)Zabbix多行日志監(jiān)控過程解析
這篇文章主要介紹了Python腳本實現(xiàn)Zabbix多行日志監(jiān)控過程解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-08-08深度學(xué)習(xí)Tensorflow?2.4?完成遷移學(xué)習(xí)和模型微調(diào)
這篇文章主要為大家介紹了深度學(xué)習(xí)Tensorflow?2.4?完成遷移學(xué)習(xí)和模型微調(diào),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-01-01Python中設(shè)置變量作為默認(rèn)值時容易遇到的錯誤
這篇文章主要介紹了Python中設(shè)置變量作為默認(rèn)值時容易遇到的錯誤,這是Python新手經(jīng)常容易碰到的問題,且往往不會被輕易察覺到,需要的朋友可以參考下2015-04-04Python基于pycrypto實現(xiàn)的AES加密和解密算法示例
這篇文章主要介紹了Python基于pycrypto實現(xiàn)的AES加密和解密算法,結(jié)合實例形式分析了Python使用pycrypto模塊進行AES加密與解密操作相關(guān)實現(xiàn)技巧,需要的朋友可以參考下2018-04-04python實現(xiàn)查找excel里某一列重復(fù)數(shù)據(jù)并且剔除后打印的方法
這篇文章主要介紹了python實現(xiàn)查找excel里某一列重復(fù)數(shù)據(jù)并且剔除后打印的方法,涉及Python使用xlrd模塊操作Excel的相關(guān)技巧,需要的朋友可以參考下2015-05-05Python中asyncore異步模塊的用法及實現(xiàn)httpclient的實例
asyncore即是一個異步的socket封裝,特別是dispatcher類中包含了很多異步調(diào)用的socket操作方法,非常犀利,下面我們就來講解Python中asyncore異步模塊的用法及實現(xiàn)httpclient的實例2016-06-06通過Python使用saltstack生成服務(wù)器資產(chǎn)清單
人工去對每一臺服務(wù)器的硬件信息并記錄早已經(jīng)過去了,無論通過腳本還是自動化工具都是可以進行一次編寫到處抓取的,本文主要使用saltstack作為使用工具,然后利用其提供的APi編寫所需的Python腳本2016-03-03