Python編寫百度貼吧的簡單爬蟲
操作:輸入帶分頁的地址,去掉最后面的數(shù)字,設置一下起始頁數(shù)和終點頁數(shù)
功能:下載對應頁碼的所有頁面并儲存為HTML文件,以當前時間命名
代碼:
# -*- coding: utf-8 -*- #---------------------------- # 程序:百度貼吧的小爬蟲 # 日期:2015/03/28 # 語言:Python 2.7 # 操作:輸入帶分頁的地址,去掉最后面的數(shù)字,設置一下起始頁數(shù)和終點頁數(shù) # 功能:下載對應頁碼的所有頁面并儲存為HTML文件,以當前時間命名 #---------------------------- import urllib2 import time def baidu_tieba(url, start, end): for i in range(start, end): sName = time.strftime('%Y%m%d%H%M%S') + str(i) + '.html' print '正在下載第' + str(i) + '個網(wǎng)頁,并將其儲存為' + sName + '...' f = open(sName, 'w+') m = urllib2.urlopen(url+str(i)) n = m.read() f.write(n) f.close() print '成功下載' baiduurl = str(raw_input('請輸入貼子的地址,去掉pn后面的數(shù)字>>\n')) begin_page = int(raw_input('請輸入帖子的起始頁碼>>\n')) end_page = int(raw_input('請輸入帖子的終止頁碼>>\n')) baidu_tieba(baiduurl, begin_page, end_page)
以上所述就是本文的全部內(nèi)容了,希望能夠?qū)Υ蠹覍W習Python制作爬蟲有所幫助。
- Python實現(xiàn)爬取百度貼吧帖子所有樓層圖片的爬蟲示例
- python爬蟲教程之爬取百度貼吧并下載的示例
- 基于Python實現(xiàn)的百度貼吧網(wǎng)絡爬蟲實例
- 零基礎寫python爬蟲之抓取百度貼吧并存儲到本地txt文件改進版
- 零基礎寫python爬蟲之抓取百度貼吧代碼分享
- Python3實現(xiàn)爬取指定百度貼吧頁面并保存頁面數(shù)據(jù)生成本地文檔的方法
- Python爬取網(wǎng)頁中的圖片(搜狗圖片)詳解
- 簡單實現(xiàn)Python爬取網(wǎng)絡圖片
- Python爬蟲爬取一個網(wǎng)頁上的圖片地址實例代碼
- 利用Python爬取微博數(shù)據(jù)生成詞云圖片實例代碼
- Python實現(xiàn)的爬取百度貼吧圖片功能完整示例
相關文章
Python圖像處理庫crop()函數(shù)?thumbnail方法使用詳解
這篇文章主要為大家介紹了Python圖像處理庫crop()函數(shù)?thumbnail方法使用詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-04-04Python實現(xiàn)Mysql全量數(shù)據(jù)同步的腳本分享
這篇文章主要為大家詳細介紹了基于Python如何實現(xiàn)Mysql全量數(shù)據(jù)同步的功能,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起了解一下2023-06-06Python 中多態(tài)性的示例和類的繼承多態(tài)性詳解
多態(tài)性通常在類的方法中使用,其中我們可以具有相同方法名稱的多個類,本文給大家介紹Python 中多態(tài)性的示例和類的繼承多態(tài)性詳解,需要的朋友可以參考下2023-10-10pyqt5實現(xiàn)繪制ui,列表窗口,滾動窗口顯示圖片的方法
今天小編就為大家分享一篇pyqt5實現(xiàn)繪制ui,列表窗口,滾動窗口顯示圖片的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06python環(huán)境搭建和pycharm的安裝配置及漢化詳細教程(零基礎小白版)
這篇文章主要介紹了python環(huán)境搭建和pycharm的安裝配置及漢化(零基礎小白版),需要的朋友可以參考下2020-08-08python opencv圓、橢圓與任意多邊形的繪制實例詳解
在本篇文章里小編給大家整理的是關于python-opencv-圓、橢圓與任意多邊形的繪制內(nèi)容,需要的朋友們可以學習參考下。2020-02-02python GUI庫圖形界面開發(fā)之PyQt5多線程中信號與槽的詳細使用方法與實例
這篇文章主要介紹了python GUI庫圖形界面開發(fā)之PyQt5多線程中信號與槽的詳細使用方法與實例,需要的朋友可以參考下2020-03-03