快捷導(dǎo)航

編寫Python爬蟲抓取暴走漫畫上gif圖片的實(shí)例分享

更新時(shí)間：2016年04月20日 17:38:32 投稿：goldensun

這篇文章主要介紹了編寫Python爬蟲抓取暴走漫畫上gif圖片的實(shí)例分享,示例代碼為Python3,利用到了urllib模塊、request模塊和BeautifulSoup模塊,需要的朋友可以參考下

本文要介紹的爬蟲是抓取暴走漫畫上的GIF趣圖，方便離線觀看。爬蟲用的是python3.3開發(fā)的，主要用到了urllib、request和BeautifulSoup模塊。

urllib模塊提供了從萬(wàn)維網(wǎng)中獲取數(shù)據(jù)的高層接口，當(dāng)我們用urlopen()打開一個(gè)URL時(shí)，就相當(dāng)于我們用Python內(nèi)建的open()打開一個(gè)文件。但不同的是，前者接收一個(gè)URL作為參數(shù)，并且沒(méi)有辦法對(duì)打開的文件流進(jìn)行seek操作（從底層的角度看，因?yàn)閷?shí)際上操作的是socket，所以理所當(dāng)然地沒(méi)辦法進(jìn)行seek操作），而后者接收的是一個(gè)本地文件名。

Python的BeautifulSoup模塊，可以幫助你實(shí)現(xiàn)HTML和XML的解析
先說(shuō)一下，一般寫網(wǎng)頁(yè)爬蟲，即抓取網(wǎng)頁(yè)的html源碼等內(nèi)容，然后分析，提取相應(yīng)的內(nèi)容。
這種分析html內(nèi)容的工作，如果只是用普通的正則表達(dá)式re模塊去一點(diǎn)點(diǎn)匹配的話，對(duì)于內(nèi)容簡(jiǎn)單點(diǎn)的網(wǎng)頁(yè)分析，還是基本夠用。
但是對(duì)于工作量很大，要解析內(nèi)容很繁雜的html，那么用re模塊，就會(huì)發(fā)現(xiàn)無(wú)法實(shí)現(xiàn)，或很難實(shí)現(xiàn)。
而使用beautifulsoup模塊去幫你實(shí)現(xiàn)分析html源碼的工作的話，你就會(huì)發(fā)現(xiàn)，事情變得如此簡(jiǎn)單，極大地提高了分析html源碼的效率。
注：BeautifulSoup是第三方庫(kù)，我使用的是bs4。urllib2在python3中被分配到了urllib.request中，文檔中的原文如下。
Note:The urllib2 module has been split across several modules in Python 3 named urllib.requestand urllib.error.
爬蟲源代碼如下

# -*- coding: utf-8 -*-

import urllib.request
import bs4,os

page_sum = 1 #設(shè)置下載頁(yè)數(shù)

path = os.getcwd()
path = os.path.join(path,'暴走GIF')
if not os.path.exists(path):
  os.mkdir(path)                 #創(chuàng)建文件夾

url = "http://baozoumanhua.com/gif/year"   #url地址
headers = {                     #偽裝瀏覽器
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'
         ' Chrome/32.0.1700.76 Safari/537.36'
}

for count in range(page_sum):
  req = urllib.request.Request(
    url = url+str(count+1),
    headers = headers
  )
  print(req.full_url)
  content = urllib.request.urlopen(req).read()

  soup = bs4.BeautifulSoup(content)          # BeautifulSoup
  img_content = soup.findAll('img',attrs={'style':'width:460px'})

  url_list = [img['src'] for img in img_content]   #列表推導(dǎo) url
  title_list = [img['alt'] for img in img_content]  #圖片名稱

  for i in range(url_list.__len__()) :
    imgurl = url_list[i]
    filename = path + os.sep +title_list[i] + ".gif"
    print(filename+":"+imgurl)             #打印下載信息
    urllib.request.urlretrieve(imgurl,filename)    #下載圖片

在第15行可以修改下載頁(yè)數(shù)，將此文件保存為baozougif.py，使用命令python baozougif.py運(yùn)行后在同目錄下會(huì)生成「暴走GIF」的文件夾，所有的圖片會(huì)自動(dòng)下載到該目錄中。

您可能感興趣的文章: