快捷導(dǎo)航

Python制作豆瓣圖片的爬蟲

更新時(shí)間：2017年12月28日 08:56:42 作者：是與非

本文給大家分享的是作者制作的爬取豆瓣首頁(yè)圖片的爬蟲代碼，代碼很簡(jiǎn)單，大家可以參考下思路，希望可以幫到大家

　　前段時(shí)間自學(xué)了一段時(shí)間的Python，想著濃一點(diǎn)項(xiàng)目來(lái)練練手?？粗罄袀円徽f就是爬了100W+的數(shù)據(jù)就非常的羨慕，不過對(duì)于我這種初學(xué)者來(lái)說，也就爬一爬圖片。

　　我相信很多人的第一個(gè)爬蟲程序都是爬去貼吧的圖片，嗯，我平時(shí)不玩貼吧，加上我覺得豆瓣挺良心的，我就爬了豆瓣首頁(yè)上面的圖片。其實(shí)最剛開始是想爬全站，后來(lái)一想我這簡(jiǎn)直是腦子犯抽，全站的圖片爬下來(lái)得有多少，再說這個(gè)只是練一下手，所以就只爬取了首頁(yè)上的圖片。廢話不多說開始代碼。

　　首先是主文件的代碼：

import re
from html_downloder import HtmlDownloader
from html_downloder import Image

"'起始URL'"
url = "https://www.douban.com"
"'保存目錄'"
image_path = "F:\source\Python\爬蟲\ImageGet\Image%s.jpg"
"'定義實(shí)體類'"
downloader = HtmlDownloader()
html = downloader.download(url)
"'SaveFile(html, html_path)'"
html = html.decode('utf-8')
"'正則表達(dá)式'"
reg1 = r'="(https://img[\S]*?[jpg|png])"'
"'提取圖片的URL'"
dbdata = re.findall(reg1, html)
imgsave = Image()

"'下載保存圖片'"
imgsave.ImageGet(dbdata, image_path)

我們打開豆瓣首頁(yè)然后看一下里面圖片的url會(huì)發(fā)現(xiàn)

都是以“=”等號(hào)開頭，后面接雙引號(hào)，中間都是https://img，末尾以雙引號(hào)結(jié)束。

因此我們的正則表達(dá)式可以寫成 reg1 = r'="(https://img[\S]*?[jpg|png])"'

在這個(gè)表達(dá)式中"[]"中括號(hào)里面的東西會(huì)作為一個(gè)整體，其中[\S]表示大小寫字母和數(shù)字，[jpg|png]表示以png結(jié)尾或者jpg結(jié)尾（在這次爬蟲中并沒有包括gif，因?yàn)榇蜷_gif的url發(fā)現(xiàn)是空白）。

然后是html_downloder.py的代碼：

 # file: html_downloader.py
 
 import urllib.request
 import urllib.error
 import time

 class HtmlDownloader(object):
  def download(self, url):
   if url is None:
    return None
   try:
    header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)'}
    "'發(fā)出請(qǐng)求'"
    request = urllib.request.Request(url=url, headers=header)
    "'獲取結(jié)果'"
    response = urllib.request.urlopen(url)
   except urllib.error.URLError as e:
    if hasattr(e, "code"):
     print(e.code)
    if hasattr(e, "reason"):
     print(e.reason)
   if response.getcode() != 200:
    return None
   html = response.read()
   response.close()
   return html

 class Image (object):
  def ImageGet(self, imageurl, image_path):
   x = 0
   for li in imageurl:
    urllib.request.urlretrieve(li, image_path % x)
    x = x + 1
    "'休眠5s以免給服務(wù)器造成嚴(yán)重負(fù)擔(dān)'"
    time.sleep(5)

這個(gè)文件的代碼主要是負(fù)責(zé)下載html網(wǎng)頁(yè)和下載具體的圖片。

接下來(lái)就可以在保存路徑對(duì)應(yīng)的文件夾中中看到下載的圖片了