亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

python利用urllib實(shí)現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲實(shí)例

 更新時(shí)間:2017年08月24日 09:30:36   投稿:jingxian  
下面小編就為大家?guī)硪黄猵ython利用urllib實(shí)現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲實(shí)例。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧

本例程使用urlib實(shí)現(xiàn)的,基于python2.7版本,采用beautifulsoup進(jìn)行網(wǎng)頁分析,沒有第三方庫的應(yīng)該安裝上之后才能運(yùn)行,我用的IDE是pycharm,閑話少說,直接上代碼!

# -*- coding: utf-8 -*
import re
import os
import urllib
import urllib2
from bs4 import BeautifulSoup
def craw(url,page):
 html1=urllib2.urlopen(url).read()
 html1=str(html1)
 soup=BeautifulSoup(html1,'lxml')
 imagelist=soup.select('#J_goodsList > ul > li > div > div.p-img > a > img')
 namelist=soup.select('#J_goodsList > ul > li > div > div.p-name > a > em')
 #pricelist=soup.select('#plist > ul > li > div > div.p-price > strong')
 #print pricelist
 path = "E:/{}/".format(str(goods))
 if not os.path.exists(path):
  os.mkdir(path)
 for (imageurl,name) in zip(imagelist,namelist):
  name=name.get_text()
  imagename=path + name +".jpg"
  imgurl="http:"+str(imageurl.get('data-lazy-img'))
  if imgurl == 'http:None':
   imgurl = "http:" + str(imageurl.get('src'))
  try:
   urllib.urlretrieve(imgurl,filename=imagename)
  except:
   continue

'''
#J_goodsList > ul > li:nth-child(1) > div > div.p-img > a > img
#plist > ul > li:nth-child(1) > div > div.p-name.p-name-type3 > a > em
#plist > ul > li:nth-child(1) > div > div.p-price > strong:nth-child(1) > i
'''

if __name__ == "__main__":
 goods=raw_input('please input the goos you want:')
 pages=input('please input the pages you want:')
 count =0.0
 for i in range(1,int(pages+1),2):
  url="https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.def.0.T06&wq=diann&page={}".format(str(goods),str(i))
  craw(url,i)
  count += 1
  print 'work completed {:.2f}%'.format(count/int(pages)*100)

圖片的命名為商品的名稱,京東商品圖片地址的屬性很可能會(huì)有所變動(dòng),所以大家進(jìn)行編寫的時(shí)候應(yīng)該舉一反三,靈活運(yùn)用! 
這是我下載下來的手機(jī)類圖片文件的截圖: 

我本地的爬取的速度很快,不到一分鐘就能爬取100頁上千個(gè)商品的圖片!

以上這篇python利用urllib實(shí)現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲實(shí)例就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • 解讀Python條件判斷邏輯演繹優(yōu)化編程思維

    解讀Python條件判斷邏輯演繹優(yōu)化編程思維

    條件判斷是編程中的重要概念,Python語言提供了多種方式來進(jìn)行條件判斷,例如if、else、elif等,本文將深入探討Python中條件判斷的靈活應(yīng)用,結(jié)合豐富的示例代碼展示其全面性
    2024-01-01
  • Flask中嵌套啟動(dòng)子線程的方法示例詳解

    Flask中嵌套啟動(dòng)子線程的方法示例詳解

    這篇文章主要為大家介紹了Flask中嵌套啟動(dòng)子線程的方法示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-01-01
  • Django利用Channels+websocket開發(fā)聊天室完整案例

    Django利用Channels+websocket開發(fā)聊天室完整案例

    Channels是Django團(tuán)隊(duì)研發(fā)的一個(gè)給Django提供websocket支持的框架,使用它我們可以輕松開發(fā)需要長(zhǎng)鏈接的實(shí)時(shí)通訊應(yīng)用,下面這篇文章主要給大家介紹了關(guān)于Django利用Channels+websocket開發(fā)聊天室的相關(guān)資料,需要的朋友可以參考下
    2023-06-06
  • python根據(jù)unicode判斷語言類型實(shí)例代碼

    python根據(jù)unicode判斷語言類型實(shí)例代碼

    這篇文章主要介紹了python根據(jù)unicode判斷語言類型實(shí)例代碼,具有一定借鑒價(jià)值,需要的朋友可以參考下
    2018-01-01
  • mac下pip、conda、homebrew修改為清華鏡像源的方法

    mac下pip、conda、homebrew修改為清華鏡像源的方法

    本文主要介紹了mac下pip、conda、homebrew修改為清華鏡像源的方法,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2021-08-08
  • 簡(jiǎn)單了解python filter、map、reduce的區(qū)別

    簡(jiǎn)單了解python filter、map、reduce的區(qū)別

    這篇文章主要介紹了簡(jiǎn)單了解python filter、map、reduce的區(qū)別,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2020-01-01
  • Python使用dis模塊把Python反編譯為字節(jié)碼的用法詳解

    Python使用dis模塊把Python反編譯為字節(jié)碼的用法詳解

    通常來說Python的性能或代碼質(zhì)量的評(píng)估可以通過dis模塊獲取到對(duì)應(yīng)的字節(jié)碼指令來進(jìn)行評(píng)估,因而這里我們就來看一下Python使用dis模塊把Python反編譯為字節(jié)碼的用法詳解:
    2016-06-06
  • python中實(shí)現(xiàn)字符串翻轉(zhuǎn)的方法

    python中實(shí)現(xiàn)字符串翻轉(zhuǎn)的方法

    這篇文章主要介紹了python中實(shí)現(xiàn)字符串翻轉(zhuǎn)的方法,代碼很簡(jiǎn)單,非常不錯(cuò),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2018-07-07
  • python sklearn中的決策樹模型詳解

    python sklearn中的決策樹模型詳解

    本文主要說明 Python 的 sklearn 庫中的決策樹的常用接口、屬性以及參數(shù)調(diào)優(yōu)說明,需要讀者或多或少了解過sklearn庫和一些基本的機(jī)器學(xué)習(xí)知識(shí),感興趣的同學(xué)跟著小編一起來看看吧
    2023-08-08
  • 通過代碼實(shí)例展示Python中列表生成式的用法

    通過代碼實(shí)例展示Python中列表生成式的用法

    這篇文章主要介紹了通過代碼實(shí)例展示Python中列表生成式的用法,包括找出質(zhì)數(shù)、算平方數(shù)等基本用法,需要的朋友可以參考下
    2015-03-03

最新評(píng)論