python爬蟲爬取淘寶商品信息
更新時間：2018年02月23日 17:04:40 作者：OliverkingLi
這篇文章主要為大家詳細(xì)介紹了python爬蟲爬取淘寶商品信息，具有一定的參考價值，感興趣的小伙伴們可以參考一下
本文實例為大家分享了python爬取淘寶商品的具體代碼，供大家參考，具體內(nèi)容如下
import requests as req
import re
def getHTMLText(url):
try:
r = req.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def parasePage(ilt, html):
try:
plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
for i in range(len(plt)):
price = eval(plt[i].split(':')[1])
title = eval(tlt[i].split(':')[1])
ilt.append([price, title])
except:
print("")
def printGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}"
print(tplt.format("序列號", "價格", "商品名稱"))
count = 0
for j in ilt:
count = count + 1
print(tplt.format(count, j[0], j[1]))
def main():
goods = "python爬蟲"
depth = 3
start_url = 'https://s.taobao.com/search?q=' + goods
infoList = []
for i in range(depth):
try:
url = start_url + '&s=' + str(44*i)
html = getHTMLText(url)
parasePage(infoList, html)
except:
continue
printGoodsList(infoList)
main()
效果圖：
更多內(nèi)容請參考專題《python爬取功能匯總》進(jìn)行學(xué)習(xí)。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)靜態(tài)服務(wù)器，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-09-09
在python中，支持圖形化界面開發(fā)的庫有很多，今天主要介紹一下PySide2這個庫。具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-07-07
命令行參數(shù)是通過sys.argv[]來獲取的，sys.argv[0]是代碼文件本身的路徑，因此參數(shù)是從1開始的。比如設(shè)置參數(shù)為： spe2008-09-09
今天小編就為大家分享一篇python 重命名軸索引的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
這篇文章主要介紹了Python實現(xiàn)從百度API獲取天氣的方法,實例分析了Python操作百度API的技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-03-03
VSCODE配置Markdown及Markdown基礎(chǔ)語法詳解
這篇文章主要介紹了VSCODE配置Markdown及Markdown基礎(chǔ)語法詳解,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-01-01
這篇文章主要為大家詳細(xì)介紹了Python中進(jìn)行表單處理的方法,分別是利用Flask和Flask-WTF處理表單,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下2023-12-12
Python獲取當(dāng)前時間日期的方法總結(jié)
在Python編程中,獲取當(dāng)前的日期和時間是一個常見的需求,它在許多應(yīng)用中都有重要作用,本文為大家詳細(xì)整理了一些Python中的常用方法,希望對大家有所幫助2024-01-01
Pycharm保存不能自動同步到遠(yuǎn)程服務(wù)器的解決方法
今天小編就為大家分享一篇Pycharm保存不能自動同步到遠(yuǎn)程服務(wù)器的解決方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
這篇文章主要介紹了淺談如何重構(gòu)冗長的Python代碼,編寫干凈的?Pythonic?代碼就是盡可能使其易于理解，但又簡潔,過長的代碼如何做到簡潔高效,需要的朋友可以參考下2023-04-04