快捷導(dǎo)航

python爬蟲(chóng)scrapy框架的梨視頻案例解析

更新時(shí)間：2021年02月20日 09:51:57 作者：小王子愛(ài)上玫瑰

這篇文章主要介紹了python爬蟲(chóng)scrapy框架的梨視頻案例解析,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下

1.爬蟲(chóng)文件

這里我們可以仿照爬蟲(chóng)文件中的parse方法，寫一個(gè)新的parse方法，可以將新的url的響應(yīng)對(duì)象傳給這個(gè)新的parse方法
如果需要在不同的parse方法中使用同一個(gè)item對(duì)象，可以使用meta參數(shù)字典，將item傳給callback回調(diào)函數(shù)
爬蟲(chóng)文件中的parse需要yield的Request請(qǐng)求，而item則在新的parse方法中使用yield item傳給下一個(gè)parse方法或管道文件

import scrapy

# 從items.py文件中導(dǎo)入BossprojectItem類
from bossProject.items import BossprojectItem

class BossSpider(scrapy.Spider):
 name = 'boss'
 # allowed_domains = ['www.xxx.com']
 start_urls = ['https://www.pearvideo.com/category_5']

 # 回調(diào)函數(shù)接受響應(yīng)對(duì)象，并且接受傳遞過(guò)來(lái)的meata參數(shù)
 def content_parse(self,response):
 # meta參數(shù)包含在response響應(yīng)對(duì)象中，調(diào)用meta，然后根據(jù)鍵值取出對(duì)應(yīng)的值:item
 item = response.meta['item']

 # 解析視頻鏈接中的對(duì)視頻的描述
 des = response.xpath('//div[@class="summary"]/text()').extract()
 des = "".join(des)
 item['des'] = des

 yield item 

 # 解析首頁(yè)視頻的標(biāo)題以及視頻的鏈接
 def parse(self, response):
 li_list = response.xpath('//div[@id="listvideoList"]/ul/li')
 for li in li_list:
  href = li.xpath('./div/a/@href').extract()
   + "".join(href)

  title = li.xpath('./div[1]/a/div[2]/text()').extract()
  title = "".join(title)

  item = BossprojectItem()
  item["title"] = title

  #手動(dòng)發(fā)送請(qǐng)求，并將響應(yīng)對(duì)象傳給回調(diào)函數(shù)
  #請(qǐng)求傳參:meta={}，可以將meta字典傳遞給請(qǐng)求對(duì)應(yīng)的回調(diào)函數(shù)
  yield scrapy.Request(href,callback=self.content_parse,meta={'item':item})

2.items.py

要將BossprojectItem類導(dǎo)入爬蟲(chóng)文件中才能夠創(chuàng)建item對(duì)象

import scrapy
class BossprojectItem(scrapy.Item):
 # define the fields for your item here like:
 # name = scrapy.Field()
 # 定義了item屬性
 title = scrapy.Field()
 des = scrapy.Field()

3.pipelines.py

open_spider(self,spider)和close_spider(self,spider)重寫這兩個(gè)父類方法，且這兩個(gè)方法都只執(zhí)行一次在process_item方法中最好保留return item，因?yàn)槿绻嬖诙鄠€(gè)管道類，return item會(huì)自動(dòng)將item對(duì)象傳給優(yōu)先級(jí)低于自己的管道類

from itemadapter import ItemAdapter
class BossprojectPipeline:

 def __init__(self):
 self.fp = None

 # 重寫父類方法，只調(diào)用一次
 def open_spider(self,spider):
 print("爬蟲(chóng)開(kāi)始")
 self.fp = open('./lishipin.txt','w')

 # 接受爬蟲(chóng)文件中yield傳遞來(lái)的item對(duì)象，將item中的內(nèi)容持久化存儲(chǔ)
 def process_item(self, item, spider):
 self.fp.write(item['title'] + '\n\t' + item['des'] + '\n')

 # 如果有多個(gè)管道類，會(huì)將item傳遞給下一個(gè)管道類
 # 管道類的優(yōu)先級(jí)取決于settings.py中的ITEM_PIPELINES屬性中對(duì)應(yīng)的值
  ## ITEM_PIPELINES = {'bossProject.pipelines.BossprojectPipeline': 300,} 鍵值中的值越小優(yōu)先級(jí)越高
 return item

 # 重寫父類方法，只調(diào)用一次
 def close_spider(self,spider): 
 self.fp.close()
 print("爬蟲(chóng)結(jié)束")