python selenium爬取斗魚所有直播房間信息過程詳解

更新時間：2019年08月09日 17:15:07 作者：springionic

這篇文章主要介紹了python selenium爬取斗魚所有直播房間信息過程詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

還是分析一下大體的流程：

首先還是Chrome瀏覽器抓包分析元素，這是網址：https://www.douyu.com/directory/all

發(fā)現(xiàn)所有房間的信息都是保存在一個無序列表中的li中，所以我們可以先獲取一個裝有l(wèi)i的element對象的列表，然后在對每個element逐一操作

分析斗魚的翻頁，有一個下一頁按鈕，是個li，class="dy-Pagination-item-custom" ，但是當煩到最后一頁的時候，class="dy-Pagination-disabled dy-Pagination-next"，所以我們要想利用selenium模擬點擊這個按鈕，我們應該利用

get_elements_by_xpath()這個函數(shù)，這樣到最后一頁就獲取不到了，就可以終止程序了。而用elements的原因是當?shù)阶詈笠豁摰臅r候獲取不到的話，element會報錯

然后還是通用的套路：發(fā)送請求獲取響應、提取數(shù)據(jù)和下一頁的元素、保存數(shù)據(jù)、點擊下一頁的元素循環(huán)......

遇到的兩個坑：

需要用time.sleep()函數(shù)強制等待頁面加載完再獲取元素，否則報錯，睡幾秒就看你的網速了

xpath定位的時候，網頁上有的類如這樣：class=" abc"或者class="abc " ，前面或后面有空格的，xpath處理的時候也必須有空格，否則獲取不到

代碼實現(xiàn)：

import time
from selenium import webdriver
class DouyuSpider(object):
  def __init__(self):
    self.start_rul = 'https://www.douyu.com/directory/all'
    self.driver = webdriver.Chrome()

  def get_content_list(self):
    time.sleep(10) # 強制等待10秒，否則可能報錯
    li_list = self.driver.find_elements_by_xpath('//ul[@class="layout-Cover-list"]/li')
    content_list = []
    for li in li_list:
      item = {}
      item['room_img'] = li.find_element_by_xpath('.//img[@class="DyImg-content is-normal "]').get_attribute('src')
      item['room_title'] = li.find_element_by_xpath('.//h3[@class="DyListCover-intro"]').text
      item['root_category'] = li.find_element_by_xpath('.//span[@class="DyListCover-zone"]').text
      item['author_name'] = li.find_element_by_class_name('DyListCover-user').text
      item['watch_num'] = li.find_element_by_class_name('DyListCover-hot').text
      content_list.append(item)
      print(item) # 打印每次獲取到的直播房間的信息
    # 獲取下一頁的元素,為了防止沒有報錯，這里用elements，翻到最后一頁一定就沒有了，返回一個列表
    next_url = self.driver.find_elements_by_xpath('//li[@class=" dy-Pagination-next"]')
    next_url = next_url[0] if len(next_url) > 0 else None
    return content_list, next_url
  def save_content_list(self, content_list):
    pass # 保存數(shù)據(jù)這里就不再做演示

  def run(self): # 實現(xiàn)主要邏輯
    # 1.start_url
    # 2.發(fā)送請求，獲取響應
    self.driver.maximize_window()
    self.driver.get(self.start_rul)
    # 3.提取數(shù)據(jù)，提取下一頁的元素
    content_list, next_url = self.get_content_list()
    # 4.保存數(shù)據(jù)
    self.save_content_list(content_list)
    # 4.點擊下一頁元素，循環(huán)
    while next_url is not None:
      next_url.click()
      content_list, next_url = self.get_content_list()
      self.save_content_list(content_list)
if __name__ == '__main__':
  douban = DouyuSpider()
  douban.run()

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: