快捷導(dǎo)航

python網(wǎng)絡(luò)爬蟲(chóng)基于selenium爬取斗魚(yú)直播信息

更新時(shí)間：2022年03月14日 16:38:12 作者：館主阿牛

目前是直播行業(yè)的一個(gè)爆發(fā)期，由于國(guó)家對(duì)直播行業(yè)進(jìn)行整頓和規(guī)范，現(xiàn)在整個(gè)直播行業(yè)也在穩(wěn)固發(fā)展。隨著互聯(lián)網(wǎng)和網(wǎng)絡(luò)直播市場(chǎng)的快速發(fā)展，相信未來(lái)還有廣闊的發(fā)展前景。今天用selenium爬取一下斗魚(yú)直播信息將代碼分享給大家

一、本文使用的第三方包和工具

python 3.8

谷歌瀏覽器

selenium（3.141.0）（pip install selenium == 3.141.0）注意4.0系列和3.0系列方法不同

瀏覽器驅(qū)動(dòng)（和你的瀏覽器版本對(duì)應(yīng)）

二、selenium的介紹和瀏覽器驅(qū)動(dòng)的安裝

1.selenium的介紹

selenium是一款web自動(dòng)化測(cè)試工具，可以很方便地模擬真實(shí)用戶對(duì)瀏覽器進(jìn)行操作，它支持各種主流瀏覽器：IE、Chrome、Firefox、Safari、Opera等。你可以使用selenium做web測(cè)試或者爬蟲(chóng)，自動(dòng)搶票、自動(dòng)下單也可以用selenium來(lái)做。

2.瀏覽器驅(qū)動(dòng)的安裝

網(wǎng)上方法很多，友友們自行搜索，在這里提一點(diǎn)注意事項(xiàng)：本文用的是谷歌瀏覽器，瀏覽器驅(qū)動(dòng)要對(duì)應(yīng)谷歌的哦，注意瀏覽器驅(qū)動(dòng)與你的瀏覽器版本相對(duì)應(yīng)，這里給出谷歌瀏覽器驅(qū)動(dòng)的下載地址，友友們按照自己瀏覽器的版本對(duì)應(yīng)現(xiàn)在即可

http://chromedriver.storage.googleapis.com/index.html

下載完成后注意配置環(huán)境變量哦，不配置也行，不配置就要在代碼中寫(xiě)上你的Chromedriver.exe文件的路徑或者不寫(xiě)路徑將你的Chromedriver.exe和py文件放到同一目錄下也可以哦

三、代碼思路分析

進(jìn)入斗魚(yú)官網(wǎng)，點(diǎn)到直播，下面的在線直播信息就是我們需要爬取的?

可以看到有標(biāo)題，類型，姓名，以及熱度，我們爬取這四個(gè)字段就行

然后滑到底部，這里的下一頁(yè)是我們控制爬取頁(yè)數(shù)的?

注意：當(dāng)我們進(jìn)入頁(yè)面時(shí)，雖然有滾動(dòng)條，但所有直播信息已經(jīng)加載好，并不是通過(guò)滑動(dòng)然后Ajax加載的，所以在代碼中并不需要寫(xiě)滑動(dòng)，直接提取就可以拿到整個(gè)頁(yè)面的數(shù)據(jù)。

1.解析數(shù)據(jù)的函數(shù)

 #解析數(shù)據(jù)的函數(shù)
    def parse(self):
        #強(qiáng)制等待兩秒，等待頁(yè)面數(shù)據(jù)加載完畢
        sleep(2)
        li_list = self.bro.find_elements_by_xpath('//*[@id="listAll"]/section[2]/div[2]/ul/li')
        #print(len(li_list))
        data_list = []
        for li in li_list:
            dic_data = {}
            dic_data['title'] = li.find_element_by_xpath('./div/a/div[2]/div[1]/h3').text
            dic_data['name'] = li.find_element_by_xpath('./div/a/div[2]/div[2]/h2/div').text
            dic_data['art_type'] = li.find_element_by_xpath('./div/a/div[2]/div[1]/span').text
            dic_data['hot'] = li.find_element_by_xpath('./div/a/div[2]/div[2]/span').text
            data_list.append(dic_data)
        return data_list

2.保存數(shù)據(jù)的函數(shù)

 #解析數(shù)據(jù)的函數(shù)
    def parse(self):
        #強(qiáng)制等待兩秒，等待頁(yè)面數(shù)據(jù)加載完畢
        sleep(2)
        li_list = self.bro.find_elements_by_xpath('//*[@id="listAll"]/section[2]/div[2]/ul/li')
        #print(len(li_list))
        data_list = []
        for li in li_list:
            dic_data = {}
            dic_data['title'] = li.find_element_by_xpath('./div/a/div[2]/div[1]/h3').text
            dic_data['name'] = li.find_element_by_xpath('./div/a/div[2]/div[2]/h2/div').text
            dic_data['art_type'] = li.find_element_by_xpath('./div/a/div[2]/div[1]/span').text
            dic_data['hot'] = li.find_element_by_xpath('./div/a/div[2]/div[2]/span').text
            data_list.append(dic_data)
        return data_list

（1）保存為txt文本

#保存數(shù)據(jù)的函數(shù)
    def save_data(self,data_list,i):
        #在當(dāng)前目錄下將數(shù)據(jù)存為txt文件
        with open('./douyu.txt','w',encoding='utf-8') as fp:
            for data in data_list:
                data = str(data)
                fp.write(data+'\n')
            print("第%d頁(yè)保存完成！" % i)

（2）保存為json文件

#保存數(shù)據(jù)的函數(shù)
    def save_data(self,data_list,i):
        with open('./douyu.json','w',encoding='utf-8') as fp:
             #里面有中文，所以注意ensure_ascii=False
             data = json.dumps(data_list,ensure_ascii=False)
             fp.write(data)
             print("第%d頁(yè)保存完成！" % i)

3.主函數(shù)設(shè)計(jì)

#主函數(shù)
    def run(self):
        #輸入要爬取的頁(yè)數(shù),如果輸入負(fù)整數(shù)，轉(zhuǎn)化成她的絕對(duì)值
        page_num = abs(int(input("請(qǐng)輸入你要爬取的頁(yè)數(shù)：")))
        #初始化頁(yè)數(shù)為1
        i = 1
        #判斷輸入的數(shù)是否為整數(shù)
        if isinstance(page_num,int):
            #實(shí)例化瀏覽器對(duì)象
            self.bro = webdriver.Chrome(executable_path='../../可執(zhí)行文件/chromedriver.exe')
            # chromedriver.exe如果已添加到環(huán)境變量，可省略executable_path='../../可執(zhí)行文件/chromedriver.exe'
            self.bro.get(self.url)
            while i <= page_num:
                #調(diào)用解析函數(shù)
                data_list = self.parse()
                #調(diào)用保存函數(shù)
                self.save_data(data_list,i)
                try:
                    #定位包含“下一頁(yè)”字段的按鈕并點(diǎn)擊
                    button = self.bro.find_element_by_xpath('//span[contains(text(),"下一頁(yè)")]')
                    button.click()
                    i += 1
                except:
                    break
            self.bro.quit()
        else:
            print("輸入格式錯(cuò)誤！")

四、完整代碼

from selenium import webdriver
from time import sleep
import json
#創(chuàng)建一個(gè)類
class Douyu():
    def __init__(self):
        self.url = 'https://www.douyu.com/directory/all'
    #解析數(shù)據(jù)的函數(shù)
    def parse(self):
        #強(qiáng)制等待兩秒，等待頁(yè)面數(shù)據(jù)加載完畢
        sleep(2)
        li_list = self.bro.find_elements_by_xpath('//*[@id="listAll"]/section[2]/div[2]/ul/li')
        #print(len(li_list))
        data_list = []
        for li in li_list:
            dic_data = {}
            dic_data['title'] = li.find_element_by_xpath('./div/a/div[2]/div[1]/h3').text
            dic_data['name'] = li.find_element_by_xpath('./div/a/div[2]/div[2]/h2/div').text
            dic_data['art_type'] = li.find_element_by_xpath('./div/a/div[2]/div[1]/span').text
            dic_data['hot'] = li.find_element_by_xpath('./div/a/div[2]/div[2]/span').text
            data_list.append(dic_data)
        return data_list
    #保存數(shù)據(jù)的函數(shù)
    def save_data(self,data_list,i):
        #在當(dāng)前目錄下將數(shù)據(jù)存為txt文件
        with open('./douyu.txt','w',encoding='utf-8') as fp:
            for data in data_list:
                data = str(data)
                fp.write(data+'\n')
            print("第%d頁(yè)保存完成！" % i)
        # json文件的存法
        # with open('./douyu.json','w',encoding='utf-8') as fp:
        # 里面有中文，所以注意ensure_ascii=False
        #     data = json.dumps(data_list,ensure_ascii=False)
        #     fp.write(data)
        #     print("第%d頁(yè)保存完成！" % i)
    #主函數(shù)
    def run(self):
        #輸入要爬取的頁(yè)數(shù),如果輸入負(fù)整數(shù)，轉(zhuǎn)化成她的絕對(duì)值
        page_num = abs(int(input("請(qǐng)輸入你要爬取的頁(yè)數(shù)：")))
        #初始化頁(yè)數(shù)為1
        i = 1
        #判斷輸入的數(shù)是否為整數(shù)
        if isinstance(page_num,int):
            #實(shí)例化瀏覽器對(duì)象
            self.bro = webdriver.Chrome(executable_path='../../可執(zhí)行文件/chromedriver.exe')
            # chromedriver.exe如果已添加到環(huán)境變量，可省略executable_path='../../可執(zhí)行文件/chromedriver.exe'
 
            self.bro.get(self.url)
            while i <= page_num:
                #調(diào)用解析函數(shù)
                data_list = self.parse()
                #調(diào)用保存函數(shù)
                self.save_data(data_list,i)
                try:
                    #定位包含“下一頁(yè)”字段的按鈕并點(diǎn)擊
                    button = self.bro.find_element_by_xpath('//span[contains(text(),"下一頁(yè)")]')
                    button.click()
                    i += 1
                except:
                    break
            self.bro.quit()
        else:
            print("輸入格式錯(cuò)誤！")
if __name__ == '__main__':
    douyu = Douyu()
    douyu.run()

總結(jié)

本文是為了練習(xí)selenium而寫(xiě)的，由于一個(gè)頁(yè)面有120條數(shù)據(jù)，所以采集效率較低，感興趣的小伙伴們可以試一試requests庫(kù)寫(xiě)，爬取速度更快哦！希望大家以后多多支持腳本之家！

您可能感興趣的文章:

亚洲乱码中文字幕综合,中国熟女仑乱hd,亚洲精品乱拍国产一区二区三区,一本大道卡一卡二卡三乱码全集资源,又粗又黄又硬又爽的免费视频

軟件下載

源碼下載

軟件編程

網(wǎng)絡(luò)編程

在線工具

數(shù)據(jù)庫(kù)

CMS

常用工具

python網(wǎng)絡(luò)爬蟲(chóng)基于selenium爬取斗魚(yú)直播信息

目錄

一、本文使用的第三方包和工具

二、selenium的介紹和瀏覽器驅(qū)動(dòng)的安裝

1.selenium的介紹

2.瀏覽器驅(qū)動(dòng)的安裝

三、代碼思路分析

1.解析數(shù)據(jù)的函數(shù)

2.保存數(shù)據(jù)的函數(shù)

3.主函數(shù)設(shè)計(jì)

四、完整代碼

總結(jié)

相關(guān)文章

最新評(píng)論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具

python網(wǎng)絡(luò)爬蟲(chóng)基于selenium爬取斗魚(yú)直播信息

目錄

一、本文使用的第三方包和工具

二、selenium的介紹和瀏覽器驅(qū)動(dòng)的安裝

1.selenium的介紹

2.瀏覽器驅(qū)動(dòng)的安裝

三、代碼思路分析

1.解析數(shù)據(jù)的函數(shù)

2.保存數(shù)據(jù)的函數(shù)

3.主函數(shù)設(shè)計(jì)

四、完整代碼

總結(jié)

相關(guān)文章

最新評(píng)論

大家感興趣的內(nèi)容

最近更新的內(nèi)容

常用在線小工具

二、selenium的介紹和瀏覽器驅(qū)動(dòng)的安裝

三、代碼思路分析

四、完整代碼