Python爬蟲(chóng) bilibili視頻彈幕提取過(guò)程詳解
更新時(shí)間：2019年07月31日 09:32:32 作者：Tanglaoer
這篇文章主要介紹了Python爬蟲(chóng) bilibili視頻彈幕提取過(guò)程詳解,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
兩個(gè)重要點(diǎn)
1.獲取彈幕的url是以 .xml 結(jié)尾
2.彈幕url的所需參數(shù)在視頻url響應(yīng)的 javascript 中
先看代碼
import requests
from lxml import etree
import re
# 使用手機(jī)UA
headers = {
"User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit/604.1.38 (KHTML, like Gecko) Version/11.0 Mobile/15A372 Safari/604.1"
}
# 視頻url
video_url = "https://m.bilibili.com/video/av37834086.html"
html = requests.get(url=video_url, headers=headers).content.decode('utf-8')
# 獲取彈幕url的參數(shù)
cid = re.findall(r"comment: '//comment.bilibili.com/' \+ (.*?) \+ '.xml',", html)
url = "https://comment.bilibili.com/" + cid[0] + ".xml"
print(url)
response = requests.get(url, headers=headers)
html = response.content
xml = etree.HTML(html)
# 提取數(shù)據(jù)
str_list = xml.xpath("http://d/text()")
# 寫(xiě)入文件
with open('bibi_xuxubaobao.txt', 'w', encoding='utf-8') as f:
for line in str_list:
f.write(line)
f.write('\n')
先找到彈幕的url，以.xml結(jié)尾，所以先找到這串?dāng)?shù)字所在的位置，并獲取這串?dāng)?shù)字發(fā)起第二次請(qǐng)求
而這串?dāng)?shù)字就在 第一次請(qǐng)求的響應(yīng)的JavaScript中，可以通過(guò) re 正則表達(dá)式進(jìn)行提取
接下來(lái)的工作就是獲取彈幕url返回的所有彈幕數(shù)據(jù)，然后對(duì)響應(yīng)進(jìn)行數(shù)據(jù)處理。
代碼示例中使用的是 lxml 進(jìn)行獲取。接著就是保存到個(gè)人本地文件中了
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
python中dir()與__dict__屬性的區(qū)別淺析
這篇文章主要給大家介紹了關(guān)于python中dir()與__dict__屬性的區(qū)別的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-12-12
這篇文章主要介紹了Python中的join()方法的使用,是Python入門中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-05-05
20行Python代碼實(shí)現(xiàn)一款永久免費(fèi)PDF編輯工具
本文主要介紹了Python代碼實(shí)現(xiàn)一款永久免費(fèi)PDF編輯工具，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
在實(shí)際使用安裝python的pip安裝依賴庫(kù)是非常的便捷的,下面這篇文章主要給大家介紹了關(guān)于pip安裝路徑修改的詳細(xì)方法步驟,文中通過(guò)圖文介紹的非常詳細(xì),需要的朋友可以參考下2022-06-06
這篇文章主要介紹了python語(yǔ)法?之與用戶交互和運(yùn)算符，用戶交互就是人往計(jì)算機(jī)中input/輸入數(shù)據(jù)，計(jì)算機(jī)print/輸出結(jié)果，下文更多相關(guān)內(nèi)容需要的朋友可以參考一下2022-04-04
網(wǎng)易有道2017內(nèi)推編程題 洗牌（python）
這篇文章主要為大家詳細(xì)介紹了網(wǎng)易有道2017內(nèi)推編程題：洗牌，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-06-06
python調(diào)用matlab的m自定義函數(shù)方法
今天小編就為大家分享一篇python調(diào)用matlab的m自定義函數(shù)方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-02-02
anaconda?navigator打不開(kāi)問(wèn)題的解決方法
在使用python的發(fā)行版anaconda時(shí),常常需要根據(jù)自己的項(xiàng)目安裝新的庫(kù),下面這篇文章主要給大家介紹了關(guān)于anaconda?navigator打不開(kāi)問(wèn)題的解決方法,需要的朋友可以參考下2022-12-12
在本篇內(nèi)容中小編給大家整理了一篇關(guān)于python怎么輸出反斜杠的相關(guān)基礎(chǔ)文章，有興趣的朋友們可以學(xué)習(xí)參考下。2020-06-06
python 用所有標(biāo)點(diǎn)符號(hào)分隔句子的示例
今天小編就為大家分享一篇python 用所有標(biāo)點(diǎn)符號(hào)分隔句子的示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07