0. 引言

馬上314情人節(jié)就要來了，是否需要一首歌來撫慰你，受傷或躁動的心靈。來吧，今天教你用15行代碼搞定熱門歌單。學(xué)起來并聽起來吧。

本文使用的是Selenium模塊，它是一個自動化測試工具，利用它我們可以驅(qū)動瀏覽器執(zhí)行特定的動作，如點(diǎn)擊、下拉等等操作，對于一些 JavaScript 渲染的頁面來說，此種抓取方式非常有效。另外采用了Chrome瀏覽器配合Selenium工作。

下面話不多說了，來一起看看詳細(xì)的介紹吧

1. 環(huán)境

操作系統(tǒng)：Windows

Python版本：3.7.2

2. 準(zhǔn)備工作

a. 若你的環(huán)境中沒有selenium模塊，直接使用pip安裝即可。

pip install selenium

b. 打開谷歌瀏覽器，檢查Chrome的版本：在瀏覽器地址中輸入 chrome://settings/help 回車即可看到。

c. 打開ChromeDriver 的官方網(wǎng)站：
https://sites.google.com/a/ch...
尋找與你當(dāng)前瀏覽器版本相對應(yīng)的ChromeDriver下載。

d. 選擇你自己的操作系統(tǒng)類型進(jìn)行下載即可。

e. 以Windows為例，下載結(jié)束后，將ChromeDriver 放置在python安裝目錄下的Scripts文件夾即可。

準(zhǔn)備工作完成，代碼寫起來吧~

3. 迷你爬蟲的實(shí)現(xiàn)

我們這次的目標(biāo)是爬取熱門歌單，比如網(wǎng)易云音樂中播放量大于1000萬的歌單信息（歌單名稱、鏈接）。

a. 我們先來打開網(wǎng)易云的歌單第一頁：
https://music.163.com/#/disco...

b. 使用Chrome的開發(fā)者工具<F12>進(jìn)行分析。

我們想要拿的信息全在這里：

• msk,封面[mask]：有歌單的名稱及鏈接
• nb,播放數(shù)[number broadcast]：135萬

c. 我們還需要遍歷所有的頁，使用工具繼續(xù)分析，找到“下一頁”的URL。

d. 切換至最后一頁，拿到最后一頁的URL。

e. 等我們爬取完所有符合的歌單信息后，將其保存在本地。

f. 全部工作結(jié)束，最后再通過下面的偽代碼回顧下整體思路。

g. 爬取的效果如下：

4. 總結(jié)

本文旨在安撫你因情人節(jié)受傷的小心靈，同時帶你入個爬蟲的門，感受下python的強(qiáng)大。

好了，以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對腳本之家的支持。

最新評論