最近遇到一個(gè)問(wèn)題，需要爬取js渲染后的網(wǎng)頁(yè)內(nèi)容，因此研究了下相關(guān)實(shí)現(xiàn)方式。主要借助puppeteer實(shí)現(xiàn)，它是一個(gè)Node庫(kù)，要想在PHP中使用，還借助了spatie/browsershot。

環(huán)境依賴(lài)

puppeteer

Puppeteer是一個(gè)Node庫(kù)，我是直接在php項(xiàng)目下使用npm安裝這個(gè)庫(kù)，然后借助spatie/browsershot來(lái)調(diào)用它。讀者也可以新建一個(gè)node項(xiàng)目安裝這個(gè)庫(kù)，然后對(duì)外暴漏一個(gè)端口通過(guò)接口的方式傳遞url返回html內(nèi)容的方式實(shí)現(xiàn)。

npm i puppeteer --save

離線(xiàn)安裝Chromium

安裝puppeteer時(shí)會(huì)下載Chromium，因?yàn)楸娝苤脑蚩赡軙?huì)下載不下來(lái)，因此下面提供了離線(xiàn)下載的方式。

跳過(guò)安裝chromium

如果已經(jīng)運(yùn)行上一步的命令并且正在下載Chromium了，那可以直接Ctrl+C停止任務(wù)。如果還沒(méi)運(yùn)行，就使用下面的命令安裝。

npm i puppeteer --ignore-scripts

獲取需要下載的chromium版本號(hào)

打開(kāi)/node_modules/puppeteer/package.json搜索chromium_revision對(duì)應(yīng)的版本號(hào)

"puppeteer": {
    "chromium_revision": "756035",
    "firefox_revision": "latest"
}

下載對(duì)應(yīng)版本的chromium

用上面的版本號(hào)替換掉下方花括號(hào)里的字符，比如我本地是win x64，下載地址就是https://commondatastorage.googleapis.com/chromium-browser-snapshots/Win_x64/756035/chrome-win.zip

mac版下載地址:
https://commondatastorage.googleapis.com/chromium-browser-snapshots/Mac/{chromium版本}/chrome-mac.zip

windows 64位版本下載地址:
https://commondatastorage.googleapis.com/chromium-browser-snapshots/Win_x64/{chromium版本}/chrome-win.zip

windows 32位版本下載地址:
https://commondatastorage.googleapis.com/chromium-browser-snapshots/Win/{chromium版本}/chrome-win.zip

Linux X86版本下載地址:
https://commondatastorage.googleapis.com/chromium-browser-snapshots/Linux/{chromium版本}/chrome-linux.zip

Linux X64版本下載地址:
https://commondatastorage.googleapis.com/chromium-browser-snapshots/Linux_x64/{chromium版本}/chrome-linux.zip

解壓

將下載下來(lái)的chromium安裝包解壓到puppeteer中的.local_chromium/win64-{chromium版本號(hào)}/目錄下。以我的為例就是/node_modules/puppeteer/.local_chromium/win64-756035/chrome-win/。搞定~

spatie/browsershot

browsershot 是一個(gè)composer包，以前還用過(guò)的spatie/laravel-permission，都是同一團(tuán)隊(duì)制作的

composer require spatie/browsershot

使用

其實(shí)困難的部分就是找到合適的工具以及安裝工具，真正使用反而很簡(jiǎn)單。下面列了一個(gè)很簡(jiǎn)單的例子，更多方法還是去看官方文檔吧。

<?php
use Spatie\Browsershot\Browsershot;
class Spider
{
    /**
     * 獲取html內(nèi)容
     * @param $url
     * @return string
     */
    public static function getBodyHtml($url)
    {
        return Browsershot::url($url)->bodyHtml();
    }
}

 總結(jié)

到此這篇關(guān)于PHP使用puppeteer抓取JS渲染后的頁(yè)面內(nèi)容的文章就介紹到這了,更多相關(guān)PHP獲取JS渲染后的頁(yè)面內(nèi)容內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論