Puppeteer環(huán)境搭建的詳細(xì)步驟
簡(jiǎn)介
Puppeteer是Google開(kāi)發(fā)并開(kāi)源的一款工具,可用代碼驅(qū)動(dòng)瀏覽器操作。
由于諸多優(yōu)秀的特性,Puppeteer常被用在爬蟲與自動(dòng)化測(cè)試上。詳細(xì)介紹參見(jiàn)官方 README 。
Puppeteer本身是個(gè)NodeJS的庫(kù),自動(dòng)化腳本也需要使用NodeJS編寫,如果對(duì)JS不了解建議先學(xué)習(xí)JavaScript基礎(chǔ)語(yǔ)法,或者使用Selenium等其他工具去實(shí)現(xiàn)。
對(duì)于一個(gè)陌生的工具,應(yīng)當(dāng)先檢查是否適合自己,再去嘗試使用,切莫盲目從眾。
Puppeteer 用處
- 利用網(wǎng)頁(yè)生成PDF、圖片
- 爬取SPA應(yīng)用,并生成預(yù)渲染內(nèi)容(即“SSR” 服務(wù)端渲染)
- 可以從網(wǎng)站抓取內(nèi)容
- 自動(dòng)化表單提交、UI測(cè)試、鍵盤輸入等
- 幫你創(chuàng)建一個(gè)最新的自動(dòng)化測(cè)試環(huán)境(chrome),可以直接在此運(yùn)行測(cè)試用例6.捕獲站點(diǎn)的時(shí)間線,以便追蹤你的網(wǎng)站,幫助分析網(wǎng)站性能問(wèn)題
配置
Node環(huán)境配置
下載并安裝NodeJS:
wget https://nodejs.org/dist/v8.12.0/node-v8.12.0-linux-x64.tar.xz tar xf node-v8.12.0-linux-x64.tar.xz mv node-v8.12.0-linux-x64 /usr/local/lib ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/npm /usr/local/bin/ ln -s /usr/local/lib/node-v8.12.0-linux-x64/bin/node /usr/local/bin/
*(可選)配置淘寶的源,加速npm包的下載:
npm config set registry https://registry.npm.taobao.org
安裝Puppeteer
配置淘寶的Puppeteer下載源,用于安裝Chromium:
export PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org npm i puppeteer
國(guó)內(nèi)不配置時(shí)會(huì)在卡在下載Chromium
示例
新建一個(gè)test.js
const puppeteer = require('puppeteer'); (async () => { const browser = await puppeteer.launch({ ignoreHTTPSErrors: true, headless: false, args: ['--no-sandbox'] }); const page = await browser.newPage(); await page.goto('https://intest.tech'); await page.waitFor(5e3); await browser.close(); })();
運(yùn)行:
node test.js
截圖
知識(shí)點(diǎn)
- puppeteer.launch 啟動(dòng)瀏覽器實(shí)例
- browser.newPage() 創(chuàng)建一個(gè)新頁(yè)面
- page.goto 進(jìn)入指定網(wǎng)頁(yè)
- page.screenshot 截圖
const puppeteer = require('puppeteer'); (async () => { const browser = await (puppeteer.launch({ // 若是手動(dòng)下載的chromium需要指定chromium地址, 默認(rèn)引用地址為 /項(xiàng)目目錄/node_modules/puppeteer/.local-chromium/ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', //設(shè)置超時(shí)時(shí)間 timeout: 15000, //如果是訪問(wèn)https頁(yè)面 此屬性會(huì)忽略https錯(cuò)誤 ignoreHTTPSErrors: true, // 打開(kāi)開(kāi)發(fā)者工具, 當(dāng)此值為true時(shí), headless總為false devtools: false, // 關(guān)閉headless模式, 會(huì)打開(kāi)瀏覽器 headless: false })); const page = await browser.newPage(); await page.goto('https://www.jianshu.com/u/40909ea33e50'); await page.screenshot({ path: 'jianshu.png', type: 'png', // quality: 100, 只對(duì)jpg有效 fullPage: true, // 指定區(qū)域截圖,clip和fullPage兩者只能設(shè)置一個(gè) // clip: { // x: 0, // y: 0, // width: 1000, // height: 40 // } }); browser.close(); })();
進(jìn)階,獲取網(wǎng)易云音樂(lè)的歌詞和評(píng)論
網(wǎng)易云音樂(lè)的API經(jīng)過(guò)AES和RSA算法加密,需要攜帶加密的信息通過(guò)POST方式請(qǐng)求才能獲取到數(shù)據(jù)。但 Puppeteer 出現(xiàn)后,這些都不重要了,只要它頁(yè)面上顯示了,通過(guò) Puppeteer 都能獲取到該元素。
知識(shí)點(diǎn)
- page.type 獲取輸入框焦點(diǎn)并輸入文字
- page.keyboard.press 模擬鍵盤按下某個(gè)按鍵,目前mac上組合鍵無(wú)效為已知bug
- page.waitFor 頁(yè)面等待,可以是時(shí)間、某個(gè)元素、某個(gè)函數(shù)
- page.frames() 獲取當(dāng)前頁(yè)面所有的 iframe,然后根據(jù) iframe 的名字精確獲取某個(gè)想要的 iframe
- iframe.$('.srchsongst') 獲取 iframe 中的某個(gè)元素
- iframe.evaluate() 在瀏覽器中執(zhí)行函數(shù),相當(dāng)于在控制臺(tái)中執(zhí)行函數(shù),返回一個(gè) Promise
- Array.from 將類數(shù)組對(duì)象轉(zhuǎn)化為對(duì)象
- page.click() 點(diǎn)擊一個(gè)元素
- iframe.$eval() 相當(dāng)于在 iframe 中運(yùn)行 document.queryselector 獲取指定元素,并將其作為第一個(gè)參數(shù)傳遞
- iframe.$$eval 相當(dāng)于在 iframe 中運(yùn)行 document.querySelectorAll 獲取指定元素?cái)?shù)組,并將其作為第一個(gè)參數(shù)傳遞
const fs = require('fs'); const puppeteer = require('puppeteer'); (async () => { const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false })); const page = await browser.newPage(); // 進(jìn)入頁(yè)面 await page.goto('https://music.163.com/#'); // 點(diǎn)擊搜索框擬人輸入 鬼才會(huì)想起 const musicName = '鬼才會(huì)想'; await page.type('.txt.j-flag', musicName, {delay: 0}); // 回車 await page.keyboard.press('Enter'); // 獲取歌曲列表的 iframe await page.waitFor(2000); let iframe = await page.frames().find(f => f.name() === 'contentFrame'); const SONG_LS_SELECTOR = await iframe.$('.srchsongst'); // 獲取歌曲 鬼才會(huì)想起 的地址 const selectedSongHref = await iframe.evaluate(e => { const songList = Array.from(e.childNodes); const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(/\s/g, '') === '鬼才會(huì)想起'); return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href; }, SONG_LS_SELECTOR); // 進(jìn)入歌曲頁(yè)面 await page.goto(selectedSongHref); // 獲取歌曲頁(yè)面嵌套的 iframe await page.waitFor(2000); iframe = await page.frames().find(f => f.name() === 'contentFrame'); // 點(diǎn)擊 展開(kāi)按鈕 const unfoldButton = await iframe.$('#flag_ctrl'); await unfoldButton.click(); // 獲取歌詞 const LYRIC_SELECTOR = await iframe.$('#lyric-content'); const lyricCtn = await iframe.evaluate(e => { return e.innerText; }, LYRIC_SELECTOR); console.log(lyricCtn); // 截圖 await page.screenshot({ path: '歌曲.png', fullPage: true, }); // 寫入文件 let writerStream = fs.createWriteStream('歌詞.txt'); writerStream.write(lyricCtn, 'UTF8'); writerStream.end(); // 獲取評(píng)論數(shù)量 const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText); console.log(commentCount); // 獲取評(píng)論 const commentList = await iframe.$$eval('.itm', elements => { const ctn = elements.map(v => { return v.innerText.replace(/\s/g, ''); }); return ctn; }); console.log(commentList); })();
參考
https://github.com/cnpm/cnpmjs.org/issues/1246#issuecomment-341631992
以上就是本文的全部?jī)?nèi)容,希望對(duì)大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
node.js中的fs.fchown方法使用說(shuō)明
這篇文章主要介紹了node.js中的fs.fchown方法使用說(shuō)明,本文介紹了fs.fchown方法說(shuō)明、語(yǔ)法、接收參數(shù)、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下2014-12-12Node.JS 循環(huán)遞歸復(fù)制文件夾目錄及其子文件夾下的所有文件
在Node.js中,要實(shí)現(xiàn)目錄文件夾的循環(huán)遞歸復(fù)制也非常簡(jiǎn)單,使用fs模塊即可,僅需幾行,而且性能也不錯(cuò),我們先來(lái)實(shí)現(xiàn)文件的復(fù)制,需要的朋友可以參考下2017-09-09解決npm?run?serve啟動(dòng)報(bào)錯(cuò)npm?ERR?Missing?script:"serve&q
這篇文章主要給大家介紹了關(guān)于解決npm?run?serve啟動(dòng)報(bào)錯(cuò)npm?ERR?Missing?script:"serve"的相關(guān)資料,這是最近開(kāi)發(fā)中遇到的一個(gè)問(wèn)題,文中通過(guò)圖文將解決辦法介紹的非常詳細(xì),需要的朋友可以參考下2023-01-01nodejs基于express實(shí)現(xiàn)文件上傳的方法
這篇文章主要介紹了nodejs基于express實(shí)現(xiàn)文件上傳的方法,結(jié)合實(shí)例形式分析了nodejs基于express框架實(shí)現(xiàn)文件上傳功能的具體步驟與相關(guān)操作技巧,需要的朋友可以參考下2018-03-03Node.js定時(shí)任務(wù)之node-schedule使用詳解
這篇文章主要介紹了Node.js定時(shí)任務(wù)之node-schedule使用詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-08-08Node.js中使用計(jì)時(shí)器定時(shí)執(zhí)行函數(shù)詳解
這篇文章主要介紹了Node.js中使用計(jì)時(shí)器定時(shí)執(zhí)行函數(shù)詳解,本文使用了Node.js中的setTimeout和setInterval函數(shù),需要的朋友可以參考下2014-08-08