Puppeteer使用示例詳解
PhantomJS曾經(jīng)是無(wú)頭瀏覽器里的王者，測(cè)試、爬蟲等都在使用，隨著GoogleChrome Headless的出現(xiàn)，PhantomJS的作者已經(jīng)明確表示不在更新，而GoogleChrome Headless將會(huì)是未來(lái)爬蟲的趨勢(shì)，而測(cè)試將依然會(huì)使用Webdriver那套方案，GoogleChrome Headless可以利用WebDriver調(diào)用，也可以使用其集成的API——Puppeteer（操縱木偶的人），他的功能和他的名字一樣強(qiáng)大，可以隨意操控Chrome或Chromeium，缺點(diǎn)就是只有node的API,來(lái)看看他的圖標(biāo)：
Puppeteer是基于DevTools協(xié)議來(lái)控制headless Chrome的Node庫(kù)，依賴6.4以上版本的node，本人是在接觸這個(gè)軟件時(shí)才開(kāi)始學(xué)習(xí)node，依然感覺(jué)到它的異步async/await超級(jí)強(qiáng)大，在Puppeteer中也大量使用異步來(lái)完成任務(wù)。
Puppeteer的安裝可以使用node的包管理工具npm來(lái)安裝：
npm i puppeteer
這里安裝時(shí)會(huì)自動(dòng)安裝Chromeium，如果不需要?jiǎng)t可以通過(guò)配置npm跳過(guò)下載，做為一名爬蟲工程師我不會(huì)去討論測(cè)試相關(guān)的使用，接下來(lái)看看如何使用，和WebDriver類似，首先需要實(shí)例化brower，代碼如下：
const puppeteer = require('puppeteer');
(async () => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto('http://www.baidu.com');
await browser.close();
})();
這段代碼執(zhí)行結(jié)束時(shí)，你可能什么也沒(méi)有感覺(jué)到，因?yàn)樗诤笈_(tái)啟動(dòng)了一個(gè)Chromeium進(jìn)程，打開(kāi)了百度首頁(yè)，接著就關(guān)閉了，當(dāng)然我們可以在前臺(tái)打開(kāi)Chromeium，這里就需要配置一下，所配置參數(shù)只需傳入launch()即可，常用參數(shù)如下：
headless: 是否打開(kāi)瀏覽器，默認(rèn)為true
ignoreHTTPSErrors: 是否忽略https錯(cuò)誤，默認(rèn)為true
executablePath: 配置要調(diào)用瀏覽器的可執(zhí)行路徑，默認(rèn)是同Puppeteer一起安裝的Chromeium
slowMo：指定的毫秒延緩Puppeteer的操作
args：設(shè)置瀏覽器的相關(guān)參數(shù)，比如是否啟動(dòng)沙箱模式“--no-sandbox”，是否更換代理“--proxy-server”，具體參數(shù)請(qǐng)點(diǎn)此查看
使用示例如下：
const browser = await puppeteer.launch({headless:false, args: ["--no-sandbox",]}) //打開(kāi)瀏覽器
打開(kāi)新的窗口：
const page = await browser.newPage();
設(shè)置窗口大小
await page.setViewport({
width: 1920,
height: 1080
})
過(guò)濾不需要的請(qǐng)求：
await page.setRequestInterception(true);
page.on('request', interceptedRequest => {
if (interceptedRequest.url().endsWith('.png') || interceptedRequest.url().endsWith('.jpg'))
interceptedRequest.abort();
else
interceptedRequest.continue();
});
為瀏覽器設(shè)置userAgent：
await page.setUserAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299")
設(shè)置cookie，
const data = {
name: "smidB2",
domain: ".csdn.net",
value: "201806051502283cf43902aa8991a248f9c605204f92530032f23ef22c16270"
}
await page.setCookie(data)
示例中只是演示，真實(shí)的cookie是一個(gè)列表形式的，需要循環(huán)添加才可以
for(let data of cookies){
await page.setCookie(data)
}
請(qǐng)求url：
const url = "http://www.baidu.com"
await page.goto(url, { waitUntil: "networkidle2" });
設(shè)置頁(yè)面等待時(shí)間：
await page.waitFor(1000); // 單位是毫秒
等待頁(yè)面某個(gè)元素加載完成
await page.waitForSelector("input[class='usrname']")
點(diǎn)擊某個(gè)元素
await page.click("input[class='submit']")
利用page.evaluate()函數(shù)拖動(dòng)鼠標(biāo)至頁(yè)面底部，原理就是在頁(yè)面注入js代碼。
let scrollEnable = false;
let scrollStep = 500; //每次滾動(dòng)的步長(zhǎng)
while (scrollEnable) {
scrollEnable = await page.evaluate((scrollStep) => {
let scrollTop = document.scrollingElement.scrollTop;
document.scrollingElement.scrollTop = scrollTop + scrollStep;
return document.body.clientHeight > scrollTop + 1080 ? true : false
}, scrollStep);
await page.waitFor(600)
}
獲取html信息
const frame = await page.mainFrame()
const bodyHandle = await frame.$('html');
const html = await frame.evaluate(body => body.innerHTML, bodyHandle);
await bodyHandle.dispose(); //銷毀
console.log(html)
這是爬蟲能用到的大致操作，以下是爬取豆瓣熱門電影的基本信息和評(píng)分的代碼，寫這個(gè)程序時(shí)對(duì)node也是一知半解，如有不對(duì)，歡迎留言
basePupp.js
const puppeteer = require("puppeteer")
class BasePuppeteer{
puppConfig(){
const config = {
headless: false
}
return config
}
async openBrower(setting){
const browser = puppeteer.launch(setting)
return browser
}
async openPage(browser){
const page = await browser.newPage()
return page
}
async closeBrower(browser){
await browser.close()
}
async closePage(page){
await page.close()
}
}
const pupp = new BasePuppeteer()
module.exports = pupp
douban.js
const pupp = require("./basePupp.js")
const cheerio = require("cheerio")
const mongo = require("mongodb")
const assert = require("assert")
const MongoClient = mongo.MongoClient
const Urls = "mongodb://10.4.251.129:27017/douban"
MongoClient.connect(Urls, function (err, db) {
if (err) throw err;
console.log('數(shù)據(jù)庫(kù)已創(chuàng)建');
var dbase = db.db("runoob");
dbase.createCollection('detail', function (err, res) {
if (err) throw err;
console.log("創(chuàng)建集合!");
db.close();
});
});
async function getList(){
const brower = await pupp.openBrower()
const page = await pupp.openPage( brower)
const url = "https://movie.douban.com/explore#!type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=20&page_start=0"
await page.goto(url);
while(true){ // 循環(huán)點(diǎn)擊, 直到獲取不到該元素
try{
await page.waitFor(1000);
await page.waitForSelector('a[class=more]'); // 等待元素加載完成，超時(shí)時(shí)間30000ms
await page.click("a[class=more]")
// break
}catch(err){
console.log(err)
console.log("stop click !!!")
break
}
}
await page.waitFor(1000); // 等待頁(yè)面一秒
const links = await page.evaluate(() => { // 獲取電影詳情url
let movies = [...document.querySelectorAll('.list a[class=item]')];
return movies.map((movie) =>{
return {
href: movie.href.trim(),
}
});
});
console.log(links.length)
for (var i = 0; i < links.length; i++) {
const a = links[i];
await page.waitFor(2000);
await getDetail(brower, a.href)
// break
}
await pupp.closePage(page)
await pupp.closeBrower(brower)
}
async function getDetail(brower, url){
const page = await pupp.openPage(brower)
await page.goto(url);
await page.waitFor(1000);
try{
await page.click(".more-actor", {delay: 20})
}catch(err){
console.log(err)
}
const frame = await page.mainFrame()
const bodyHandle = await frame.$('html');
const html = await frame.evaluate(body => body.innerHTML, bodyHandle);
await bodyHandle.dispose(); // 銷毀
const $ = cheerio.load(html)
const title = $("h1 span").text().trim()
const rating_num = $(".rating_num").text().trim()
const data = {}
data["title"] = title
data["rating_num"] = rating_num
let info = $("#info").text()
const keyword = ["director", "screenplay", "lead", "type", "website", "location", "language", "playdate", "playtime", "byname", "imdb"]
if (info.indexOf("www.") > 0){
info = info.replace(/https:\/\/|http:\/\//g, "").replace(/\t/g," ").replace(/\r/g, " ").split(":")
for(var i = 1; i < info.length; i++){
data[keyword[i-1]] = info[i].split(/\n/g)[0].replace(/ \/ /g, ",").trim()
}
}else{
info = info.replace(/\t/g," ").replace(/\r/g, " ").split(":")
keyword.splice(4,1)
for(var i = 1; i < info.length-1; i++){
data[keyword[i-1]] = info[i].split(/\n/g)[0].replace(/ \/ /g, ",").trim()
}
data["website"] = ""
}
// console.log(data)
MongoClient.connect(Urls,function(err,db){ //獲取連接
assert.equal(null,err); //使用斷言模塊代替以前的 if判斷
var dbo = db.db("douban");
dbo.collection("detail").insert(data, function(err,result){ //連接到數(shù)據(jù)庫(kù)上面，并使用參數(shù)傳入集合
assert.equal(null,err);
console.log(result);
db.close();
});
});
await pupp.closePage(page)
}
getList()
以上的代碼完成了對(duì)豆瓣熱門電影的全部抓取，有以下幾個(gè)步驟：
1， 循環(huán)點(diǎn)擊加載更多，直到?jīng)]有此元素可操作而拋出異常
2，加載完全部熱門電影列表時(shí)解析出每個(gè)電影詳情頁(yè)的url并逐一請(qǐng)求
3， 解析詳情頁(yè)的所需數(shù)據(jù)，
4，對(duì)所抓取數(shù)據(jù)進(jìn)行入庫(kù)，這里使用MongoDB
入庫(kù)后的數(shù)據(jù)如下所示：
對(duì)以上的瀏覽器實(shí)例化做了優(yōu)化，寫成了單例模式
config.js
module.exports = {
browserOptions:{
headless: false,
// args: ['--no-sandbox', '--proxy-server=http://proxy:abc100@cp.test.com:8995'],
args: ['--no-sandbox'],
}
};
brower.js
const puppeteer = require("puppeteer");
const config = require('./config');//
const deasync = require('deasync');
const BROWSER_KEY = Symbol.for('browser');
const BROWSER_STATUS_KEY = Symbol.for('browser_status');
launch(config.browserOptions)
wait4Lunch();
/**
* 啟動(dòng)并獲取瀏覽器實(shí)例
* @param {*} options
* param options is puppeteer.launch function's options
*/
function launch(options = {}) {
if (!global[BROWSER_STATUS_KEY]) {
global[BROWSER_STATUS_KEY] = 'lunching';
puppeteer.launch(options)
.then((browser) => {
global[BROWSER_KEY] = browser;
global[BROWSER_STATUS_KEY] = 'lunched';
})
.catch((err) => {
global[BROWSER_STATUS_KEY] = 'error';
throw err;
});
}
}
function wait4Lunch(){
while (!global[BROWSER_KEY] && global[BROWSER_STATUS_KEY] == 'lunching') {
// wait for lunch
deasync.runLoopOnce();
}
}
module.exports = global[BROWSER_KEY];
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要給大家介紹了關(guān)于Django異步任務(wù)之Celery使用的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用Django具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
Python操作多維數(shù)組輸出和矩陣運(yùn)算示例
這篇文章主要介紹了Python操作多維數(shù)組輸出和矩陣運(yùn)算,結(jié)合實(shí)例形式分析了Python多維數(shù)組的生成、打印輸出及矩陣運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下2019-11-11
Python實(shí)現(xiàn)高效求解素?cái)?shù)代碼實(shí)例
這篇文章主要介紹了Python實(shí)現(xiàn)高效求解素?cái)?shù)代碼實(shí)例,本文直接給出代碼實(shí)例,需要的朋友可以參考下2015-06-06
今天小編就為大家分享一篇Python PIL圖片添加字體的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-08-08
詳解TensorFlow訓(xùn)練網(wǎng)絡(luò)兩種方式
本文主要介紹了TensorFlow訓(xùn)練網(wǎng)絡(luò)兩種方式，一種是基于tensor(array)，另外一種是迭代器，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-12-12
Python中的 ansible 動(dòng)態(tài)Inventory 腳本
這篇文章主要介紹了Python中的 ansible 動(dòng)態(tài)Inventory 腳本,本章節(jié)通過(guò)實(shí)例代碼從mysql數(shù)據(jù)作為數(shù)據(jù)源生成動(dòng)態(tài)ansible主機(jī)為入口介紹的非常詳細(xì)，感興趣的朋友跟隨小編一起看看吧2020-01-01
python3+RobotFramework環(huán)境搭建過(guò)程
之前用的python2.7+robotframework進(jìn)行的自動(dòng)化測(cè)試,python3的還沒(méi)嘗試,今天嘗試了下,搭建環(huán)境的時(shí)候也是各種報(bào)錯(cuò),今天給大家分享下python3+RobotFramework環(huán)境搭建過(guò)程,感興趣的朋友一起看看吧2023-08-08
這篇文章主要介紹了Python3讀寫ini配置文件的示例，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-11-11
Python中使用defaultdict和Counter的方法
本文深入探討了Python中的兩個(gè)強(qiáng)大工具——defaultdict和Counter,并詳細(xì)介紹了它們的工作原理、應(yīng)用場(chǎng)景以及在實(shí)際編程中的高效使用方法,感興趣的朋友跟隨小編一起看看吧2025-01-01
Python密碼學(xué)XOR算法編碼流程及乘法密碼教程
這篇文章主要為大家介紹了Python密碼學(xué)XOR流程及乘法密碼教程示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05