NodeJs爬蟲框架Spider基礎使用教程

更新時間：2023年07月24日 09:13:48 作者：GeoffZhu

這篇文章主要為大家介紹了NodeJs爬蟲框架Spider基礎使用教程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪

gz-spider

一個基于Puppeteer和Axios的NodeJs爬蟲框架源碼倉庫

為什么需要爬蟲框架

爬蟲框架可以簡化開發(fā)流程，提供統(tǒng)一規(guī)范，提升效率。一套優(yōu)秀的爬蟲框架會利用多線程，多進程，分布式，IP池等能力，幫助開發(fā)者快速開發(fā)出易于維護的工業(yè)級爬蟲，長期受用。

特性

可配置代理
支持任務重試
支持Puppeteer
異步隊列服務友好
多進程友好

安裝

npm i gz-spider --save

使用

const spider = require('gz-spider');
// 每個爬蟲是一個方法，需要通過setProcesser注冊
spider.setProcesser({
  ['getGoogleSearchResult']: async (fetcher, params) => {
    // fetcher.page是原始的puppeteer page，可以直接用于打開頁面
    let resp = await fetcher.axios.get(`https://www.google.com/search?q=${params}`);
    // throw 'Retry', will retry this processer
    // throw 'ChangeProxy', will retry this processer use new proxy
    // throw 'Fail', will finish this processer with message(fail) Immediately
    if (resp.status === 200) {
      // Data processing start
      let result = resp.data + 1;
      // Data processing end
      return result;
    } else {
      throw 'retry';
    }
  }
});
// 開始爬取
spider.getData('getGoogleSearchResult', params).then(userInfo => {
  console.log(userInfo);
});

配置

框架由三部分組成，fetcher、strategy、processer。

Fetcher

spider.setFetcher({
  axiosTimeout: 5000,
  proxyTimeout: 180 * 1000
  proxy() {
    // 支持返回Promise，可以從遠端拉取代理的配置
    return {
      host: '127.0.0.1',
      port: '9000'
    }
  }
});

axiosTimeout: [Number] 每次爬蟲請求的超時時間
proxyTimeout: [Number] 更新代理IP時間，代理IP有超時的場景使用，會重新執(zhí)行proxy function，使用新的代理IP
proxy: [Object | Function] 當 proxy是[Function], 支持異步，可以從遠端拉取代理的配置
- proxy.host [String]
- proxy.port [String]

Strategy

spider.setStrategy({
  retryTimes: 2
});

retryTimes: [Number] 最大重試次數(shù)

與任務隊列結合使用

流程獲取任務 -> `spider.getData(processerKey, processerIn)` -> 完成任務并帶上處理好的數(shù)據(jù)

用MySql模擬任務隊列

創(chuàng)建spider-task表, 至少包含'id', 'status', 'processer_key', 'processer_input', 'processer_output'
寫一個拉取未完成任務的接口, 例如 GET /spider/task
寫一個完成任務的接口，例如 PUT /spider/task

const axios = require('axios');
while (true) {
  // 獲取任務
  let resp = await axios.get('http://127.0.0.1:8080/spider/task');
  if (!resp.data.task) break;
  let { id, processerKey, processerInput } = resp.data.task;
  let processerOutput = await spider.getData(processerKey, processerInput);
  // 完成任務并帶上處理好的數(shù)據(jù)
  await axios.put('http://127.0.0.1:8080/spider/task', {
    id, processerOutput,
    status: 'success'
  });
}