本文主要介紹了Golang爬蟲(chóng)框架 colly的使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

colly是一個(gè)采用Go語(yǔ)言編寫(xiě)的Web爬蟲(chóng)框架，旨在提供一個(gè)能夠些任何爬蟲(chóng)/采集器/蜘蛛的簡(jiǎn)介模板，通過(guò)Colly。你可以輕松的從網(wǎng)站提取結(jié)構(gòu)化數(shù)據(jù)，然后進(jìn)行數(shù)據(jù)挖掘，處理或歸檔

項(xiàng)目特性

清晰明了的API
速度快（每個(gè)內(nèi)核上的請(qǐng)求數(shù)大于1K）
管理每個(gè)域的請(qǐng)求延遲和最大并發(fā)數(shù)
自動(dòng)cookie和會(huì)話(huà)處理
同步/異步/ 并行抓取
高速緩存
自動(dòng)處理非Unicode編碼
支持Robots.txt
支持Google App Engine
通過(guò)環(huán)境變量進(jìn)行配置
可拓展

安裝colly

go get -u github.com/gocolly/colly

第一個(gè)colly 應(yīng)用

package main

import (
	"fmt"
	"github.com/gocolly/colly"
)

func main() {
	c := colly.NewCollector()

	// goquery selector class
	c.OnHTML(".sidebar_link", func(e *colly.HTMLElement) {
		e.Request.Visit(e.Attr("href"))
/*		link := e.Attr("href")
		// Print link
		fmt.Printf("Link found: %q -> %s\n", e.Text, link)
		// Visit link found on page
		// Only those links are visited which are in AllowedDomains
		c.Visit(e.Request.AbsoluteURL(link))*/
	})

	c.OnRequest(func(r *colly.Request) {
		fmt.Println("url：",r.URL)
	})
	c.Visit("https://gorm.io/zh_CN/docs/")

}

回調(diào)函數(shù)的調(diào)用順序

OnRequest 在請(qǐng)求之前調(diào)用
OnError 如果請(qǐng)求期間發(fā)生錯(cuò)誤，則調(diào)用
OnResponseHeaders 在收到響應(yīng)標(biāo)頭后調(diào)用
OnResponse 收到回復(fù)后調(diào)用
OnHTML OnResponse如果接收到的內(nèi)容是HTML ，則在此之后立即調(diào)用
OnXML OnHTML如果接收到的內(nèi)容是HTML或XML ，則在之后調(diào)用
OnScraped 在OnXML回調(diào)之后調(diào)用

實(shí)例

func collback()  {  // 添加回調(diào) 收集器
	c:= colly.NewCollector()
	c.OnRequest(func(r *colly.Request) {
		fmt.Println("請(qǐng)求前調(diào)用:OnRequest")
		// fmt.Println("Visiting", r.URL)
	})

	c.OnError(func(_ *colly.Response, err error) {
		fmt.Println("發(fā)生錯(cuò)誤調(diào)用:OnReOnError")
		//log.Println("Something went wrong:", err)
	})

/*	c.OnResponseHeaders(func(r *colly.Response) {  //高版本已經(jīng)不用了
		fmt.Println("Visited", r.Request.URL)
	})
*/
	c.OnResponse(func(r *colly.Response) {
		fmt.Println("獲得響應(yīng)后調(diào)用:OnResponse")
		//fmt.Println("Visited", r.Request.URL)
	})

	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
		fmt.Println("OnResponse收到html內(nèi)容后調(diào)用:OnHTML")
		//e.Request.Visit(e.Attr("href"))
	})

/*	c.OnHTML("tr td:nth-of-type(1)", func(e *colly.HTMLElement) {
		fmt.Println("First column of a table row:", e.Text)
	})*/

	c.OnXML("http://h1", func(e *colly.XMLElement) {
		fmt.Println("OnResponse收到xml內(nèi)容后調(diào)用:OnXML")
		//fmt.Println(e.Text)
	})

	c.OnScraped(func(r *colly.Response) {
		fmt.Println("結(jié)束", r.Request.URL)
	})
	c.Visit("https://gorm.io/zh_CN/docs/")

}

得到的:

在這里插入圖片描述

colly 的配置

設(shè)置UserAgent

//設(shè)置UserAgent的兩種方式：

/*	//方式一 :
    c2 := colly.NewCollector()
	c2.UserAgent = "xy"
	c2.AllowURLRevisit = true*/

/*  //方式二 :
	c2 := colly.NewCollector(
		colly.UserAgent("xy"),
		colly.AllowURLRevisit(),
	)*/

設(shè)置Cookie

	//設(shè)置cookie的兩種方式
	//方式一：通過(guò)手動(dòng)網(wǎng)頁(yè)添加cookies
	c.OnRequest(func(r *colly.Request) {
		r.Headers.Add("cookie","_ga=GA1.2.1611472128.1650815524; _gid=GA1.2.2080811677.1652022429; __atuvc=2|17,0|18,5|19")
	})
	// 方式二 :通過(guò)url 添加cookies
	siteCookie := c.Cookies("url")
	c.SetCookies("",siteCookie)

HTTP配置

Colly使用Golang的默認(rèn)http客戶(hù)端作為網(wǎng)絡(luò)層?？梢酝ㄟ^(guò)更改默認(rèn)的HTTP roundtripper來(lái)調(diào)整HTTP選項(xiàng)。

c := colly.NewCollector()
c.WithTransport(&http.Transport{
	Proxy: http.ProxyFromEnvironment,
	DialContext: (&net.Dialer{
		Timeout:   30 * time.Second,
		KeepAlive: 30 * time.Second,
		DualStack: true,
	}).DialContext,
	MaxIdleConns:          100,
	IdleConnTimeout:       90 * time.Second,
	TLSHandshakeTimeout:   10 * time.Second,
	ExpectContinueTimeout: 1 * time.Second,
}

colly頁(yè)面爬取和解析

頁(yè)面爬取和解析重點(diǎn)方法是 onHTML 回調(diào)方法

	c.OnHTML("a[href]", func(e *colly.HTMLElement) {
        fmt.Printf("e.Name:%v\n",e.Name)
		e.Request.Visit(e.Attr("href"))
	})




func html()  {
	c:= colly.NewCollector()
	c.OnHTML("#sidebar", func(e *colly.HTMLElement) {
		//fmt.Printf("e.Name:%v\n",e.Name) //名字
		//fmt.Printf("e.Text:%v\n",e.Text) //文本

		ret, _ := e.DOM.Html() // selector 選擇器
		fmt.Printf("ret:%v\n",ret)
	})
	c.OnRequest(func(r *colly.Request) {
		fmt.Println("url：",r.URL)
	})
	c.Visit("https://gorm.io/zh_CN/docs/")
}

第一個(gè)參數(shù)是：goquery選擇器，可以元素名稱(chēng)，ID或者Class選擇器，第二個(gè)參數(shù)是根據(jù)第一個(gè)選擇器獲得的HTML元素結(jié)構(gòu)如下：

colly框架重構(gòu)爬蟲(chóng)

package main

import (
	"fmt"
	"github.com/gocolly/colly"
)

func main()  {
	c:= colly.NewCollector()
	c.OnHTML(".sidebar_link", func(e *colly.HTMLElement) {  // 左側(cè)鏈接

		href := e.Attr("href")
		if href != "index.html"{
			c.Visit(e.Request.AbsoluteURL(href))
		}
	})
	c.OnHTML(".article-title", func(h *colly.HTMLElement) {  // 選擇鏈接之后的標(biāo)題
		title := h.Text
		fmt.Printf("title: %v\n",title)
	})
	c.OnHTML(".article", func(h *colly.HTMLElement) {  //內(nèi)容
		content, _ := h.DOM.Html()
		fmt.Printf("content: %v\n",content)
	})
	c.OnRequest(func(r *colly.Request) {
		fmt.Println("url：",r.URL.String())
	})
	c.Visit("https://gorm.io/zh_CN/docs/")
}

到此這篇關(guān)于Golang爬蟲(chóng)框架 colly的使用的文章就介紹到這了,更多相關(guān)Golang colly內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: