Go?http請(qǐng)求排隊(duì)處理實(shí)戰(zhàn)示例
一、http請(qǐng)求的順序處理方式
在高并發(fā)場(chǎng)景下,為了降低系統(tǒng)壓力,都會(huì)使用一種讓請(qǐng)求排隊(duì)處理的機(jī)制。本文就介紹在Go中是如何實(shí)現(xiàn)的。
首先,我們看下正常的請(qǐng)求處理邏輯。 客戶端發(fā)送請(qǐng)求,web server接收請(qǐng)求,然后就是處理請(qǐng)求,最后響應(yīng)給客戶端這樣一個(gè)順序的邏輯。如下圖所示:
代碼實(shí)現(xiàn)如下:
package main import ( "fmt" "net/http" ) func main() { myHandler := MyHandler{} http.Handle("/", &myHandler) http.ListenAndServe(":8080", nil) } type MyHandler struct { } func (h *MyHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) { w.Write([]byte("Hello Go")) }
在瀏覽器中輸入 http://localhost:8080/,就能在頁面上顯示出“Hello Go”的頁面來。
通常情況下,大家在開發(fā)web系統(tǒng)的時(shí)候,一般都是這么處理請(qǐng)求。接下來我們看在高并發(fā)下如何實(shí)現(xiàn)讓請(qǐng)求進(jìn)行排隊(duì)處理。
二、http請(qǐng)求的異步處理方式--排隊(duì)處理
讓http請(qǐng)求進(jìn)入到隊(duì)列,我們也稱為異步處理方式。其基本思想就是將接收到的請(qǐng)求的上下文(即request和response)以及處理邏輯包裝成一個(gè)工作單元,然后將其放到隊(duì)列,然后該工作單元等待消費(fèi)的工作線程處理該job,處理完成后再返回給客戶端。 流程如下圖:
該實(shí)現(xiàn)中會(huì)有三個(gè)關(guān)鍵的元素:工作執(zhí)行單元、隊(duì)列、消費(fèi)者。下面我們逐一看下各自的職責(zé)及實(shí)現(xiàn)。
工作單元
該工作單元主要是封裝請(qǐng)求的上下文信息(request和response)、請(qǐng)求的處理邏輯以及該工作單元是否被執(zhí)行完成的狀態(tài)。
請(qǐng)求的處理邏輯實(shí)際上就是原來在順序處理流程中的具體函數(shù),如果是mvc模式的話就是controller里的一個(gè)具體的action。
在Go中實(shí)現(xiàn)通信的方式一般是使用通道。所以,在工作單元中有一個(gè)通道,當(dāng)該工作單元執(zhí)行完具體的處理邏輯后,就往該通道中寫入一個(gè)消息,以通知主協(xié)程該次請(qǐng)求已完成,可以返回給客戶端了。
所以,一個(gè)http請(qǐng)求的處理邏輯看起來就像是下面這樣:
func (h *MyHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) {
將w和r包裝成工作單元job
將job入隊(duì)
等待job執(zhí)行完成
本次請(qǐng)求處理完畢
}
下面我們看下工作單元的具體實(shí)現(xiàn),這里我們將其定義為一個(gè)Job結(jié)構(gòu)體:
type Job struct { DoneChan chan struct{} handleJob func(j FlowJob) error //具體的處理邏輯 }
Job結(jié)構(gòu)體中有一個(gè)handleJob,其類型是一個(gè)函數(shù),即處理請(qǐng)求的邏輯部分。DoneChan通道用來讓該單元進(jìn)行阻塞等待,并當(dāng)handleJob執(zhí)行完畢后發(fā)送消息通知的。
下面我們?cè)倏纯丛揓ob的相關(guān)行為:
// 消費(fèi)者從隊(duì)列中取出該job時(shí) 執(zhí)行具體的處理邏輯 func (job *Job) Execute() error { fmt.Println("job start to execute ") return job.handleJob(job) } // 執(zhí)行完Execute后,調(diào)用該函數(shù)以通知主線程中等待的job func (job *Job) Done() { job.DoneChan <- struct{}{} close(job.DoneChan) } // 工作單元等待自己被消費(fèi) func (job *Job) WaitDone() { select { case <-job.DoneChan: return } }
隊(duì)列
隊(duì)列主要是用來存儲(chǔ)工作單元的。是處理請(qǐng)求的主協(xié)程和消費(fèi)協(xié)程之間的紐帶。隊(duì)列具有列表、容量、當(dāng)前元素個(gè)數(shù)等關(guān)鍵元素組成。如下:
type JobQueue struct { mu sync.Mutex noticeChan chan struct{} queue *list.List size int capacity int }
其行為主要有入隊(duì)、出隊(duì)、移除等操作。定義如下:
// 初始化隊(duì)列 func NewJobQueue(cap int) *JobQueue { return &JobQueue{ capacity: cap, queue: list.New(), noticeChan: make(chan struct{}, 1), } } // 工作單元入隊(duì) func (q *JobQueue) PushJob(job *Job) { q.mu.Lock() defer q.mu.Unlock() q.size++ if q.size > q.capacity { q.RemoveLeastJob() } q.queue.PushBack(job) q.noticeChan <- struct{}{} } // 工作單元出隊(duì) func (q *JobQueue) PopJob() *Job { q.mu.Lock() defer q.mu.Unlock() if q.size == 0 { return nil } q.size-- return q.queue.Remove(q.queue.Front()).(*Job) } // 移除隊(duì)列中的最后一個(gè)元素。 // 一般在容量滿時(shí),有新job加入時(shí),會(huì)移除等待最久的一個(gè)job func (q *JobQueue) RemoveLeastJob() { if q.queue.Len() != 0 { back := q.queue.Back() abandonJob := back.Value.(*Job) abandonJob.Done() q.queue.Remove(back) } } // 消費(fèi)線程監(jiān)聽隊(duì)列的該通道,查看是否有新的job需要消費(fèi) func (q *JobQueue) waitJob() <-chan struct{} { return q.noticeChan }
這里我們主要解釋一下入隊(duì)的操作流程:
- 1 首先是隊(duì)列的元素個(gè)數(shù)size++
- 2 判斷size是否超過最大容量capacity
- 3 若超過最大容量,則將隊(duì)列中最后一個(gè)元素移除。因?yàn)樵撛氐却龝r(shí)間最長(zhǎng),認(rèn)為是超時(shí)的情況。
- 4 將新接收的工作單元放入到隊(duì)尾。
- 5 往noticeChan通道中寫入一個(gè)消息,以便通知消費(fèi)協(xié)程處理Job。
由以上可知,noticeChan是隊(duì)列和消費(fèi)者協(xié)程之間的紐帶。下面我們來看看消費(fèi)者的實(shí)現(xiàn)。
消費(fèi)者協(xié)程
消費(fèi)者協(xié)程的職責(zé)是監(jiān)聽隊(duì)列,并從隊(duì)列中獲取工作單元,執(zhí)行工作單元的具體處理邏輯。在實(shí)際應(yīng)用中,可以根據(jù)系統(tǒng)的承載能力啟用多個(gè)消費(fèi)協(xié)程。在本文中,為了方便講解,我們只啟用一個(gè)消費(fèi)協(xié)程。
我們定義一個(gè)WorkerManager結(jié)構(gòu)體,負(fù)責(zé)管理具體的消費(fèi)協(xié)程。該WorkerManager有一個(gè)屬性是工作隊(duì)列,所有啟動(dòng)的消費(fèi)協(xié)程都需要從該工作隊(duì)列中獲取工作單元。代碼實(shí)現(xiàn)如下:
type WorkerManager struct { jobQueue *JobQueue } func NewWorkerManager(jobQueue *JobQueue) *WorkerManager { return &WorkerManager{ jobQueue: jobQueue, } } func (m *WorkerManager) createWorker() error { go func() { fmt.Println("start the worker success") var job FlowJob for { select { case <-m.jobQueue.waitJob(): fmt.Println("get a job from job queue") job = m.jobQueue.PopJob() fmt.Println("start to execute job") job.Execute() fmt.Print("execute job done") job.Done() } } }() return nil }
在代碼中我們可以看到,createWorker中的邏輯實(shí)際是一個(gè)for循環(huán),然后通過select監(jiān)聽隊(duì)列的noticeChan通道,當(dāng)獲取到工作單元時(shí),就執(zhí)行工作單元中的handleJob方法。執(zhí)行完后,通過job.Done()方法通知在主協(xié)程中還等待的job。這樣整個(gè)流程就形成了閉環(huán)。
完整代碼
我們現(xiàn)在看下整體的處理流程,如下圖:
現(xiàn)在我們寫一個(gè)測(cè)試demo。在這里我們定義了一個(gè)全局的flowControl結(jié)構(gòu)體,以作為隊(duì)列和工作協(xié)程的管理。代碼如下:
package main import ( "container/list" "fmt" "net/http" "sync" ) func main() { flowControl := NewFlowControl() myHandler := MyHandler{ flowControl: flowControl, } http.Handle("/", &myHandler) http.ListenAndServe(":8080", nil) } type MyHandler struct { flowControl *FlowControl } func (h *MyHandler) ServeHTTP(w http.ResponseWriter, r *http.Request) { fmt.Println("recieve http request") job := &Job{ DoneChan: make(chan struct{}, 1), handleJob: func(job *Job) error { w.Header().Set("Content-Type", "application/json") w.Write([]byte("Hello World")) return nil }, } h.flowControl.CommitJob(job) fmt.Println("commit job to job queue success") job.WaitDone() } type FlowControl struct { jobQueue *JobQueue wm *WorkerManager } func NewFlowControl() *FlowControl { jobQueue := NewJobQueue(10) fmt.Println("init job queue success") m := NewWorkerManager(jobQueue) m.createWorker() fmt.Println("init worker success") control := &FlowControl{ jobQueue: jobQueue, wm: m, } fmt.Println("init flowcontrol success") return control } func (c *FlowControl) CommitJob(job *Job) { c.jobQueue.PushJob(job) fmt.Println("commit job success") }
之前有一篇文章是優(yōu)先級(jí)隊(duì)列,實(shí)際上就是該隊(duì)列的高級(jí)實(shí)現(xiàn)版本,可以將不同的請(qǐng)求按優(yōu)先級(jí)分配到不同的隊(duì)列中。有興趣的同學(xué)可參考:Go實(shí)戰(zhàn) 單隊(duì)列到優(yōu)先級(jí)隊(duì)列的實(shí)現(xiàn)
總結(jié)
通過將請(qǐng)求的上下文信息封裝到一個(gè)工作單元中,并將其放入到隊(duì)列中,然后通過消息通道的方式阻塞等待消費(fèi)者執(zhí)行完畢。同時(shí)在隊(duì)列中通過設(shè)置隊(duì)列的容量以解決請(qǐng)求過多而給系統(tǒng)造成壓力的問題。
以上就是Go http請(qǐng)求排隊(duì)處理實(shí)戰(zhàn)的詳細(xì)內(nèi)容,更多關(guān)于Go http請(qǐng)求排隊(duì)的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Golang-如何判斷一個(gè)?interface{}?的值是否為?nil
interface?的內(nèi)部實(shí)現(xiàn)包含了兩個(gè)字段,一個(gè)是?type,一個(gè)是?data,這篇文章主要介紹了Golang-如何判斷一個(gè)interface{}的值是否為nil,需要的朋友可以參考下2023-05-05golang?防緩存擊穿singleflight的實(shí)現(xiàn)
本文主要介紹了golang?防緩存擊穿singleflight的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08Golang中切片長(zhǎng)度和容量的區(qū)別示例詳解
切片長(zhǎng)度與容量在Go中很常見,切片長(zhǎng)度是切片中可用元素的數(shù)量,而切片容量是從切片中第一個(gè)元素開始計(jì)算的底層數(shù)組中的元素?cái)?shù)量,這篇文章主要給大家介紹了關(guān)于Golang中切片長(zhǎng)度和容量區(qū)別的相關(guān)資料,需要的朋友可以參考下2024-01-01go語言使用Chromedp實(shí)現(xiàn)二維碼登陸教程示例源碼
這篇文章主要為大家介紹了go語言使用Chromedp實(shí)現(xiàn)二維碼登陸示例源碼,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-04-04Go語言kafka生產(chǎn)消費(fèi)消息實(shí)例搬磚
這篇文章主要為大家介紹了Go語言kafka生產(chǎn)消費(fèi)消息的實(shí)例搬磚,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-06-06