gin-mgo服務(wù)器搭建

該服務(wù)器實(shí)現(xiàn)簡(jiǎn)單接收請(qǐng)求并將請(qǐng)求參數(shù)封裝存儲(chǔ)在mongodb數(shù)據(jù)庫(kù)中,本文將講述gin－mgo的使用方法。

項(xiàng)目完整代碼地址： https://github.com/wayne-yhp/golang-gin-mgo

gin web框架使用介紹

首先獲取gin框架依賴(lài)

go get gopkg.in/gin-gonic/gin.v1

func main() {
  server = gin.Default()
  app.server.GET("/do", IndexRouter)//創(chuàng)造一個(gè)GET請(qǐng)求的路由地址，并指定處理函數(shù)為IndexRouter函數(shù)
  app.server.Run(":8080")
}
func IndexRouter(c *gin.Context) {
  if c.Request.Form == nil {   //獲取所有請(qǐng)求參數(shù)名和值的預(yù)處理
    c.Request.ParseMultipartForm(32 << 20)
  }
  params = c.Request.Form   //獲取所有參數(shù)列表
  fmt.Println(params)     //打印輸出參數(shù)
  c.String(http.StatusOK,"hello gin")//返回給頁(yè)面hello gin字符串
  //c.HTML(http.StatusOK, "index.html", nil)   //頁(yè)面跳轉(zhuǎn)
}

mgo 持久層框架使用介紹

前提條件mongodb環(huán)境已經(jīng)搭建好了，首先安裝mgo框架依賴(lài)

go get labix.org/v2/mgo

type User struct{
  username string
  pwd string
}
func main() {
  mgo_session, err = mgo.Dial("127.0.0.1") //獲取連接對(duì)象session
  if err != nil {
    panic(err)
  }
  defer session.Close()    //方法執(zhí)行完后關(guān)閉連接
  mgo_db = oper.mgo_session.DB("test")  //獲取數(shù)據(jù)庫(kù)對(duì)象，數(shù)據(jù)庫(kù)名為test
  //如果沒(méi)有mongodb沒(méi)有開(kāi)啟權(quán)限認(rèn)證，則跳過(guò)這一步
  mgo_db.Login("test1", "test1")  //用戶(hù)認(rèn)證，用戶(hù)名賬戶(hù)和密碼都是test1
  mgo_c = oper.mgo_db.C("coll")  //獲取數(shù)據(jù)庫(kù)某個(gè)集合對(duì)象
  //插入操作
  mgo_c.insert(&User{
    username: "xxx",
    pwd: "xxx",
  })
}

提高服務(wù)器高并發(fā)性能講解(針對(duì)文章開(kāi)頭地址中的項(xiàng)目)

該項(xiàng)目主要實(shí)現(xiàn)接收請(qǐng)求，解析封裝參數(shù)，插入數(shù)據(jù)庫(kù)的簡(jiǎn)單操作，這里只涉及插入操作，故不涉及數(shù)據(jù)緩存的知識(shí)，整個(gè)服務(wù)處于單機(jī)下，故不涉及分布式服務(wù)架構(gòu)，集群的知識(shí)。

注意以下

1、開(kāi)啟一個(gè)協(xié)程獨(dú)自監(jiān)聽(tīng)訪(fǎng)問(wèn)數(shù)量，進(jìn)行插入操作

2、實(shí)現(xiàn)批量插入

3、實(shí)現(xiàn)定時(shí)插入

4、加鎖解決并發(fā)資源競(jìng)爭(zhēng)

開(kāi)啟一個(gè)協(xié)程獨(dú)自監(jiān)聽(tīng)訪(fǎng)問(wèn)數(shù)量，進(jìn)行插入操作

如果將插入操作放在主線(xiàn)程，那么接收http請(qǐng)求和邏輯處理，數(shù)據(jù)庫(kù)插入操作都必須要順序執(zhí)行，大大降低了插入效率，因此要開(kāi)啟一個(gè)協(xié)程，獨(dú)自監(jiān)聽(tīng)訪(fǎng)問(wèn)數(shù)量，進(jìn)行數(shù)據(jù)庫(kù)插入。

實(shí)現(xiàn)批量插入

假想一下如果每次有人訪(fǎng)問(wèn)你的數(shù)據(jù)庫(kù)你就進(jìn)行一次插入操作，那么你的數(shù)據(jù)庫(kù)將會(huì)是一個(gè)什么樣的情況？我們都知道數(shù)據(jù)庫(kù)操作相對(duì)服務(wù)器其他操作是一件相對(duì)很耗時(shí)的事情，所以每次訪(fǎng)問(wèn)就操作一次數(shù)據(jù)庫(kù)，會(huì)大大降低服務(wù)器性能，更別說(shuō)有幾千上萬(wàn)的人同時(shí)訪(fǎng)問(wèn)你的服務(wù)器了。

實(shí)現(xiàn)定時(shí)插入

在實(shí)現(xiàn)了批量插入的基礎(chǔ)上，如果沒(méi)有達(dá)到一定的訪(fǎng)問(wèn)量，那么就不會(huì)執(zhí)行插入操作，剛好在兩個(gè)訪(fǎng)問(wèn)請(qǐng)求中間隔了很長(zhǎng)時(shí)間，那么前面的請(qǐng)求就會(huì)等待很久才會(huì)更新到數(shù)據(jù)庫(kù)中，為了防止這種情況，我們必須要設(shè)定一個(gè)時(shí)間，定時(shí)插入。

加鎖解決并發(fā)資源競(jìng)爭(zhēng)

在并發(fā)量幾千上萬(wàn)的情況下，可能一秒可以執(zhí)行很多次數(shù)據(jù)庫(kù)的插入操作，這個(gè)時(shí)候很有可能上一個(gè)插入還沒(méi)執(zhí)行完，第二個(gè)就已經(jīng)執(zhí)行了，這時(shí)候可能出現(xiàn)數(shù)據(jù)冗余，服務(wù)器癱瘓等問(wèn)題，因此要給批量插入操作加上一個(gè)讀寫(xiě)鎖。

具體實(shí)現(xiàn)細(xì)節(jié)可以去上述地址中查看。

補(bǔ)充：Golang號(hào)稱(chēng)高并發(fā)，但高并發(fā)時(shí)性能不高

1.管道chan吞吐極限10,000,000，單次Put,Get耗時(shí)大約100ns/op，無(wú)論是采用單Go程，還是多Go程并發(fā)(并發(fā)數(shù):100, 10000, 100000)，耗時(shí)均沒(méi)有變化，Go內(nèi)核這對(duì)chan進(jìn)行優(yōu)化。

解決之道：

在系統(tǒng)設(shè)計(jì)時(shí)，避免使用管道chan傳遞主業(yè)務(wù)數(shù)據(jù)，避免將業(yè)務(wù)流程處理流程分割到對(duì)個(gè)Go程中執(zhí)行，這樣做減少chan傳輸耗時(shí)，和Go程調(diào)度耗時(shí)，性能會(huì)有很大的提升。

案例分析：nsq和nats都是實(shí)時(shí)消息隊(duì)列，nsq在客戶(hù)端端和服務(wù)端大量使用chan轉(zhuǎn)發(fā)消息，導(dǎo)致性能不佳，只有100,000／s；而nats服務(wù)端在分發(fā)消息流程中，沒(méi)有使用chan，只在客戶(hù)端接收時(shí)使用chan，性能可達(dá)到1,000,000／s。

2.互斥鎖Mutex在單Go程時(shí)Lock,Unlock耗時(shí)大約20ns/op，但是采用多Go程時(shí)，性能急劇下降，并發(fā)越大耗時(shí)越長(zhǎng)，在Go1.5并發(fā)數(shù)達(dá)到1024耗時(shí)900ns/op，Go1.6優(yōu)化到300ns/op，究其原因，是構(gòu)建在CPU的原子操作之上，搶占過(guò)于頻繁將導(dǎo)致，消耗大量CPU時(shí)鐘，進(jìn)而CPU多核無(wú)法并行。

解決之道：

采用分區(qū)，將需要互斥保護(hù)的數(shù)據(jù)，分成多個(gè)固定分區(qū)(建議是2的整數(shù)倍，如256)，訪(fǎng)問(wèn)時(shí)先定位分區(qū)(不互斥)，這樣就可降低多個(gè)Go程競(jìng)爭(zhēng)1個(gè)數(shù)據(jù)分區(qū)的概率。

案例分析：Golang的Go程調(diào)度模塊，在管理大量的Go程，使用的就是數(shù)據(jù)分區(qū)。

3.select異步操作在單管道時(shí)耗時(shí)120ns/op，但是隨著管道數(shù)增加，性能線(xiàn)性下降，每增加1個(gè)管道增加100ns/op，究其原因，slelect時(shí)當(dāng)chan數(shù)超過(guò)1后，Go內(nèi)部是創(chuàng)建一個(gè)Go程，有它每1ms輪訓(xùn)的方式檢查每個(gè)chan是否可用，而不是采用事件觸發(fā)。

解決之道：

在select中避免使用過(guò)多的管道chan分支，或者把無(wú)法用到的chan置為nil；解決select超時(shí)，避免使用單獨(dú)的超時(shí)管道，應(yīng)與數(shù)據(jù)返回管道共享。

案例分析：nsq和nats都是實(shí)時(shí)消息隊(duì)列，由于nsq大量使用chan，這就必然導(dǎo)致大量使用select對(duì)多chan操作，結(jié)果是性能不高。

4.Go調(diào)度性能低下，當(dāng)出現(xiàn)1,000,000Go程時(shí)，Go的調(diào)度器的性能急劇下降。

解決之道：

避免動(dòng)態(tài)創(chuàng)建Go程，服務(wù)端收到數(shù)據(jù)并處理的流程中，避免使用chan傳遞業(yè)務(wù)數(shù)據(jù)，這樣會(huì)引起Go程調(diào)度。

案例分析：nsq和nats都是實(shí)時(shí)消息隊(duì)列，由于nsq大量使用chan，這就必然導(dǎo)致在服務(wù)過(guò)程中，引起Go調(diào)度，結(jié)果是性能不高。

5.defer性能不高，每次defer耗時(shí)100ns，，在一個(gè)func內(nèi)連續(xù)出現(xiàn)多次，性能消耗是100ns*n，累計(jì)出來(lái)浪費(fèi)的cpu資源很大的。

解決之道：

除了需要異常捕獲時(shí)，必須使用defer；其它資源回收類(lèi)defer，可以判斷失敗后，使用goto跳轉(zhuǎn)到資源回收的代碼區(qū)。

6.內(nèi)存管理器性能低下，申請(qǐng)16字節(jié)的內(nèi)存，單次消耗30ns，64字節(jié)單次消耗70ns，隨著申請(qǐng)內(nèi)存尺寸的增長(zhǎng)，耗時(shí)會(huì)迅速增長(zhǎng)。加上GC的性能在1.4, 1.5是都不高，直到1.6, 1.7才得到改善。

解決之道：

建議使用pool，單次Put，Get的耗時(shí)大約在28ns，在并發(fā)情況下可達(dá)到18ns，比起每次創(chuàng)建，會(huì)節(jié)省很多的CPU時(shí)鐘。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。

最新評(píng)論