Go語(yǔ)言kafka生產(chǎn)消費(fèi)消息實(shí)例搬磚
kafka go庫(kù)
kafka go客戶端官方目前沒(méi)有提供,但在github有2個(gè)非常流行的庫(kù)
星星較多,網(wǎng)上案例也多 https://github.com/Shopify/sarama
confluent官網(wǎng)提供的庫(kù) https://github.com/confluentinc/confluent-kafka-go
這里使用sarama,因?yàn)樾切嵌?,案例多,方便快速上?/p>
注意
如果kafka版本在2.2以下,需要在go.mod里面將sarama版本改為github.com/Shopify/sarama v1.24.1
這是因?yàn)閟arama只提供最新2個(gè)版本+2個(gè)月的兼容保證,所以使用低版本kafka是需要避坑
使用非集群集群生產(chǎn)者時(shí),需要自行去創(chuàng)建topic,如果使用集群生產(chǎn)者,集群會(huì)自動(dòng)創(chuàng)建
例子
package main import ( "fmt" "github.com/Shopify/sarama" cluster "github.com/bsm/sarama-cluster" "time" ) var ( Consumer *cluster.Consumer producer sarama.SyncProducer brokers = []string{"ip1:9092","ip2:9092","ip3:9092"} topic = "testGo" groupId = "testGo_test1" ) func initProducer() { var err error config := sarama.NewConfig() config.Producer.RequiredAcks = sarama.WaitForLocal config.Producer.Retry.Max = 3 config.Producer.Return.Successes = true brokers := brokers producer, err = sarama.NewSyncProducer(brokers,config) if err != nil { fmt.Printf("生產(chǎn)者初始化失敗 -> %v \n", err) panic(err) } fmt.Println("生產(chǎn)者初始化成功。") } func initConsumer() { var err error config := cluster.NewConfig() config.Consumer.Group.Rebalance.Strategy = sarama.BalanceStrategyRange config.Consumer.Offsets.Initial = sarama.OffsetNewest Consumer, err = cluster.NewConsumer(brokers,groupId,[]string{topic},config) if err != nil { fmt.Printf("消費(fèi)者初始化失敗 -> %v \n", err) panic(err.Error()) } if Consumer == nil { panic(fmt.Sprintf("消費(fèi)者為空. kafka info -> {brokers:%v, topic: %v, group: %v}", brokers, topic, groupId)) } fmt.Printf("消費(fèi)者初始化成功, consumer -> %v, topic -> %v, ", Consumer, topic) } func main() { initProducer() initConsumer() //生產(chǎn)消息 for i := 1;i < 100; i ++ { pid, offset, err := producer.SendMessage(&sarama.ProducerMessage{ Topic: topic, Key: sarama.StringEncoder(i), Value: sarama.ByteEncoder("this is test message."), }) if err != nil { fmt.Println("發(fā)送消息失敗, err:", err) return } fmt.Printf("offset: %v\n", offset) } time.Sleep(2 * time.Second) //消費(fèi)消息 for { select { case msg, ok := <-Consumer.Messages(): if ok { fmt.Printf("kafka msg: %s \n", msg.Value) } } } }
運(yùn)行結(jié)果如下
該demo流程如下
- 引入單機(jī)sarama庫(kù)和集群sarama庫(kù)
- 定義連接變量
- 使用單sarama庫(kù)實(shí)例化一個(gè)生產(chǎn)者
- 使用集群sarama庫(kù)實(shí)例化一個(gè)消費(fèi)者
- 循環(huán)100次發(fā)送100條消息
- 使用sarama自帶的生產(chǎn)消息構(gòu)造器設(shè)置消息內(nèi)容
- 使用for讓進(jìn)程一直監(jiān)聽(tīng)來(lái)自kafka的消息
以上就是Go語(yǔ)言kafka生產(chǎn)消費(fèi)消息實(shí)例搬磚的詳細(xì)內(nèi)容,更多關(guān)于Go語(yǔ)言kafka生產(chǎn)消費(fèi)消息的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Golang程序中使用Prometheus的client_golang庫(kù)
這篇文章主要介紹了Golang程序中使用Prometheus的client_golang庫(kù),Prometheus 是一個(gè)開(kāi)源的監(jiān)控和警報(bào)工具包,用于收集和處理應(yīng)用程序和系統(tǒng)的指標(biāo)數(shù)據(jù)。Prometheus 提供了多種客戶端庫(kù),可以輕松地集成到各種編程語(yǔ)言中2023-04-04基于Go語(yǔ)言實(shí)現(xiàn)應(yīng)用IP防火墻
在公司里面經(jīng)常會(huì)聽(tīng)到某應(yīng)用有安全漏洞問(wèn)題,沒(méi)有做安全加固,IP防火墻就是一個(gè)典型的安全加固解決方案,下面我們就來(lái)學(xué)習(xí)一下如何使用go語(yǔ)言實(shí)現(xiàn)IP防火墻吧2023-11-11Go語(yǔ)言繼承功能使用結(jié)構(gòu)體實(shí)現(xiàn)代碼重用
今天我來(lái)給大家介紹一下在?Go?語(yǔ)言中如何實(shí)現(xiàn)類似于繼承的功能,讓我們的代碼更加簡(jiǎn)潔和可重用,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2024-01-01xorm根據(jù)數(shù)據(jù)庫(kù)生成go model文件的操作
這篇文章主要介紹了xorm根據(jù)數(shù)據(jù)庫(kù)生成go model文件的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-12-12使用Golang創(chuàng)建單獨(dú)的WebSocket會(huì)話
WebSocket是一種在Web開(kāi)發(fā)中非常常見(jiàn)的通信協(xié)議,它提供了雙向、持久的連接,適用于實(shí)時(shí)數(shù)據(jù)傳輸和實(shí)時(shí)通信場(chǎng)景,本文將介紹如何使用 Golang 創(chuàng)建單獨(dú)的 WebSocket 會(huì)話,包括建立連接、消息傳遞和關(guān)閉連接等操作,需要的朋友可以參考下2023-12-12Goland IDEA項(xiàng)目多開(kāi)設(shè)置方式
這篇文章主要介紹了Goland IDEA項(xiàng)目多開(kāi)設(shè)置方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-12-12Golang中g(shù)oroutine和channel使用介紹深入分析
一次只做一件事情并不是完成任務(wù)最快的方法,一些大的任務(wù)可以拆解成若干個(gè)小任務(wù),goroutine可以讓程序同時(shí)處理幾個(gè)不同的任務(wù),goroutine使用channel來(lái)協(xié)調(diào)它們的工作,channel允許goroutine互相發(fā)送數(shù)據(jù)并同步,這樣一個(gè)goroutine就不會(huì)領(lǐng)先于另一個(gè)goroutine2023-01-01