Go操作etcd的實現示例
etcd是近幾年比較火熱的一個開源的、分布式的鍵值對數據存儲系統，提供共享配置、服務的注冊和發(fā)現，本文主要介紹etcd的安裝和使用。
etcdetcd介紹
etcd是使用Go語言開發(fā)的一個開源的、高可用的分布式key-value存儲系統，可以用于配置共享和服務的注冊和發(fā)現。
類似項目有zookeeper和consul。
etcd具有以下特點：
- 完全復制：集群中的每個節(jié)點都可以使用完整的存檔
- 高可用性：Etcd可用于避免硬件的單點故障或網絡問題
- 一致性：每次讀取都會返回跨多主機的最新寫入
- 簡單：包括一個定義良好、面向用戶的API（gRPC）
- 安全：實現了帶有可選的客戶端證書身份驗證的自動化TLS
- 快速：每秒10000次寫入的基準速度
- 可靠：使用Raft算法實現了強一致、高可用的服務存儲目錄
etcd應用場景
服務發(fā)現
服務發(fā)現要解決的也是分布式系統中最常見的問題之一，即在同一個分布式集群中的進程或服務，要如何才能找到對方并建立連接。本質上來說，服務發(fā)現就是想要了解集群中是否有進程在監(jiān)聽 udp 或 tcp 端口，并且通過名字就可以查找和連接。
配置中心
將一些配置信息放到 etcd 上進行集中管理。
這類場景的使用方式通常是這樣：應用在啟動的時候主動從 etcd 獲取一次配置信息，同時，在 etcd 節(jié)點上注冊一個 Watcher 并等待，以后每次配置有更新的時候，etcd 都會實時通知訂閱者，以此達到獲取最新配置信息的目的。
分布式鎖
因為 etcd 使用 Raft 算法保持了數據的強一致性，某次操作存儲到集群中的值必然是全局一致的，所以很容易實現分布式鎖。鎖服務有兩種使用方式，一是保持獨占，二是控制時序。
保持獨占即所有獲取鎖的用戶最終只有一個可以得到。etcd 為此提供了一套實現分布式鎖原子操作 CAS（CompareAndSwap）的 API。通過設置prevExist值，可以保證在多個節(jié)點同時去創(chuàng)建某個目錄時，只有一個成功。而創(chuàng)建成功的用戶就可以認為是獲得了鎖。
控制時序，即所有想要獲得鎖的用戶都會被安排執(zhí)行，但是獲得鎖的順序也是全局唯一的，同時決定了執(zhí)行順序。etcd 為此也提供了一套 API（自動創(chuàng)建有序鍵），對一個目錄建值時指定為POST動作，這樣 etcd 會自動在目錄下生成一個當前最大的值為鍵，存儲這個新的值（客戶端編號）。同時還可以使用 API 按順序列出所有當前目錄下的鍵值。此時這些鍵的值就是客戶端的時序，而這些鍵中存儲的值可以是代表客戶端的編號。
為什么用 etcd 而不用ZooKeeper？
etcd 實現的這些功能，ZooKeeper都能實現。那么為什么要用 etcd 而非直接使用ZooKeeper呢？
為什么不選擇ZooKeeper？
- 部署維護復雜，其使用的
Paxos強一致性算法復雜難懂。官方只提供了Java和C兩種語言的接口。 - 使用
Java編寫引入大量的依賴。運維人員維護起來比較麻煩。 - 最近幾年發(fā)展緩慢，不如
etcd和consul等后起之秀。
為什么選擇etcd？
- 簡單。使用 Go 語言編寫部署簡單；支持HTTP/JSON API,使用簡單；使用 Raft 算法保證強一致性讓用戶易于理解。
- etcd 默認數據一更新就進行持久化。
- etcd 支持 SSL 客戶端安全認證。
最后，etcd 作為一個年輕的項目，正在高速迭代和開發(fā)中，這既是一個優(yōu)點，也是一個缺點。優(yōu)點是它的未來具有無限的可能性，缺點是無法得到大項目長時間使用的檢驗。然而，目前 CoreOS、Kubernetes和CloudFoundry等知名項目均在生產環(huán)境中使用了etcd，所以總的來說，etcd值得你去嘗試。
etcd集群
etcd 作為一個高可用鍵值存儲系統，天生就是為集群化而設計的。由于 Raft 算法在做決策時需要多數節(jié)點的投票，所以 etcd 一般部署集群推薦奇數個節(jié)點，推薦的數量為 3、5 或者 7 個節(jié)點構成一個集群。
搭建一個3節(jié)點集群示例：
在每個etcd節(jié)點指定集群成員，為了區(qū)分不同的集群最好同時配置一個獨一無二的token。
下面是提前定義好的集群信息，其中n1、n2和n3表示3個不同的etcd節(jié)點。
TOKEN=token-01 CLUSTER_STATE=new CLUSTER=n1=http://10.240.0.17:2380,n2=http://10.240.0.18:2380,n3=http://10.240.0.19:2380
在n1這臺機器上執(zhí)行以下命令來啟動etcd：
etcd --data-dir=data.etcd --name n1 \
--initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
--advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
--initial-cluster ${CLUSTER} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
在n2這臺機器上執(zhí)行以下命令啟動etcd：
etcd --data-dir=data.etcd --name n2 \
--initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
--advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
--initial-cluster ${CLUSTER} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
在n3這臺機器上執(zhí)行以下命令啟動etcd：
etcd --data-dir=data.etcd --name n3 \
--initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
--advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http://10.240.0.19:2379 \
--initial-cluster ${CLUSTER} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
etcd 官網提供了一個可以公網訪問的 etcd 存儲地址。你可以通過如下命令得到 etcd 服務的目錄，并把它作為-discovery參數使用。
curl https://discovery.etcd.io/new?size=3
https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92
# grab this token
TOKEN=token-01
CLUSTER_STATE=new
DISCOVERY=https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92
etcd --data-dir=data.etcd --name n1 \
--initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
--advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
--discovery ${DISCOVERY} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
etcd --data-dir=data.etcd --name n2 \
--initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
--advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
--discovery ${DISCOVERY} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
etcd --data-dir=data.etcd --name n3 \
--initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
--advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http:/10.240.0.19:2379 \
--discovery ${DISCOVERY} \
--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}
到此etcd集群就搭建起來了，可以使用etcdctl來連接etcd。
export ETCDCTL_API=3 HOST_1=10.240.0.17 HOST_2=10.240.0.18 HOST_3=10.240.0.19 ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379 etcdctl --endpoints=$ENDPOINTS member lis
Go語言操作etcd
這里使用官方的etcd/clientv3包來連接etcd并進行相關操作。
安裝
go get go.etcd.io/etcd/clientv3
put和get操作
put命令用來設置鍵值對數據，get命令用來根據key獲取值。
package main
import (
"context"
"fmt"
"time"
"go.etcd.io/etcd/clientv3"
)
// etcd client put/get demo
// use etcd/clientv3
func main() {
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"127.0.0.1:2379"},
DialTimeout: 5 * time.Second,
})
if err != nil {
// handle error!
fmt.Printf("connect to etcd failed, err:%v\n", err)
return
}
fmt.Println("connect to etcd success")
defer cli.Close()
// put
ctx, cancel := context.WithTimeout(context.Background(), time.Second)
_, err = cli.Put(ctx, "q1mi", "dsb")
cancel()
if err != nil {
fmt.Printf("put to etcd failed, err:%v\n", err)
return
}
// get
ctx, cancel = context.WithTimeout(context.Background(), time.Second)
resp, err := cli.Get(ctx, "q1mi")
cancel()
if err != nil {
fmt.Printf("get from etcd failed, err:%v\n", err)
return
}
for _, ev := range resp.Kvs {
fmt.Printf("%s:%s\n", ev.Key, ev.Value)
}
}
watch操作
watch用來獲取未來更改的通知。
package main
import (
"context"
"fmt"
"time"
"go.etcd.io/etcd/clientv3"
)
// watch demo
func main() {
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"127.0.0.1:2379"},
DialTimeout: 5 * time.Second,
})
if err != nil {
fmt.Printf("connect to etcd failed, err:%v\n", err)
return
}
fmt.Println("connect to etcd success")
defer cli.Close()
// watch key:q1mi change
rch := cli.Watch(context.Background(), "q1mi") // <-chan WatchResponse
for wresp := range rch {
for _, ev := range wresp.Events {
fmt.Printf("Type: %s Key:%s Value:%s\n", ev.Type, ev.Kv.Key, ev.Kv.Value)
}
}
}
將上面的代碼保存編譯執(zhí)行，此時程序就會等待etcd中q1mi這個key的變化。
例如：我們打開終端執(zhí)行以下命令修改、刪除、設置q1mi這個key。
etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb2" OK etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 del q1mi 1 etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb3" OK
上面的程序都能收到如下通知。
watch>watch.exe connect to etcd success Type: PUT Key:q1mi Value:dsb2 Type: DELETE Key:q1mi Value: Type: PUT Key:q1mi Value:dsb3
lease租約
package main
import (
"fmt"
"time"
)
// etcd lease
import (
"context"
"log"
"go.etcd.io/etcd/clientv3"
)
func main() {
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"127.0.0.1:2379"},
DialTimeout: time.Second * 5,
})
if err != nil {
log.Fatal(err)
}
fmt.Println("connect to etcd success.")
defer cli.Close()
// 創(chuàng)建一個5秒的租約
resp, err := cli.Grant(context.TODO(), 5)
if err != nil {
log.Fatal(err)
}
// 5秒鐘之后, /nazha/ 這個key就會被移除
_, err = cli.Put(context.TODO(), "/nazha/", "dsb", clientv3.WithLease(resp.ID))
if err != nil {
log.Fatal(err)
}
}
keepAlive
package main
import (
"context"
"fmt"
"log"
"time"
"go.etcd.io/etcd/clientv3"
)
// etcd keepAlive
func main() {
cli, err := clientv3.New(clientv3.Config{
Endpoints: []string{"127.0.0.1:2379"},
DialTimeout: time.Second * 5,
})
if err != nil {
log.Fatal(err)
}
fmt.Println("connect to etcd success.")
defer cli.Close()
resp, err := cli.Grant(context.TODO(), 5)
if err != nil {
log.Fatal(err)
}
_, err = cli.Put(context.TODO(), "/nazha/", "dsb", clientv3.WithLease(resp.ID))
if err != nil {
log.Fatal(err)
}
// the key 'foo' will be kept forever
ch, kaerr := cli.KeepAlive(context.TODO(), resp.ID)
if kaerr != nil {
log.Fatal(kaerr)
}
for {
ka := <-ch
fmt.Println("ttl:", ka.TTL)
}
}
基于etcd實現分布式鎖
go.etcd.io/etcd/clientv3/concurrency在etcd之上實現并發(fā)操作，如分布式鎖、屏障和選舉。
導入該包：
import "go.etcd.io/etcd/clientv3/concurrency"
基于etcd實現的分布式鎖示例：
cli, err := clientv3.New(clientv3.Config{Endpoints: endpoints})
if err != nil {
log.Fatal(err)
}
defer cli.Close()
// 創(chuàng)建兩個單獨的會話用來演示鎖競爭
s1, err := concurrency.NewSession(cli)
if err != nil {
log.Fatal(err)
}
defer s1.Close()
m1 := concurrency.NewMutex(s1, "/my-lock/")
s2, err := concurrency.NewSession(cli)
if err != nil {
log.Fatal(err)
}
defer s2.Close()
m2 := concurrency.NewMutex(s2, "/my-lock/")
// 會話s1獲取鎖
if err := m1.Lock(context.TODO()); err != nil {
log.Fatal(err)
}
fmt.Println("acquired lock for s1")
m2Locked := make(chan struct{})
go func() {
defer close(m2Locked)
// 等待直到會話s1釋放了/my-lock/的鎖
if err := m2.Lock(context.TODO()); err != nil {
log.Fatal(err)
}
}()
if err := m1.Unlock(context.TODO()); err != nil {
log.Fatal(err)
}
fmt.Println("released lock for s1")
<-m2Locked
fmt.Println("acquired lock for s2")
輸出：
acquired lock for s1
released lock for s1
acquired lock for s2
其他操作
其他操作請查看etcd/clientv3官方文檔。
參考鏈接：
https://etcd.io/docs/v3.3.12/demo/
https://www.infoq.cn/article/etcd-interpretation-application-scenario-implement-principle/ 代碼改變世界，腳踏實地，python、Golang。
到此這篇關于Go操作etcd的實現示例的文章就介紹到這了,更多相關Go操作etcd內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Golang多線程爬蟲是一種高效抓取大量數據的利器。Golang語言天生支持并發(fā)和多線程，可以輕松實現多線程爬蟲的開發(fā)。通過使用Golang的協程和通道，可以實現爬蟲的高效并發(fā)抓取、數據處理和存儲2023-05-05
在互聯網技術日益發(fā)展的背景下,Go語言憑借并發(fā)處理能力,在后端開發(fā)中大放異彩,本文詳細介紹如何使用Go語言對接微信支付,完成支付和退款功能,包括準備工作、初始化微信支付客戶端、實現支付功能,以及處理支付回調和退款等2024-10-10
Go語言中,切片可通過直接初始化、數組初始化、切片表達式等多種方法進行初始化,這些方式提供了靈活的數據管理方式,適合不同的編程需求和場景,感興趣的可以了解一下2024-10-10
在本文中，我們將深入探討 flag 標準庫的實現原理和使用技巧，以幫助讀者更好地理解和掌握該庫的使用方法，文中的示例代碼講解詳細，感興趣的可以了解一下2023-04-04
這篇文章主要介紹了go語言實現Git?重命名遠程分支，文章基于go語言的基礎展開Git?重命名遠程分支的實現過程，需要的小伙伴可以參考一下，希望對你的學習有所幫助2022-06-06
逃逸分析是指由編譯器決定內存分配的位置，不需要程序員指定，這篇文章主要為大家詳細介紹了Golang中內存逃逸分析的幾種方法，需要的可以參考一下2023-07-07
這篇文章主要給大家介紹了關于golang開啟mod后import報紅的簡單解決方案,文中通過圖文將解決的辦法介紹的非常詳細,對大家的學習或者工作具有一定的參考借鑒價值,需要的朋友可以參考下2024-01-01
關于Golang中for-loop與goroutine的問題詳解
這篇文章主要給大家介紹了關于Golang中for-loop與goroutine問題的相關資料，文中通過示例代碼介紹的非常詳細，對大家學習或者使用golang具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧。2017-09-09
前面給大家介紹過使用javascript實現的簡單的數獨解法，小伙伴們都非常喜歡，今天我們再來分享一則go語言實現的簡單的數獨解法，有需要的小伙伴來參考下。2015-03-03
golang如何通過viper讀取config.yaml文件
這篇文章主要介紹了golang通過viper讀取config.yaml文件，圍繞golang讀取config.yaml文件的相關資料展開詳細內容，需要的小伙伴可以參考一下2022-03-03