本文首先用大白話給大家介紹一下etcd是什么？這部分內(nèi)容網(wǎng)上已經(jīng)有很多了。

etcd有哪些應(yīng)用場景？這些應(yīng)用場景的核心原理是什么？

最后不能光動(dòng)嘴不動(dòng)手。先搭建一個(gè)etcd單機(jī)版，再使用java的客戶端操作etcd數(shù)據(jù)。

本文旨在幫助大家理解etcd，從宏觀角度俯瞰etcd全局，掌握etcd的基本操作技能。

一、白話etcd與zookeeper

用過linux的朋友請(qǐng)舉手，好的，我看見了！在 linux 中所有自動(dòng)安裝的系統(tǒng)軟件配置文件都存儲(chǔ)在一個(gè)名為/etc的目錄中。“d”表示**「distributed」分布式，etcd為分布式模型，所以etcd的核心應(yīng)用場景是：「分布式系統(tǒng)的配置信息存儲(chǔ)」**。

網(wǎng)上很多文章上來第一句話照搬英文官網(wǎng)：「etcd 是一個(gè)高度一致的分布式鍵值存儲(chǔ)系統(tǒng)」。很多朋友看完就問了，這玩意和redis有啥區(qū)別？筆者要說，真的不要這么比，etcd從名字上就已經(jīng)告訴你了，它是存儲(chǔ)配置信息(元數(shù)據(jù))的。和redis在架構(gòu)應(yīng)用上就不在一個(gè)層面，它對(duì)標(biāo)的產(chǎn)品應(yīng)該是zookeeper。雖然zookeeper在很多java的分布式系統(tǒng)的應(yīng)用中比較廣泛，但是etcd作為后起之秀，乘kubernetes的東風(fēng)，大有超越zookeeper的趨勢(shì)。

• zookeeper是使用java寫的， etcd是使用go語言編寫的。zookeeper使用了TCP協(xié)議，其交互報(bào)文規(guī)則是完全自定義的，如果不使用zookeeper提供的SDK就無法操作數(shù)據(jù)。而etcd使用的是google的gRPC協(xié)議，普適性更好一些。
• zookeeper對(duì)于一次請(qǐng)求，開啟一個(gè)socket進(jìn)行監(jiān)聽。而etcd的監(jiān)聽管道channel可以反復(fù)被利用，從IO性能到系統(tǒng)資源的利用的角度，etcd無疑是更優(yōu)秀的。
• zookeeper使用zab協(xié)議保證集群節(jié)點(diǎn)配置信息的一致性，etcd使用raft協(xié)議。期望詳細(xì)了解raft協(xié)議的，點(diǎn)擊《raft協(xié)議中文介紹》。

「大部分功能和zookeeper都是一樣的，目前看java程序員用zookeeper的更多，其他程序員用etcd更多。都是基于習(xí)慣，但筆者推薦etcd。」

二、etcd的4個(gè)核心機(jī)制

etcd以key-value的形式進(jìn)行數(shù)據(jù)的存儲(chǔ). 配合下面的這四種機(jī)制,使得etcd的應(yīng)用場景更加的廣泛.

• 「Prefix 機(jī)制」：即前綴機(jī)制，也稱**「目錄機(jī)制」**，客戶端向etcd放入2個(gè)鍵值對(duì)配置, 假如一個(gè)key是“/test/key1" , 另一個(gè)key是"/test/key2". 則通過前綴"/test"查詢etcd，返回一個(gè)列表包含key為“/test/key1" 和"/test/key2"的鍵值對(duì)數(shù)據(jù)；
• 「Watch 機(jī)制」：即監(jiān)聽機(jī)制，watch機(jī)制針對(duì)某個(gè)key進(jìn)行監(jiān)聽,也支持針對(duì)前綴進(jìn)行范圍監(jiān)聽. 當(dāng)被監(jiān)聽的key 或前綴范圍發(fā)生變化的時(shí)候，客戶端會(huì)收到變更通知；
• 「Lease 機(jī)制」：即租約機(jī)制（TTL，Time To Live），支持為key-value增加一個(gè)存活時(shí)間,超過這個(gè)時(shí)間key-value將過期被刪除. 支持解約(刪除key-value),續(xù)約(增加TTL時(shí)間)等操作.
• 「Revision 機(jī)制」：每個(gè)key帶有一個(gè) 全局唯一的Revision 號(hào)，每一次事務(wù)加1，它是全局唯一的，所以通過Revision可以判定數(shù)據(jù)寫操作的順序,對(duì)于實(shí)現(xiàn)分布式鎖和隊(duì)列非常有幫助.

三、Leader選舉與客戶端交互

使用etcd的時(shí)候，為了保證高可用，通常采用集群的部署方式。部署奇數(shù)個(gè)節(jié)點(diǎn)，通常建議是3個(gè)或5個(gè)，因?yàn)閑tcd集群之間需要**「通過網(wǎng)絡(luò)交互保證配置信息的一致性」**。分布式多節(jié)點(diǎn)保證了高可用，但是節(jié)點(diǎn)太多了也不好，越多的節(jié)點(diǎn)網(wǎng)絡(luò)消耗越大。至于為什么是奇數(shù)個(gè)？這就涉及到Leader選舉的問題，奇數(shù)個(gè)方便投票出結(jié)果。

etcd使用raft算法保證集群內(nèi)各個(gè)節(jié)點(diǎn)之間數(shù)據(jù)一致性。raft算法將集群內(nèi)的節(jié)點(diǎn)分為Leader, Follower, Candidate(候選人)這三個(gè)角色。

• 集群初始化的時(shí)候，每個(gè)節(jié)點(diǎn)都是Follower角色。通過raft算法選舉投票，選出一個(gè)節(jié)點(diǎn)作為Leader。
• Leader作為主節(jié)點(diǎn)，與其他節(jié)點(diǎn)維持心跳，并同步數(shù)據(jù)至其他節(jié)點(diǎn)。
• 當(dāng)Follower一段時(shí)間內(nèi)沒有收到leader的心跳，就會(huì)將自己角色改為Candidate候選者，并發(fā)起一次新的選舉，選舉新的Leader。

客戶端在操作etcd集群數(shù)據(jù)的時(shí)候：

• 讀操作：客戶端可以訪問任意節(jié)點(diǎn)進(jìn)行數(shù)據(jù)的讀操作
• 寫操作：客戶端訪問任意節(jié)點(diǎn)進(jìn)行寫操作，如果該節(jié)點(diǎn)是Follower，則將請(qǐng)求轉(zhuǎn)發(fā)給Leader。由Leader負(fù)責(zé)數(shù)據(jù)的寫操作(增刪改)，將數(shù)據(jù)持久化，并向Follower發(fā)送同步數(shù)據(jù)的消息。

四、etcd的應(yīng)用場景

4.1. kubernetes大腦

目前，etcd的最典型的應(yīng)用場景就是作為Kubernetes 集群的大腦。

如果把kubernetes比作一個(gè)大飯店，那么etcd就是這個(gè)飯店的進(jìn)銷存+客戶關(guān)系管理系統(tǒng)。

• kubernetes作為容器編排服務(wù)，將面向客戶提供的各種服務(wù)進(jìn)行合理的資源分配，服務(wù)編排。
• 不可避免地，有一些kubernetes集群的配置和狀態(tài)數(shù)據(jù)，例如 pod 的數(shù)量、它們的狀態(tài)、命名空間等。需要有一個(gè)統(tǒng)一的記錄、管理的地方，它就是etcd。

最重要的是：「etcd具備watch監(jiān)聽的功能，一旦某個(gè)配置或者某個(gè)狀態(tài)發(fā)生變更，集群內(nèi)所有的服務(wù)全都可以通過watch監(jiān)聽機(jī)制實(shí)時(shí)獲取到消息，進(jìn)而做出進(jìn)一步的響應(yīng)。」  幾乎etcd的所有應(yīng)用場景，都是基于watch監(jiān)聽機(jī)制產(chǎn)生的，包括我們后面為大家介紹的服務(wù)注冊(cè)發(fā)現(xiàn)和訂閱通知。

4.2. 服務(wù)注冊(cè)與發(fā)現(xiàn)

其實(shí)kubernetes也利用etcd實(shí)現(xiàn)服務(wù)注冊(cè)發(fā)現(xiàn)機(jī)制，但是上面的那張圖不太好說明，我新畫了兩張圖說明etcd在實(shí)現(xiàn)服務(wù)注冊(cè)發(fā)現(xiàn)機(jī)制中的作用。

所謂的服務(wù)注冊(cè)實(shí)現(xiàn)原理就是：服務(wù)在啟動(dòng)的時(shí)候，向etcd寫入一條配置數(shù)據(jù)，該條配置數(shù)據(jù)說明自己的服務(wù)名稱，服務(wù)ip地址，服務(wù)端口等信息。

所謂的服務(wù)發(fā)現(xiàn)實(shí)現(xiàn)原理舉例：服務(wù)C的某個(gè)實(shí)例希望訪問服務(wù)A，服務(wù)C向etcd詢問服務(wù)A的訪問地址，etcd響應(yīng)結(jié)果：服務(wù)A有三個(gè)實(shí)例，地址列表如：xxx.xxx.xxx.xxx:端口、yyy.yyy.yyy.yyy:端口，zzz.zzz.zzz.zzz:端口。服務(wù)C不需要訪問三個(gè)實(shí)例，訪問其中一個(gè)就可以得到結(jié)果，所以它按照自己的負(fù)載均衡算法選了一個(gè)，這個(gè)就叫做：客戶端負(fù)載均衡。

4.3. 健康檢查與狀態(tài)變更通知

銜接上文：「服務(wù)C下一次訪問服務(wù)A的時(shí)候，還需要訪問etcd么？答案是不需要」，它訪問過一次之后，就會(huì)自己維護(hù)一個(gè)服務(wù)A訪問地址的列表，**「除非這個(gè)列表發(fā)生變化，否則是不會(huì)再次去詢問etcd的?！?*那么一個(gè)服務(wù)怎么知道另一個(gè)服務(wù)的列表發(fā)生變化呢？比如：服務(wù)A的實(shí)例注冊(cè)狀態(tài)發(fā)生變化。可能是由于某種原因掛掉了，可能是OOM或者是網(wǎng)絡(luò)問題等。

• 服務(wù)在注冊(cè)到etcd之后，會(huì)保存一個(gè)關(guān)于該服務(wù)的注冊(cè)配置信息，該注冊(cè)配置信息由一個(gè)TTL，etcd同時(shí)會(huì)與該服務(wù)維持心跳。一旦超過TTL時(shí)間，無法得到服務(wù)的心跳響應(yīng)，etcd就認(rèn)為該節(jié)點(diǎn)的健康狀態(tài)出現(xiàn)了問題，就會(huì)將該節(jié)點(diǎn)下線（注冊(cè)配置信息刪除）。
• 服務(wù)在注冊(cè)到etcd之后，會(huì)保持對(duì)etcd狀態(tài)數(shù)據(jù)變更的監(jiān)聽，一旦獲取監(jiān)聽結(jié)果：服務(wù)A的實(shí)例狀態(tài)發(fā)生變更，該服務(wù)就會(huì)從etcd重新拉取服務(wù)A的注冊(cè)列表。

4.4.分布式鎖

跨進(jìn)程跨系統(tǒng)的多線程操作公共資源，發(fā)生多線程競爭，為了避免線程不安全，需要使用分布式鎖。如果多線程在單個(gè)進(jìn)程內(nèi)發(fā)生資源競爭，就是用Lock就可以了，不需要分布式鎖。比如：你在mysql庫里面有一個(gè)用戶余額數(shù)據(jù)，多個(gè)進(jìn)程內(nèi)的線程同時(shí)更改這個(gè)值，可能發(fā)生并發(fā)的數(shù)據(jù)覆蓋。為了避免這樣的問題，多個(gè)進(jìn)程排排隊(duì)，A先來，A釋放了鎖B再來，B釋放了鎖C再來。

舉例：上圖的3個(gè)client代表三個(gè)服務(wù)，都要操作某個(gè)資源數(shù)據(jù)。

• 在嘗試調(diào)用加鎖API的時(shí)候，client1獲取到的revision=1,它優(yōu)先獲得加鎖的資格。加鎖就是加一個(gè)帶有revision的配置記錄。其他的所有的服務(wù)，都通過watch機(jī)制監(jiān)聽鎖的釋放。
• client在嘗試調(diào)用加鎖API的時(shí)候，被分配了revision。并且按照revision進(jìn)行了排序，監(jiān)聽距離自己revision差值最小，而且小于自己的Revision，不會(huì)產(chǎn)生驚群效應(yīng)。

4.5.實(shí)現(xiàn)消息隊(duì)列(純扯淡)

我覺得使用etcd實(shí)現(xiàn)消息隊(duì)列，是一種純扯淡的做法。如果大家有什么異議，歡迎留言！

不是說做不了，確實(shí)寫個(gè)demo是可以的。往etcd里面放數(shù)據(jù)，再通過watch機(jī)制進(jìn)行監(jiān)聽，這不就是一個(gè)典型的消息隊(duì)列么？扯淡！如果我只為了實(shí)現(xiàn)消息數(shù)據(jù)的發(fā)布訂閱，其實(shí)有很多辦法，我還用搭一個(gè)etcd集群？Spring的Event機(jī)制，java的響應(yīng)式編程，哪怕自己搞一個(gè)BlockQueue呢，是不是都能實(shí)現(xiàn)消息的發(fā)布訂閱。

我們之所以使用kafka、RocketMQ這樣的消息隊(duì)列，肯定是因?yàn)槲覀兊漠惒綌?shù)據(jù)達(dá)到一定的規(guī)模了。達(dá)到規(guī)模的異步消息數(shù)據(jù)傳遞根本就不是etcd的應(yīng)用場景，正如本文開頭所述：別忘了它叫做etc阿就d，「它就是一個(gè)為分布式系統(tǒng)存儲(chǔ)配置信息的，不是消息中間件?！?/strong>

tar zxvf etcd-v3.5.4-linux-amd64.tar.gz;
cd etcd-v3.5.4-linux-amd64;
cp etcd etcdctl /usr/local/bin/;

/usr/local/bin/etcd --version

/usr/local/bin/etcd  --listen-client-urls 'http://0.0.0.0:2379' --advertise-client-urls 'http://0.0.0.0:2379'

# /usr/local/bin/etcdctl put /dir1 aaa
OK
# /usr/local/bin/etcdctl get /dir1
/dir1
aaa

<dependency>
    <groupId>io.etcd</groupId>
    <artifactId>jetcd-core</artifactId>
    <version>0.3.0</version>
</dependency>

import io.etcd.jetcd.ByteSequence;
import io.etcd.jetcd.Client;
import io.etcd.jetcd.KV;
import io.etcd.jetcd.kv.GetResponse;
import io.etcd.jetcd.kv.PutResponse;
import org.junit.jupiter.api.*;

import java.nio.charset.StandardCharsets;
import java.util.concurrent.CompletableFuture;
import java.util.concurrent.ExecutionException;

import static junit.framework.TestCase.assertNotNull;

//這個(gè)注解配合函數(shù)的Order注解,決定測試用例函數(shù)的執(zhí)行順序
@TestMethodOrder(MethodOrderer.OrderAnnotation.class)
public class EtcdTest {
  private static Client etcdClient;

  @BeforeAll
  static void  init(){
    etcdClient = Client.builder()
             //這里的etcd服務(wù)列表可以寫多個(gè),用逗號(hào)分隔
            .endpoints("http://192.168.161.3:2379".split(","))
            .build();
  }

  @Test
  @Order(1)
  @DisplayName("etcd寫配置操作")
  void putKV() throws ExecutionException, InterruptedException {
    KV kv = etcdClient.getKVClient();
    ByteSequence key = ByteSequence.from("key-str", StandardCharsets.UTF_8);
    ByteSequence value = ByteSequence.from("value-str", StandardCharsets.UTF_8);
    //put key-value配置信息
    CompletableFuture<PutResponse> putRsp = kv.put(key,value);
    assertNotNull(putRsp.get().getHeader());
  }


  @Test
  @Order(2)
  @DisplayName("etcd讀配置操作")
  void getKV() throws ExecutionException, InterruptedException {
    KV kv = etcdClient.getKVClient();
    ByteSequence key = ByteSequence.from("key-str", StandardCharsets.UTF_8);
    //通過key獲取值
    CompletableFuture<GetResponse> getRsp = kv.get(key);
    String getBackValue = getRsp.get().getKvs().get(0).getValue().toString(StandardCharsets.UTF_8);
    System.out.println("從etcd通過key獲取value值為：" + getBackValue);
  }


  @Test
  @Order(3)
  @DisplayName("刪除配置操作")
  void deleteKV() {
    KV kv = etcdClient.getKVClient();
    ByteSequence key = ByteSequence.from("key-str", StandardCharsets.UTF_8);
    //通過key刪除數(shù)據(jù)
    kv.delete(key);
  }
}

//租約
Lease lease=etcdClient.getLeaseClient();
//監(jiān)聽
Watch watch =etcdClient.getWatchClient();
//選舉
Election election =etcdClient.getElectionClient();
//鎖
Lock lock=etcdClient.getLockClient();