SpringCloudGateway?Nacos?GitlabRunner全自動(dòng)灰度服務(wù)搭建發(fā)布
1 | 業(yè)務(wù)場(chǎng)景說明
要實(shí)現(xiàn)的業(yè)務(wù)場(chǎng)景:
- 可以根據(jù)單個(gè)用戶id或者批量用戶id,判斷是否需要灰度該用戶/批量用戶
- 可以根據(jù)請(qǐng)求頭字段(可動(dòng)態(tài)設(shè)定的任意kv),判斷是否需要走灰度服務(wù)
2 | 具體實(shí)現(xiàn)方案
這里采用 SpringCloudGateway(SCG) + Nacos + GitlabRunner 來實(shí)現(xiàn)整個(gè)自動(dòng)化的灰度發(fā)布。
- SCG:統(tǒng)一的流量入口 + 正常/灰度服務(wù)選擇分發(fā)邏輯處理
- Nacos:loadbalancer 提供方,通過 metadata 維護(hù)灰度服務(wù)
- GitlabRunner:灰度服務(wù)部署的自動(dòng)化 CICD Pipeline 處理
下面分別從以上這三個(gè)組件來搭建。
2.1 | SCG
直接上代碼,通過注釋講解。
- GrayLoadBalancerClientFilter: 自定義灰度服務(wù)負(fù)載均衡過濾器
/** * 通過GrayLoadBalancer過濾實(shí)例 */ @Component @Slf4j public class GrayLoadBalancerClientFilter implements GlobalFilter, Ordered { @Resource private LoadBalancerClientFactory clientFactory; @Resource private CustomProperty customProperty; @Override public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) { URI url = exchange.getAttribute(ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR); ServerWebExchangeUtils.addOriginalRequestUrl(exchange, url); if (url == null || BizConstant.HTTP.equalsIgnoreCase(url.getScheme())) { return chain.filter(exchange); } return doFilter(exchange, chain, url); } private Mono<Void> doFilter(ServerWebExchange exchange, GatewayFilterChain chain, URI url) { return this.choose(exchange).doOnNext(res -> { if (!res.hasServer()) { throw NotFoundException.create(true, "Unable to find instance for ".concat(url.getHost())); } URI uri = exchange.getRequest().getURI(); String overrideScheme = null; DelegatingServiceInstance delegatingServiceInstance = new DelegatingServiceInstance(res.getServer(), overrideScheme); URI reqUrl = this.reconstructURI(delegatingServiceInstance, uri); if (log.isDebugEnabled()) { log.debug("GrayLoadBalancerClientFilter url chosen: {}", reqUrl.toString()); } exchange.getAttributes().put(ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR, reqUrl); }).then(chain.filter(exchange)); } private URI reconstructURI(DelegatingServiceInstance delegatingServiceInstance, URI originalUri) { return LoadBalancerUriTools.reconstructURI(delegatingServiceInstance, originalUri); } private Mono<Response<ServiceInstance>> choose(ServerWebExchange exchange) { URI uri = exchange.getAttribute(ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR); if (uri == null) { throw new MMException("{} is null", ServerWebExchangeUtils.GATEWAY_REQUEST_URL_ATTR); } GrayLoadBalancer loadBalancer = new GrayLoadBalancer(clientFactory.getLazyProvider(uri.getHost(), ServiceInstanceListSupplier.class), uri.getHost(), customProperty); return loadBalancer.choose(this.createRequest(exchange)); } private Request createRequest(ServerWebExchange exchange) { return new DefaultRequest(exchange.getRequest().getHeaders()); } @Override public int getOrder() { return FILTER_ORDER_GRAY; } }
NOTE
FILTER_ORDER_GRAY 是一個(gè) int 常量,其值不能隨意定義(如-1,0,1,2之類)。從下表可以看到,SCG 的 LoadBalancerClientFilter 執(zhí)行順序是 10100,那么 GrayLoadBalancerClientFilter 的執(zhí)行順序必須 > 10100 (否則自定義的 Filter 里就會(huì)有變量未被賦值), 這里假定 FILTER_ORDER_GRAY = 10110
- GrayLoadBalancer: 灰度發(fā)布負(fù)載均衡策略
/** * 灰度發(fā)布負(fù)載均衡策略 */ @Slf4j public class GrayLoadBalancer implements ReactorServiceInstanceLoadBalancer { private ObjectProvider<ServiceInstanceListSupplier> serviceInstanceListSupplierProvider; private String serviceId; private CustomProperty customProperty; public GrayLoadBalancer(ObjectProvider<ServiceInstanceListSupplier> serviceInstanceListSupplierProvider, String serviceId, CustomProperty customProperty) { this.serviceId = serviceId; this.serviceInstanceListSupplierProvider = serviceInstanceListSupplierProvider; this.customProperty = customProperty; } @Override public Mono<Response<ServiceInstance>> choose(Request request) { HttpHeaders headers = (HttpHeaders) request.getContext(); if (this.serviceInstanceListSupplierProvider != null) { ServiceInstanceListSupplier supplier = this.serviceInstanceListSupplierProvider.getIfAvailable(NoopServiceInstanceListSupplier::new); return supplier.get().next().map(item -> getInstanceResponse(item, headers)); } return null; } private Response<ServiceInstance> getInstanceResponse(List<ServiceInstance> instances, HttpHeaders headers) { if (instances.isEmpty()) { return getServiceInstanceEmptyResponse(); } return getServiceInstanceResponseByUidsOrGrayTag(instances, headers); } /** * 從nacos獲取服務(wù)實(shí)例列表,并根據(jù)策略返回灰度服務(wù)的實(shí)例還是正常服務(wù)的實(shí)例 */ private Response<ServiceInstance> getServiceInstanceResponseByUidsOrGrayTag(List<ServiceInstance> instances, HttpHeaders headers) { List<ServiceInstance> grayInstances = new ArrayList<>(); List<ServiceInstance> normalInstances = new ArrayList<>(); for (ServiceInstance instance : instances) { Map<String, String> metadata = instance.getMetadata(); // nacos元數(shù)據(jù)包含“gray-tag”的key值,且value="true",則判定為灰度實(shí)例 String isGrayInstance = metadata.get(BizConstant.GRAY_TAG); if (BizConstant.TRUE.equals(isGrayInstance)) { grayInstances.add(instance); } else { normalInstances.add(instance); } } //沒有灰度服務(wù),直接返回 if (grayInstances.isEmpty()) { return new DefaultResponse(chooseOneInstance(normalInstances)); } //有灰度服務(wù),判斷是否需要灰度 if (checkIfNeedGray(headers)) { log.info("gray service of {} will be called", this.serviceId); return new DefaultResponse(chooseOneInstance(grayInstances)); } return new DefaultResponse(chooseOneInstance(normalInstances)); } /** * 從實(shí)例列表中獲取其中一個(gè)實(shí)例的策略實(shí)現(xiàn),這里采用的是隨機(jī)挑選 * pick strategy 可以根據(jù)業(yè)務(wù)需要,在這個(gè)方法里改寫 */ private ServiceInstance chooseOneInstance(List<ServiceInstance> serviceInstances) { // strategy 1:可用的里面隨機(jī)選擇一個(gè) int size = serviceInstances.size(); if (size == 1) { return serviceInstances.get(0); } Random rand = new Random(); int random = rand.nextInt(size); return serviceInstances.get(random); } /** * 灰度判斷邏輯: * 1. 判斷請(qǐng)求header里是否用灰度標(biāo)識(shí)的 kv,有則走灰度服務(wù) * 2. 如果 1 不滿足,則判斷請(qǐng)求的用戶 id 是否在灰度用戶池中,有則走灰度服務(wù) * 3. 1 和 2 都不滿足,走正常服務(wù) */ private boolean checkIfNeedGray(HttpHeaders headers) { String grayTag = headers.getFirst(BizConstant.GRAY_TAG); if (grayTag != null) { if (BizConstant.TRUE.equalsIgnoreCase(grayTag)) { // todo 可擴(kuò)展點(diǎn):目前是只判斷header里是否有BizConstant.GRAY_TAG的kv不為空且v="true",后面v可以改為版本號(hào) return true; } } String uid = headers.getFirst(BizConstant.UID); if (uid != null && customProperty.getGraySetting().getGrayUids().contains(uid)) { return true; } return false; } private Response<ServiceInstance> getServiceInstanceEmptyResponse() { log.warn("No servers available for service: " + this.serviceId); return new EmptyResponse(); } }
- Https2HttpFilter:將進(jìn)入網(wǎng)關(guān)的 https 請(qǐng)求轉(zhuǎn)換為 http 請(qǐng)求
/** * https scheme to http */ @Component @Slf4j public class Https2HttpFilter implements GlobalFilter, Ordered { @Override public Mono<Void> filter(ServerWebExchange exchange, GatewayFilterChain chain) { ServerHttpRequest request = exchange.getRequest(); URI originalUri = request.getURI(); ServerHttpRequest.Builder mutate = request.mutate(); String forwardUri = request.getURI().toString(); if (forwardUri != null && forwardUri.startsWith(BizConstant.HTTPS)) { try { URI mutatedUri = new URI(BizConstant.HTTP, originalUri.getUserInfo(), originalUri.getHost(), originalUri.getPort(), originalUri.getPath(), originalUri.getQuery(), originalUri.getFragment()); mutate.uri(mutatedUri); } catch (Exception e) { log.error(e.getMessage()); throw new MMException("Https related error"); } } ServerHttpRequest build = mutate.build(); return chain.filter(exchange.mutate().request(build).build()); } @Override public int getOrder() { return FILTER_ORDER_HTTPS_2_HTTP; } }
NOTE
FILTER_ORDER_HTTPS_2_HTTP 是一個(gè) int 常量,需要滿足 LoadBalancerClientFilter 的執(zhí)行順序(10100) < FILTER_ORDER_HTTPS_2_HTTP < FILTER_ORDER_GRAY (10110)。這里可以假定 FILTER_ORDER_HTTPS_2_HTTP = 10105。之所以需要加一個(gè)Https2HttpFilter 過濾器,是因?yàn)槿绻?https 請(qǐng)求直接進(jìn)入到 GrayLoadBalancerClientFilter 會(huì)報(bào) NotSslRecordException 證書錯(cuò)誤。
2.2 | Nacos
Nacos 主要做一件事情:通過 metadata 維護(hù)灰度服務(wù)。
從上圖可以看出,metadata 里 gray-tag=true 的實(shí)例即為灰度服務(wù)的實(shí)例。
通過 webUI 的編輯按鈕可以實(shí)時(shí)的新增修改 metadata。
那么,如何在代碼側(cè)配置呢?
可以直接在bootstrap.yml添加以下字段:
spring: cloud: nacos: discovery: metadata: # 如果${gray}變量不存在,則gray-tag=false gray-tag: ${gray:false}
2.3 | GitlabRunner
gitlab-runner 主要是 kube_deploy.yml 和 .gitlab-ci.yml 的一個(gè)聯(lián)動(dòng)配置
- kube_deploy.yml添加以下環(huán)境變量:
apiVersion: apps/v1 kind: Deployment metadata: name: ccc-deploy namespace: ccc spec: template: spec: containers: - env: - name: gray value: "gray-tag" # 這里的gray-tag值 將會(huì)在在.gitlab-ci.yml的腳本中被替換
- .gitlab-ci.yml 灰度服務(wù)部署 gitlab-runner 腳本關(guān)鍵部分:
... stages: - k8s-deploy k8s-deploy-gray-service: stage: k8s-deploy script: - echo "=============== 開始 k8s 部署任務(wù) ===============" - sed -i "s/gray-tag/true/g" kube_deploy.yml # 這 - kubectl apply -f kube_deploy.yml only: - /^tag_gray_.*$/ k8s-deploy-normal-service: stage: k8s-deploy script: - echo "=============== 開始 k8s 部署任務(wù) ===============" - sed -i "s/gray-tag/false/g" kube_deploy.yml # 這里替換 gray-tag 為 false - kubectl apply -f kube_deploy.yml only: - /^tag_normal_.*$/ ...
此時(shí),當(dāng)打了一個(gè)以 tag_gray_
開頭的 tag 之后,kube_deploy.yml里的gray-tag就會(huì)被替換成 true,那么,nacos 的元數(shù)據(jù)上就會(huì)有一個(gè)gray-tag=true的標(biāo)簽,就會(huì)走灰度服務(wù)的發(fā)布流程。同理,以 tag_normal_
開頭的 tag,就會(huì)走正常服務(wù)的發(fā)布流程。
把這段腳本嵌入到 pipeline 之后,就可以通過 tag 的方式,自動(dòng)化部署灰度/正常服務(wù)了。
3 | 后續(xù) TODO
目前實(shí)現(xiàn)的是后端服務(wù)的灰度發(fā)布,一個(gè)完整的灰度,還包含了前端應(yīng)用的灰度,后續(xù)會(huì)就前端的灰度發(fā)布再做一次整理。
4 | 使用版本說明
實(shí)戰(zhàn)依賴版本
Group | Spring Cloud | Spring Cloud | Spring Cloud | Spring Cloud Alibaba Nacos | Spring Cloud Alibaba Nacos |
---|---|---|---|---|---|
Component | Hoxton.SR3 | Gateway | LoadBalancer | Config | Discovery |
Version | - | 2.2.2.RELEASE | 2.2.2.RELEASE | 2.2.5.RELEASE | 2.2.5.RELEASE |
需要注意的
在 Spring Cloud 全家桶中,最初的網(wǎng)關(guān)使用的是 Netflix 的 Zuul 1x 版本,但是由于其性能問題,Spring Cloud 在苦等 Zuul 2x 版本未果的情況下,推出了自家的網(wǎng)關(guān)產(chǎn)品,取名叫 Spring Cloud Gateway (以下簡(jiǎn)稱 SCG),基于Webflux,通過底層封裝Netty,實(shí)現(xiàn)異步IO,大大地提示了性能。
Zuul 1x 版本
本質(zhì)上就是一個(gè)同步Servlet,采用多線程阻塞模型進(jìn)行請(qǐng)求轉(zhuǎn)發(fā)。簡(jiǎn)單講,每來一個(gè)請(qǐng)求,Servlet容器要為該請(qǐng)求分配一個(gè)線程專門負(fù)責(zé)處理這個(gè)請(qǐng)求,直到響應(yīng)返回客戶端這個(gè)線程才會(huì)被釋放返回容器線程池。如果后臺(tái)服務(wù)調(diào)用比較耗時(shí),那么這個(gè)線程就會(huì)被阻塞,阻塞期間線程資源被占用,不能干其它事情。我們知道Servlet容器線程池的大小是有限制的,當(dāng)前端請(qǐng)求量大,而后臺(tái)慢服務(wù)比較多時(shí),很容易耗盡容器線程池內(nèi)的線程,造成容器無法接受新的請(qǐng)求。且不支持任何長(zhǎng)連接,如websocket
NOTE 由于兩個(gè)網(wǎng)關(guān)的底層架構(gòu)不一致,負(fù)載均衡的邏輯也完全不一致,本文只探討 Spring Cloud Gateway 配合 Nacos 來實(shí)現(xiàn)灰度發(fā)布( Spring Cloud Zuul 網(wǎng)關(guān)的灰度發(fā)布不展開)。
至此,結(jié)合 SpringCloudGateway + Nacos + GitlabRunner 的全自動(dòng)灰度服務(wù)搭建和發(fā)布實(shí)戰(zhàn)全部完成。
以上就是SpringCloudGateway Nacos GitlabRunner的詳細(xì)內(nèi)容,更多關(guān)于SpringCloudGateway Nacos GitlabRunner的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
- spring?cloud?gateway中netty線程池小優(yōu)化
- Spring?Cloud?Gateway中netty線程池優(yōu)化示例詳解
- SpringCloudGateway使用Skywalking時(shí)日志打印traceId解析
- SpringCloud Gateway動(dòng)態(tài)路由配置詳解
- 一文吃透Spring?Cloud?gateway自定義錯(cuò)誤處理Handler
- Spring?Cloud?Gateway動(dòng)態(tài)路由Apollo實(shí)現(xiàn)詳解
- springcloud?gateway實(shí)現(xiàn)簡(jiǎn)易版灰度路由步驟詳解
相關(guān)文章
分析講解SpringMVC注解配置如何實(shí)現(xiàn)
這篇文章主要介紹了本文要介紹用注解方式代替web.xml與SpringMVC的配置文件,對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2022-05-05jtds1.1連接sqlserver2000測(cè)試示例
這篇文章主要介紹了jtds1.1連接sqlserver2000測(cè)試示例,需要的朋友可以參考下2014-02-02Maven+Tomcat8 實(shí)現(xiàn)自動(dòng)化部署的方法
本篇文章主要介紹了Maven+Tomcat8 實(shí)現(xiàn)自動(dòng)化部署的方法,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-10-10Spring?boot?Thymeleaf配置國(guó)際化頁(yè)面詳解
這篇文章主要給大家介紹了關(guān)于Spring?Boot?Thymeleaf實(shí)現(xiàn)國(guó)際化的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家學(xué)習(xí)或者使用Spring?Boot具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07Java項(xiàng)目中獲取路徑的絕對(duì)路徑問題和相對(duì)路徑問題
這篇文章主要介紹了如何Java項(xiàng)目中獲取文件地址,在 Java 項(xiàng)目中我們經(jīng)常會(huì)讀取配置文件,但是文件的路徑在獲取時(shí)我們是怎么得到的?下面我們就一起進(jìn)入文章學(xué)習(xí)該內(nèi)容吧,需要的朋友可以參考下2022-02-02關(guān)于Java語(yǔ)法糖以及語(yǔ)法糖的原理和用法
這篇文章主要介紹了關(guān)于Java什么是語(yǔ)法糖以及語(yǔ)法糖的種類,也稱糖衣語(yǔ)法,是由英國(guó)計(jì)算機(jī)學(xué)家?Peter.J.Landin?發(fā)明的一個(gè)術(shù)語(yǔ),指在計(jì)算機(jī)語(yǔ)言中添加的某種語(yǔ)法,這種語(yǔ)法對(duì)語(yǔ)言的功能并沒有影響,但是更方便程序員使用,需要的朋友可以參考下2023-05-05Java中 % 與Math.floorMod() 區(qū)別詳解
這篇文章主要介紹了Java中 % 與Math.floorMod() 區(qū)別詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-08-08你必須得會(huì)的SpringBoot全局統(tǒng)一處理異常詳解
程序在運(yùn)行的過程中,不可避免會(huì)產(chǎn)生各種各樣的錯(cuò)誤,這個(gè)時(shí)候就需要進(jìn)行異常處理,本文主要為大家介紹了SpringBoot實(shí)現(xiàn)全局統(tǒng)一處理異常的方法,需要的可以參考一下2023-06-06