詳解Docker Swarm 在持續(xù)集成測試中的應用
背景
敏捷(Agile)模式被廣泛應用,測試顯得尤為重要。由于需要頻繁發(fā)布新的版本,我們需要更加頻繁的執(zhí)行測試用例,以確保沒有新的 bug 被引入到版本中。
一個完整的測試流程所需要占用的時間和資源也不可忽視,包括對測試結果的分析都要占用大量的資源。如何在更短時間內,提供完整、全面的測試以保證質量,是我們急于解決的問題,也是保證敏捷開發(fā)能順利進行的關鍵。
Jenkins 實現了無人值守的測試流程,開發(fā)結束后,一旦在測試環(huán)境部署成功,下游的測試任務就會即刻執(zhí)行。
Jenkins 的應用在一定程度上節(jié)省了人力資源,而 Docker 技術可以實現容器 (Container) 快速的拓展,從而節(jié)省了大量的設備資源和時間,快速的完成測試。這在 Jenkins Pipeline(代碼流水線管理)中是非常重要的一個環(huán)節(jié),如圖 1 所示:
圖 1. Jenkins Pipeline
本文主要介紹如何利用 Docker Swarm 集群功能和 Selenium Grid 腳本分發(fā)功能,來搭建一個可以動態(tài)擴容的 Selenium 自動化腳本執(zhí)行環(huán)境。相比于用真實的機器作為 Selenium 自動化腳本執(zhí)行環(huán)境,使用此套環(huán)境可以極大的減少對執(zhí)行環(huán)境的維護工作,比如各種瀏覽器類型的管理和版本的管理。也能極大的減少對腳本執(zhí)行環(huán)境的物質投入,節(jié)省各類資源。
搭建 Docker Swarm 集群
Swarm 簡介
Swarm 是 Docker 官方提供的一款集群管理工具,用來管理 Docker 集群,它將若干臺 Docker 主機抽象為一個整體,并且通過一個入口統(tǒng)一管理這些 Docker 主機上的各種 Docker 資源。
Swarm 只是一個調度器(Scheduler)加路由器(Router),Swarm 自己不運行容器,它只是接受 Docker 客戶端發(fā)送過來的請求,調度適合的節(jié)點來運行容器,這意味著,即使 Swarm 由于某些原因掛掉了,集群中的節(jié)點也會照常運行,當 Swarm 重新恢復運行之后,它會收集重建集群信息。
Swarm 和 Kubernetes 比較類似,但是更加輕,具有的功能也較 Kubernetes 更少一些。
環(huán)境準備
為了搭建 Docker Swarm 集群環(huán)境,我在示例中準備了兩臺機器。一臺作為 manager 節(jié)點,同時也作為一個 worker 節(jié)點,另一臺只作為一個 worker 節(jié)點。
這里假設我們的兩個機器 IP 信息如下:
- M1:10.13.181.1
- M2:10.13.181.2
Docker Engine 從 V1.12.0 版本開始,原生集成了 Docker Swarm,所以只要在每臺機器上安裝 Docker,就可以直接使用 Docker Swarm。在這里,關于 Docker 的安裝不再詳細介紹,請按照官方 Docker Swarm 文檔 進行安裝。安裝完成后,在每臺機器上將 Docker 服務啟動。
提示:
注意:最好關閉機器上的防火墻,否則可能會出現 Swarm 集群網絡連接問題。
關閉防火墻的命令:systemctl stop firewalld.service
禁止防火墻開機啟動命令:systemctl disable firewalld.service
步驟
1、創(chuàng)建管理節(jié)點。
我們將機器 M1 作為 manager 節(jié)點,在這臺機器上執(zhí)行命令來初始化集群環(huán)境。命令如下:
sudo docker swarm init --advertise-addr 10.13.181.1
執(zhí)行此命令后,會返回一個用于加入集群的令牌(Token),以便其他 worker 加入此集群。
清單 1. 加入集群令牌示例:
3phtv1qkfdly2kchzxh0h1xft 10.13.181.1:2377
如果想再次獲取加入集群的命令,可以通過執(zhí)行以下命令獲?。?/p>
sudo docker swarm join-token worker
2、將機器 M1 也作為 worker 節(jié)點添加到集群。
在 manager 節(jié)點機器上運行清單 1 的命令,即可將機器 M1 也作為 worker 加入 swarm 集群當中。
3、將另一臺機器 M2 作為 worker 節(jié)點添加到集群。
在機器 M2 上執(zhí)行上述清單 1 中的命令,即可實現 M2 加入集群的功能。
4、運行如下命令創(chuàng)建集群網絡:
sudo docker network create -d overlay seleniumnet
這里,seleniumnet 即是我們所創(chuàng)建的集群網絡名稱。
5、在新建的集群網絡上創(chuàng)建 Selenium Grid 服務。
a. 創(chuàng)建 Selenium Grid Hub 服務?;诩壕W絡 seleniumnet,將 4444 端口映射到集群的 4444 端口,將 timeout 時間設置為 120 秒,可以增大或減少 timeout 時間,如清單 2 所示。
清單 2. 創(chuàng)建 Selenium Grid Hub 服務:
GRID_TIMEOUT=120 selenium/hub
b. 創(chuàng)建 Selenium Grid Firefox 節(jié)點服務并連接到剛創(chuàng)建 Hub 服務。如清單 3 所示。
清單 3. 創(chuàng)建 Selenium Grid Firefox 節(jié)點服務:
sudo docker service create \ --name node-firefox \ --replicas 5 \ -p 7900:5900 \ --network seleniumnet \ -e HUB_PORT_4444_TCP_ADDR=selenium-hub \ -e HUB_PORT_4444_TCP_PORT=4444 \ selenium/node-firefox-debug bash -c 'SE_OPTS="-host $HOSTNAME" /opt/bin/entry_point.sh'
參數說明:
-p: 7900:5900 將 Docker 內部 VNC5900 暴露到宿主機的 7900 端口,使得用戶可以通過 VNC 從外面監(jiān)控 Docker 內部的執(zhí)行情況。
c. 創(chuàng)建 Selenium Grid Chrome Node 服務并連接到剛創(chuàng)建 Hub 服務。如清單 4 所示。
清單 4. 創(chuàng)建節(jié)點服務:
sudo docker service create \ --name node-chrome \ --replicas 3 \ -p 7901:5900 \ --network seleniumnet \ -e HUB_PORT_4444_TCP_ADDR=selenium-hub \ -e HUB_PORT_4444_TCP_PORT=4444 \ selenium/node-chrome-debug bash -c 'SE_OPTS="-host $HOSTNAME" /opt/bin/entry_point.sh'
參數說明:
-p: 7901:5900 將 Docker 內部 VNC5900 暴露到宿主機的 7901 端口,使得用戶可以通過 VNC 從外面監(jiān)控 Docker 內部的執(zhí)行情況。
6、檢查環(huán)境搭建是否成功。在機器 M1 上執(zhí)行以下命令,查看每個服務是否啟動成功:
sudo docker service ls
可以看到 Selenium Hub 和 Firefox 節(jié)點、Chrome 節(jié)點都已經成功啟動。Firefox 的節(jié)點副本是 5,Chrome 的節(jié)點副本是 3,如圖 2 所示。
圖 2. Docker 服務清單
我們再通過任意一臺機器的 IP 加 4444 端口來打開 Selenium Hub URL 來查看已啟動的 Firefox 和 Chrome 節(jié)點是否已經成功掛載到 Hub 節(jié)點上,如圖 3 所示。
Hub url: 10.13.181.1:4444
圖 3. Selenium Hub 的界面圖
從圖 3 可以看出,5 個 Firefox 節(jié)點和 3 個 Chrome 節(jié)點都已經成功掛載到 Hub 節(jié)點上。說明此時 Docker Swarm 環(huán)境里已經提供了 5 個 Firefox 節(jié)點和 3 個 Chrome 節(jié)點可以用來執(zhí)行 Selenium 自動化測試腳本。
擴容方法
用戶可以根據腳本執(zhí)行數量,隨時動態(tài)的擴容各個節(jié)點的數量,提高自動化腳本的執(zhí)行效率,例如我們需要 10 個可以運行 Firefox 瀏覽器的 Container,對應的命令如下:
sudo docker service scale node-firefox=10
在 Docker Swarm 運行 Jenkins Job
用戶在 Docker Swarm 中運行 Jenkins Job,并不需要在 Jenkins 做多余的配置,而是需要在對應的自動化腳本中調用 Selenium Hub,從而以遠程的方式調用 WebDriver。這樣就實現了在 Docker Container 中運行 Selenium 腳本。
以本文中的場景為例,只需要在自動化腳本中調用遠程 Selenium Hub 即可,如下所示:http://9.111.139.104:4444/wd/hub
在 Selenium Grid 中運行自動化腳本
基本概念
Selenium Grid,用于分布式自動化測試,也就是說一套 Selenium 代碼可在不同的環(huán)境上運行,這樣做可以方便的將應用運行在 Docker 所提供的不同 Container 中。
Selenium Grid 有兩個概念:
- Hub:主節(jié)點,你可以看作總調度中心。
- Node:分支節(jié)點,你可以看作是真正執(zhí)行任務的 worker。
也就是說在 Selenium Grid 中只能有一個主 Hub,但可以在本地或遠程建立 N 多個分支節(jié)點,測試腳本指向主 Hub,由主 Hub 分配給本地/遠程節(jié)點運行測試用例。
實現方式
要實現在 Selenium Grid 中運行自動化腳本,首先我們要創(chuàng)建一個 remote driver 的對象,可以通過圖 4 源碼實現,截圖中所對應的輸入參數 selhub 是 Selenium hub 的 URL:http://9.111.139.104:4444/wd/hub
圖 4. 自動化腳本的代碼截圖
通過調用上述的 driver,就可以實現將自動化腳本運行在 Docker Container 中。
結束語
在持續(xù)集成測試中,將測試部署到 Docker Swarm 中,通過 Selenium Grid 自動分配執(zhí)行測試的節(jié)點,可以提升測試效率,增大測試的范圍,在快速迭代中能夠更好的保證所交付的產品質量,節(jié)省測試資源。
原文鏈接: https://www.ibm.com/developerw ... .html
相關文章
docker安裝prometheus和grafana的詳細過程
prometheus通過各種Exporter采集到監(jiān)控數據,然后存儲進prometheus中,以供查詢展示,這篇文章主要介紹了docker安裝prometheus和grafana,需要的朋友可以參考下2023-02-02docker部署springboot項目啟動時間與宿主機相差8小時的解決
項目部署到docker環(huán)境,數據庫中的時間總是少8個小時,本文就來介紹一下解決方法,具有一定的參考價值,感興趣的可以了解一下2023-09-09關于構建aarch64環(huán)境Mysql8.0的Docker鏡像問題
這篇文章主要介紹了構建aarch64環(huán)境Mysql8.0的Docker鏡像,需要的朋友可以參考下2022-04-04Docker創(chuàng)建enrollment token錯誤異常解析及解決方案
部署完kibana,需要通過enrollment token方式來連接elasticsearch,此時需要在elasticsearch中創(chuàng)建enrollment token,這篇文章主要介紹了Docker創(chuàng)建enrollment token錯誤異常解析及解決方案,需要的朋友可以參考下2024-04-04