K8s集群重啟與恢復(fù)-Node節(jié)點(diǎn)啟停方式
1 應(yīng)用場(chǎng)景
場(chǎng)景:
- 在實(shí)際工作中,可能某個(gè) Worker 節(jié)點(diǎn)需要維護(hù)
- 遷移,我們需要平滑的停止、啟動(dòng)該節(jié)點(diǎn)
- 應(yīng)盡量減少啟停中對(duì)集群、業(yè)務(wù)造成的影響
注意:
- 剔除 Worker 節(jié)點(diǎn)操作中
- 該 Worker 節(jié)點(diǎn)上的工作負(fù)載(Pod)將被驅(qū)逐到其他節(jié)點(diǎn)上
- 請(qǐng)確保集群資源充足
2 操作步驟
2.1 停止 Worker 節(jié)點(diǎn)調(diào)度
# 查看信息 root@sh-gpu091:~# kubectl get node NAME STATUS ROLES AGE VERSION 172.19.13.31 Ready node 403d v1.14.1 sh-cpu032.aibee.cn Ready node 403d v1.14.1 sh-cpu033.aibee.cn Ready node 403d v1.14.1 sh-gpu091.aibee.cn Ready node 403d v1.14.1 sh-gpu101.aibee.cn Ready node 403d v1.14.1 # 停止 Worker 節(jié)點(diǎn)調(diào)度 root@sh-gpu091:~# kubectl cordon sh-gpu101.aibee.cn node/sh-gpu101.aibee.cn cordoned
- 查看節(jié)點(diǎn)狀態(tài)
root@sh-gpu091:~# kubectl get node NAME STATUS ROLES AGE VERSION 172.19.13.31 Ready node 403d v1.14.1 sh-cpu032.aibee.cn Ready node 403d v1.14.1 sh-cpu033.aibee.cn Ready node 403d v1.14.1 sh-gpu091.aibee.cn Ready node 403d v1.14.1 sh-gpu101.aibee.cn Ready,SchedulingDisabled node 403d v1.14.1
2.2 驅(qū)逐 Worker 節(jié)點(diǎn)上的工作負(fù)載
# --ignore-daemonsets 驅(qū)逐 pod 時(shí)忽略 daemonset # --delete-local-data 驅(qū)逐 pod 時(shí)刪除 pod 的臨時(shí)數(shù)據(jù),該參數(shù)不會(huì)刪除持久化數(shù)據(jù) root@sh-gpu091:~# kubectl drain sh-gpu101.aibee.cn --delete-local-data --ignore-daemonsets --force node/sh-gpu101.aibee.cn already cordoned WARNING: ignoring DaemonSet-managed Pods: cattle-system/cattle-node-agent-8wcvs, kube-system/kube-flannel-ds-kqzhc, kube-system/nvidia-device-plugin-daemonset-rr2lf, monitoring/prometheus-node-exporter-xtbxp evicting pod "model-server-0" evicting pod "singleview-proxy-client-pbdownloader-0" evicting pod "singleview-proxy-service-0" pod/singleview-proxy-client-pbdownloader-0 evicted pod/singleview-proxy-service-0 evicted pod/model-server-0 evicted node/sh-gpu101.aibee.cn evicted
2.3 停止 Docker、Kubelet 等服務(wù)
systemctl stop kubelet systemctl stop docker
- 查看節(jié)點(diǎn)上是否還有業(yè)務(wù) pod
kubectl get pod -A -o wide |grep sh-gpu101.aibee.cn
- 如果不需要恢復(fù)了,可以刪除節(jié)點(diǎn)并確認(rèn)節(jié)點(diǎn)信息
root@sh-gpu091:~# kubectl delete node sh-gpu101.aibee.cn node "sh-gpu101.aibee.cn" deleted root@sh-gpu091:~# kubectl get node NAME STATUS ROLES AGE VERSION 172.19.13.31 Ready node 403d v1.14.1 sh-cpu032.aibee.cn Ready node 403d v1.14.1 sh-cpu033.aibee.cn Ready node 403d v1.14.1 sh-gpu091.aibee.cn Ready node 403d v1.14.1 root@sh-gpu091:~#
2.4 恢復(fù) Worker 節(jié)點(diǎn)
systemctl start docker systemctl status docker systemctl start kubelet systemctl status kubelet
2.5 允許 Worker 節(jié)點(diǎn)調(diào)度
# 取消不可調(diào)度 kubectl uncordon sh-gpu101.aibee.cn
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Docker中控制服務(wù)啟動(dòng)順序的操作方法
Docker是一種開(kāi)源的應(yīng)用容器引擎,允許開(kāi)發(fā)者將應(yīng)用及其依賴(lài)打包進(jìn)容器,實(shí)現(xiàn)快速、一致的部署,Docker三劍客compose、machine和swarm提供了不同層面的服務(wù)管理和編排,使得在不同環(huán)境中部署應(yīng)用變得簡(jiǎn)單高效2024-10-10Docker開(kāi)啟TLS和CA認(rèn)證的方法步驟
本文主要介紹了Docker開(kāi)啟TLS和CA認(rèn)證的方法步驟,文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-08-08詳解使用docker 1.12 搭建多主機(jī)docker swarm集群
本篇文章主要介紹了使用docker 1.12 搭建多主機(jī)docker swarm集群,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-07-07查詢(xún)Docker鏡像DockerFile的方法步驟
本文主要介紹了查詢(xún)Docker鏡像DockerFile的方法步驟,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-08-08使用docker部署django技術(shù)棧項(xiàng)目的方法步驟
這篇文章主要介紹了使用docker部署django技術(shù)棧項(xiàng)目的方法步驟,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-09-09Docker 集成KingBase的詳細(xì)過(guò)程
這篇文章主要介紹了Docker 集成KingBase的詳細(xì)過(guò)程,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2025-04-04在Docker環(huán)境中部署和運(yùn)行One API的操作方法
隨著技術(shù)的發(fā)展,API 作為服務(wù)連接的橋梁,變得越來(lái)越重要,One API 是一種流行的 API 管理平臺(tái),能夠幫助我們更好地管理、監(jiān)控和擴(kuò)展 API 服務(wù),本文給大家介紹了如何在 Docker 環(huán)境中部署和運(yùn)行 One API,需要的朋友可以參考下2024-11-11樹(shù)莓派3B+安裝64位ubuntu系統(tǒng)和docker工具的操作步驟詳解
這篇文章主要介紹了樹(shù)莓派3B+安裝64位ubuntu系統(tǒng)和docker工具,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-09-09