快捷導(dǎo)航

基于openEuler的Ceph分布式存儲(chǔ)集群部署指南

更新時(shí)間：2025年03月14日 09:48:39 作者：馮·諾依曼的

本文詳細(xì)介紹了如何在openEuler22.03LTS操作系統(tǒng)上部署Ceph分布式存儲(chǔ)集群,包括環(huán)境準(zhǔn)備、軟件倉(cāng)庫(kù)配置、集群初始化、存儲(chǔ)節(jié)點(diǎn)部署、存儲(chǔ)池創(chuàng)建、監(jiān)控集成和性能優(yōu)化等步驟,感興趣的朋友一起看看吧

環(huán)境要求

操作系統(tǒng)：openEuler 22.03 LTS（三臺(tái)云主機(jī)）
節(jié)點(diǎn)角色：
- storage01：mon/mgr/osd節(jié)點(diǎn)
- storage02：osd節(jié)點(diǎn)
- storage03：osd節(jié)點(diǎn)
磁盤規(guī)劃：每節(jié)點(diǎn)至少2塊磁盤（系統(tǒng)盤+數(shù)據(jù)盤/dev/sdb）

初始配置（所有節(jié)點(diǎn)執(zhí)行）

# 設(shè)置主機(jī)名（按節(jié)點(diǎn)分別執(zhí)行）
hostnamectl set-hostname storage01  # 第一節(jié)點(diǎn)
hostnamectl set-hostname storage02  # 第二節(jié)點(diǎn)
hostnamectl set-hostname storage03  # 第三節(jié)點(diǎn)
# 關(guān)閉防火墻和SELinux（所有節(jié)點(diǎn)）
systemctl stop firewalld && systemctl disable firewalld
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
setenforce 0
# 配置時(shí)間同步（重要?。?
yum install -y chrony
systemctl enable chronyd --now
chronyc sources

軟件倉(cāng)庫(kù)配置（storage01節(jié)點(diǎn)）

部署本地倉(cāng)庫(kù)服務(wù)

# 解壓Ceph軟件包到共享目錄
tar -zxf ceph-14.2.22.tar.gz -C /opt/
# 安裝并配置HTTP服務(wù)（替代FTP）
yum install -y nginx
cat > /etc/nginx/conf.d/repo.conf << EOF
server {
    listen       80;
    server_name  localhost;
    root         /opt;
    autoindex    on;
}
EOF
# 啟動(dòng)服務(wù)
systemctl enable nginx --now

其他節(jié)點(diǎn)配置（storage02/storage03）

# 配置倉(cāng)庫(kù)文件
cat > /etc/yum.repos.d/ceph.repo << EOF
[ceph]
name=Ceph Packages
baseurl=http://storage01/ceph-14.2.22
enabled=1
gpgcheck=0
[baseos]
name=openEuler-22.03-LTS-BaseOS
baseurl=https://repo.openeuler.org/openEuler-22.03-LTS/OS/\$basearch/
enabled=1
gpgcheck=0
EOF
# 更新緩存
dnf clean all && dnf makecache

集群初始化配置

主機(jī)名解析（所有節(jié)點(diǎn)）

# 在storage01操作
cat >> /etc/hosts << EOF
192.168.100.11 storage01
192.168.100.12 storage02
192.168.100.13 storage03
EOF
# 同步到其他節(jié)點(diǎn)
scp /etc/hosts root@storage02:/etc/
scp /etc/hosts root@storage03:/etc/

SSH免密登錄

# 生成密鑰（storage01執(zhí)行）
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 分發(fā)公鑰
ssh-copy-id storage01
ssh-copy-id storage02
ssh-copy-id storage03

Ceph集群部署

安裝依賴組件

# 所有節(jié)點(diǎn)安裝基礎(chǔ)工具
dnf install -y python3 python3-pip tar
# 安裝Ceph部署工具（storage01執(zhí)行）
pip3 install ceph-deploy

初始化集群

mkdir /etc/ceph && cd /etc/ceph
ceph-deploy new storage01  # 生成初始配置
# 編輯配置文件添加兼容性參數(shù)
cat >> ceph.conf << EOF
osd_pool_default_size = 3
osd_pool_default_min_size = 1
mon_allow_pool_delete = true
EOF
# 安裝Ceph組件（全節(jié)點(diǎn)）
ceph-deploy install --no-adjust-repos storage01 storage02 storage03

部署監(jiān)控服務(wù)

# 初始化mon節(jié)點(diǎn)
ceph-deploy mon create-initial
# 禁用不安全認(rèn)證
ceph config set mon auth_allow_insecure_global_id_reclaim false

部署存儲(chǔ)節(jié)點(diǎn)

# 創(chuàng)建OSD（注意：openEuler磁盤路徑可能不同）
ceph-deploy osd create --data /dev/sdb storage01
ceph-deploy osd create --data /dev/sdb storage02
ceph-deploy osd create --data /dev/sdb storage03
# 部署管理服務(wù)
ceph-deploy mgr create storage01 storage02 storage03

存儲(chǔ)池創(chuàng)建與驗(yàn)證

# 創(chuàng)建存儲(chǔ)池
ceph osd pool create vms 32
ceph osd pool create images 32
ceph osd pool create volumes 32
# 設(shè)置PGP數(shù)量（必須等于PG數(shù)）
ceph osd pool set vms pgp_num 32
ceph osd pool set images pgp_num 32
ceph osd pool set volumes pgp_num 32
# 驗(yàn)證集群狀態(tài)
ceph -s

關(guān)鍵驗(yàn)證輸出

# ceph -s 健康狀態(tài)
  cluster:
    id:     4a3b9c8d-6e1f-4c7a-bd82-5a0f6e2c1b7a
    health: HEALTH_OK
# osd tree結(jié)構(gòu)
ID CLASS WEIGHT  TYPE NAME        STATUS 
 0   hdd 0.01949     osd.0          up  
 1   hdd 0.01949     osd.1          up  
 2   hdd 0.01949     osd.2          up