基于cephadm部署ceph集群
下载需要安装ceph版本的cephadm
CEPH_RELEASE=19.2.0
curl --silent --remote-name --location https://download.ceph.com/rpm-${CEPH_RELEASE}/el9/noarch/cephadm
设置时区
timedatectl set-timezone Asia/Shanghai ll /etc/localtime
安装docker环境
建议二进制安装
所有节点添加hosts文件解析
cat >> /etc/hosts <<EOF 10.0.0.141 ceph141 10.0.0.142 ceph142 10.0.0.143 ceph143 EOF
集群环境准备
ceph141: CPU: 1c Memory: 2G /dev/sdb：300GB /dev/sdc: 500GB ceph141: CPU: 1c Memory: 2G /dev/sdb：300GB /dev/sdc: 500GB /dev/sdd: 1TB ceph143: CPU: 1c Memory: 2G /dev/sdb：300GB /dev/sdc: 500GB
将cephadm添加到PATH环境变量
mv cephadm /usr/local/bin/ chmod +x /usr/local/bin/cephadm ls -l /usr/local/bin/cephadm -rwxr-xr-x 1 root root 215316 Aug 20 22:19 /usr/local/bin/cephadm
创建新集群
需要拉取镜像 可能比较慢
cephadm bootstrap --mon-ip 10.0.0.141 --cluster-network 10.0.0.0/24 --allow-fqdn-hostname
配置ceph集群的管理节点
添加软件源
cephadm add-repo --release reef
安装ceph通用工具包
apt -y install ceph-common
测试使用
ceph -s
ceph集群添加或移除主机
查看现有的集群主机列表
ceph orch host ls
把秘钥放到其他服务器上
ceph orch host add ceph142 10.0.0.142 ceph orch host add ceph143 10.0.0.143
查看集群状态
ceph orch host ls
移除主机【选做，如果你将来真有这个需求在操作】
ceph orch host drain ceph143 # 驱逐已经调度到节点的服务 ceph orch host rm ceph143 # 移除节点成功 ceph orch host ls
添加OSD设备到ceph集群
添加OSD之前环境查看
ceph orch device ls
如果一个设备想要加入ceph集群，要求满足2个条件
1.设备未被使用;
2.设备的存储大小必须大于5GB;
查看各节点的空闲设备信息
lsblk
查看OSD列表
ceph osd tree
添加OSD设备到集群
添加时会向子节点上拉取镜像 如果拉取不下来请进行手动导入
ceph orch daemon add osd ceph141:/dev/sdb ceph orch daemon add osd ceph141:/dev/sdc ceph orch daemon add osd ceph142:/dev/sdb ceph orch daemon add osd ceph142:/dev/sdb ceph orch daemon add osd ceph142:/dev/sdd
查看集群的osd总容量大小
ceph osd tree
查看集群的大小
ceph -s
测试集群可用性
创建存储池
ceph osd pool create test
存储池上传文件
rados put sys.txt /etc/os-release -p test
查看存储池上传的文件
rados ls -p yinzhengjie sys.txt
查看存储池文件的状态信息
rados -p test stat sys.txt
查看PG的副本在哪些OSD上
ceph osd map test sys.txt
删除文件
rados -p test rm sys.txt rados -p test ls
下节介绍ceph的基本使用~