记录：334
场景：在CentOS 7.9操作系统上，部署ceph-13.2.10集群。应用ceph块设备(ceph block device)；主要是创建ceph块存储、块存储分区、在线扩容、离线缩容、删除块存储等操作。
版本：
操作系统：CentOS 7.9
ceph版本：ceph-13.2.10
名词：
Ceph:一个开源的分布式存储系统。
Ceph: Ceph is a distributed object store and file system designed to provide excellent performance, reliability and scalability.
地址：
官网：https://docs.ceph.com/
安装包地址：https://mirrors.aliyun.com/ceph/rpm-mimic/
1.基础环境
1.1 Ceph集群(服务端)
集群已安装软件：ceph-deploy、ceph、ceph-radosgw。
集群已部署组件：mon、mgr、mds、osd、rgw。
查看集群状态：ceph -s
1.2 Ceph客户端
在集群之外的主机app166中部署客户端。操作ceph集群的存储系统。
安装命令：yum install -y ceph-common
解析：在客户端主机安装ceph-common，操作集群。
1.3主机软件规划
ceph集群和ceph客户端的主机、IP以及组件分布规划。
1.4安装ceph
离线安装ceph集群，可以参考如下博文。
博文：离线安装ceph集群(ceph-13.2.10)
地址：https://blog.csdn.net/zhangbeizhen18/article/details/128052772
2.开启客户端认证
在主节点app161操作，操作目录：cd /etc/ceph。
(1)确认ceph.conf文件
文件：/etc/ceph/ceph.conf
内容：auth_client_required = cephx
(2)确认客户端秘钥
秘钥文件名称：/etc/ceph/ceph.client.admin.keyring
秘钥内容：
[client.admin]
key = AQDtioBjVwefMBAAu0/oJPK2khWK+juNOQkyZw==
caps mds = "allow *"
caps mgr = "allow *"
caps mon = "allow *"
caps osd = "allow *"3.同步主节点配置文件到客户端
在主节点app161操作，操作目录：cd /etc/ceph。
(1)执行同步配置文件操作
命令：ceph-deploy admin 192.168.19.166
解析：ceph-deploy admin，执行同步配置命令；192.168.19.166，是客户端主机ip，如果没有配置免密，那么就需要输入密码确认。
(2)同步的文件列表
从主节点app161同步到客户端节点的配置文件：
ceph.client.admin.keyring、ceph.con、tmpW4qEGF。
4.创建块存储
在客户端app166操作，操作目录：cd /etc/ceph。
4.1客户端创建存储池与初始化
(1)创建存储池
命令：ceph osd pool create hz_rbd_pool 32
解析：存储池名称：hz_rbd_pool。
(2)初始化存储池
命令：rbd pool init hz_rbd_pool
解析：存储池名称：hz_rbd_pool。
4.2客户端创建image
在主节点app161操作，操作目录：cd /etc/ceph。
(1)创建image
命令：rbd create hz_volume --pool hz_rbd_pool --size 1024
解析：创建image名称：hz_volume；对应存储池：hz_rbd_pool；指定大小：1024MB。
(2)查看image
命令：rbd ls hz_rbd_pool
解析：查看hz_rbd_pool，会打印出 hz_volume。
(3)查看rbd image详细信息
命令：rbd info hz_volume -p hz_rbd_pool
解析：查看rbd image详细信息
4.3把image映射成块存储
在主节点app161操作，操作目录：cd /etc/ceph。
(1)image映射成块存
映射步骤一：rbd feature disable hz_rbd_pool/hz_volume object-map fast-diff deep-flatten
映射步骤二：rbd map hz_rbd_pool/hz_volume
解析：映射成功后，打印信息：/dev/rbd0。映射到rbd0.
(2)查看映射
查看映射命令：rbd showmapped
解析：能查看映射目的目录。
(3)取消映射
命令：rbd unmap /dev/rbd0
解析：取消映射。
(4)查看映射的块
命令：lsblk
解析：已经看到块rdb0。
4.4块存储分区、创建文件系统和挂载
4.4.1块分区
(1)块分区
分区：fdisk /dev/rbd0
解析：把磁盘/dev/rbd0块分区；按提示分区。
(2)查看结果
查看分区结果：lsblk
4.4.2创建文件系统
命令：mkfs.xfs /dev/rbd0p1
解析：创建为/dev/rbd0p1文件系统。
4.4.3挂载磁盘
(1)创建挂载目录
命令：mkdir -p /mnt/hz_data
(2)挂载磁盘
命令：mount /dev/rbd0p1 /mnt/hz_data
解析：磁盘挂载到/mnt/hz_data。
(3)查看挂载结果
命令：df -h
4.5应用块存储
(1)写入一条数据到文件。
命令：echo 'Hangzhou is a city.'>>/mnt/hz_data/hz.txt
解析：写入到挂载目录，需求全路径名称。
5.块存储在线扩容
在客户端app166操作。对块存储/dev/rbd0，做块存储在线扩容。
注意：块存储在线扩容必须在/dev/rbd0块设备上才支持；在块存储分区/dev/rbd0p1上不能扩容。
(1)卸载已挂载的块存储
卸载命令：umount /mnt/hz_data
解析：使用umount命令，卸载已挂载到/mnt/hz_data目录的块设备/dev/rbd0。
(2)删除/dev/rbd0分区
删除分区：fdisk /dev/rbd0
解析：在执行过程中根据提示，选择d代表删除、w代表写入和保存。
(3)对/dev/rbd0设备格式化
命令：mkfs.xfs -f /dev/rbd0
解析：格式化文件系统。
(4)挂载设备
命令：mount /dev/rbd0 /mnt/hz_data
解析：使用mount挂载设备。
(5)在线扩容
命令：rbd resize --size 1800 hz_rbd_pool/hz_volume
解析：使用rbd resize在线扩容。
(6)扩展文件系统
命令：xfs_growfs -d /mnt/hz_data
解析：fs_growfs命令来扩容xfs文件系统，将磁盘和文件系统容量对应上。
(7)查看扩展结果
查看磁盘：lsblk
查看文件系统：df -h
6.块存储离线缩容
缩容前，数据备份。
(1)缩容
命令：rbd resize --size 600 hz_rbd_pool/hz_volume --allow-shrink
解析：缩容到600MB。
查看缩容后信息：rbd info hz_rbd_pool/hz_volume | grep size
(2)卸载已挂载的块存储
卸载命令：umount /mnt/hz_data
解析：使用umount命令，卸载已挂载到/mnt/hz_data目录的块设备/dev/rbd0。
(3)格式化文件系统
命令：mkfs.xfs -f /dev/rbd0
解析：格式化文件系统。
(4)挂载存储块
命令：mount /dev/rbd0 /mnt/hz_data
解析：使用mount挂载设备。
(5)查看缩容结果
查看磁盘：lsblk
查看文件系统：df -h
7.删除块存储
(1)卸载已挂载的块存储
卸载命令：umount /mnt/hz_data
解析：使用umount命令，卸载已挂载到/mnt/hz_data目录的块设备/dev/rbd0。
(2)删除设备映射
命令：rbd unmap /dev/rbd0
(3)删除块存储此
命令：ceph osd pool delete hz_rbd_pool hz_rbd_pool --yes-i-really-really-mean-it
解析：删除pool时，需传递两次pool的名称。
以上，感谢。
2022年11月26日
