Kylin V10环境下Ceph集群离线部署实战指南1. 离线部署Ceph集群的核心挑战与解决方案在封闭网络环境中部署Ceph分布式存储系统运维工程师面临三大核心挑战依赖隔离传统在线部署依赖互联网获取软件包和容器镜像环境适配国产操作系统与开源组件的兼容性问题故障排查缺乏外部支持时的自主排错能力针对这些挑战我们设计了一套完整的解决方案框架关键组件离线化方案软件仓库镜像构建本地YUM/DNF仓库容器镜像仓库部署私有Registry服务依赖包缓存提前下载所有依赖项环境适配矩阵组件Kylin V10适配要点解决方案CephadmPython 3.7依赖使用系统自带Python3Docker麒麟特有内核模块采用docker-engine版本时间同步Chrony配置差异自定义allow子网段2. 基础环境准备从零搭建离线平台2.1 系统级配置规范网络拓扑规划示例# 三节点集群IP配置模板 nmcli connection modify ens33 \ ipv4.method manual \ ipv4.addresses 172.25.0.141/24 \ ipv4.gateway 172.25.0.2 \ connection.autoconnect yes关键安全设置关闭防火墙systemctl disable --now firewalldSELinux策略setenforce 0 配置文件永久禁用日志权限修正chmod 600 /var/log/tallylog注意生产环境中应根据实际安全需求调整防火墙策略本文示例仅适用于测试环境2.2 离线软件源构建本地仓库搭建步骤下载Kylin V10专属ISO镜像挂载镜像创建本地源mount -o loop Kylin-Server-V10.iso /mnt cp -r /mnt/Packages /var/www/html/kylin_repo createrepo /var/www/html/kylin_repo配置客户端repo文件[kylin-local] nameKylin Local Repository baseurlhttp://server_ip/kylin_repo enabled1 gpgcheck03. Ceph组件离线部署全流程3.1 容器化基础准备Docker离线安装要点# 传输安装包到目标机 scp docker-engine-*.rpm rootnode1:/tmp/ # 手动安装 rpm -ivh /tmp/docker-engine-*.rpm --nodeps --force # 配置镜像加速使用本地registry mkdir -p /etc/docker cat /etc/docker/daemon.json EOF { registry-mirrors: [http://registryserver:4000], insecure-registries: [registryserver:4000] } EOF3.2 Ceph镜像处理技巧镜像导入标准化流程加载基础镜像docker load ceph-v15.img构建本地registrydocker run -d -p 4000:5000 \ -v /data/registry:/var/lib/registry \ --restartalways \ --name registry registry:2重新标记并推送docker tag quay.io/ceph/ceph:v15 registryserver:4000/ceph/ceph:v15 docker push registryserver:4000/ceph/ceph:v153.3 Cephadm定制化安装关键修改点# 修改/usr/sbin/cephadm中的_pull_image函数 def _pull_image(self): cmd [ self.docker_path, images, --format, {{.Repository}}:{{.Tag}}, image ]离线安装命令rpm -ivh cephadm-15.2.17-0.el7.noarch.rpm mkdir -p /etc/ceph4. 集群初始化与节点扩展4.1 Bootstrap关键参数单节点引导示例cephadm bootstrap \ --mon-ip 172.25.0.141 \ --registry-url registryserver:4000 \ --registry-username admin \ --registry-password admin输出解析要点Dashboard访问URL记录初始admin密码FSID集群唯一标识后续操作必需监控端口6789(mon)和9283(mgr)4.2 节点扩展实战标准化添加流程密钥分发ssh-copy-id -f -i /etc/ceph/ceph.pub rootceph2配置文件同步scp -r /etc/ceph rootceph2:/etc/集群注册ceph orch host add ceph2 172.25.0.142主机标签管理# 为特定节点添加SSD标签 ceph orch host label add ceph2 ssd # 查看主机状态 ceph orch host ls5. 存储服务部署与优化5.1 OSD部署策略对比部署方式选择矩阵方式命令示例适用场景优缺点自动发现ceph orch apply osd --all-available-devices测试环境简单但不可控指定设备ceph orch daemon add osd ceph1:/dev/sdb生产环境精确控制但繁琐批量部署ceph orch apply osd --data/dev/sd[b-d]中型集群平衡效率与控制力5.2 核心服务部署模板MON/MGR高可用配置# 设置mon数量为3奇数原则 ceph orch apply mon 3 # 配置mgr为3节点active/standby模式 ceph orch apply mgr --placement3 ceph1 ceph2 ceph3RadosGW对象存储部署# 创建领域和区域 radosgw-admin realm create --rgw-realmmyrealm --default radosgw-admin zonegroup create --rgw-zonegroupdefault --master --default radosgw-admin zone create --rgw-zonegroupdefault --rgw-zonecn --master --default # 部署网关服务 ceph orch apply rgw myrealm cn --placement3 ceph1 ceph2 ceph36. 典型故障排查手册6.1 权限类问题/var/log/tallylog报错# 现象安装时出现pam_tally2权限错误 # 解决方案 chmod 600 /var/log/tallylog pam_tally2 --user root --resetuid/gid缺失问题# 现象cephadm shell报uid/gid not found # 根本原因离线镜像缺失RepoDigest信息 # 解决方案 1. 确保使用本地registry推送的镜像 2. 检查/etc/hosts中registry解析优先级6.2 网络类问题认证超时处理# 现象monclient(hunting): authenticate timed out # 解决方案 1. 检查DNS配置 echo nameserver 223.5.5.5 /etc/resolv.conf 2. 验证网络连通性 ceph config set mon public_network 172.25.0.0/24容器网络异常# 现象iptables: No chain/target/match by that name # 解决方案麒麟系统特有 systemctl restart docker6.3 服务状态监控健康检查命令集# 查看集群总体状态 ceph -s # 检查具体服务状态 ceph orch ps --daemon-type osd # 查看OSD树状结构 ceph osd tree # 检查PG分布状态 ceph pg dump异常服务处理流程定位问题服务ceph health detail尝试重启ceph orch daemon restart daemon强制重建ceph orch daemon rm daemon --force重新部署ceph orch apply service7. 性能调优与生产建议7.1 内核参数优化推荐配置# 增加网络缓冲区 echo net.core.rmem_max 56623104 /etc/sysctl.conf echo net.core.wmem_max 56623104 /etc/sysctl.conf # 调整虚拟机参数 echo vm.swappiness 10 /etc/sysctl.conf echo vm.vfs_cache_pressure 50 /etc/sysctl.conf # 生效配置 sysctl -p7.2 Ceph专属优化OSD调优参数# 调整日志级别 ceph config set osd debug_osd 10/10 # 优化后端存储 ceph config set osd bluestore_cache_size 4G ceph config set osd bluestore_prefer_deferred_size 0CRUSH算法调整# 查看当前CRUSH map ceph osd getcrushmap -o crushmap.txt # 自定义故障域示例机架级冗余 ceph osd crush add-bucket rack1 rack ceph osd crush move rack1 rootdefault ceph osd crush move osd.1 rackrack17.3 监控与告警Prometheus指标采集# 启用mgr插件 ceph mgr module enable prometheus # 配置采集间隔 ceph config set mgr mgr/prometheus/scrape_interval 15Grafana看板导入访问Dashboard的Grafana界面导入ID为2842的官方Ceph仪表板配置Prometheus数据源为http://localhost:90908. 升级与维护策略8.1 离线升级路径版本升级步骤下载新版本RPM包和容器镜像更新本地仓库createrepo --update /var/www/html/ceph_repo滚动升级集群ceph orch upgrade start --image registryserver:4000/ceph/ceph:v168.2 日常维护要点健康检查清单每日ceph -s状态检查每周ceph osd df空间分析每月ceph pg repair一致性校验容量规划建议预留20%的物理空间防止写满监控ceph df的输出变化设置自动扩容阈值告警9. 生态工具集成9.1 客户端挂载方案CephFS挂载示例# 创建专用客户端密钥 ceph auth get-or-create client.kylin mon allow r mds allow rw osd allow rw poolcephfs_data # 持久化挂载配置 echo ceph1:6789,ceph2:6789,ceph3:6789:/ /mnt/cephfs ceph namekylin,secretfile/etc/ceph/kylin.key,noatime,_netdev 0 0 /etc/fstab9.2 RBD块设备管理创建和使用RBD# 创建存储池 ceph osd pool create rbd_pool # 初始化RBD rbd create rbd_pool/volume1 --size 100G # 客户端映射 rbd map rbd_pool/volume1 --name client.kylin10. 安全加固实践10.1 访问控制策略RBAC权限配置# 创建只读用户 ceph auth get-or-create client.readonly mon allow r osd allow r # 创建特定池读写用户 ceph auth get-or-create client.app1 mon allow r osd allow rw poolapp1_pool10.2 传输加密配置启用SSL加密# 生成自签名证书 openssl req -new -nodes -x509 \ -subj /OIT/CNceph-cluster \ -days 3650 -keyout /etc/ceph/ceph.key \ -out /etc/ceph/ceph.crt -extensions v3_ca # 配置RGW使用HTTPS ceph config set client.rgw rgw_frontends beast ssl_port443 ssl_certificate/etc/ceph/ceph.crt ssl_key/etc/ceph/ceph.key