解决Ceph 14.2.22 Nautilus版本监视器慢操作问题的实践指南

news2025/5/12 0:36:52

解决Ceph Nautilus版本监视器慢操作问题的实践指南

- 问题背景
- 问题现象
- 问题分析
- - 1. 确认监视器状态
  - 2. 检查慢操作详情
  - 3. 深入分析操作状态
- 问题原因
- 解决方案
- - 立即解决方法
- 总结

在生产环境中执行任何操作前，请确保已备份重要数据，并在测试环境中验证解决方案

问题背景

在管理大型Ceph存储集群时，经常会遇到各种健康警告。Ceph集群（版本14.2.22 Nautilus）出现了监视器慢操作的警告。

问题现象

通过ceph -s命令，我们发现集群处于HEALTH_WARN状态，显示有多个慢操作：

health: HEALTH_WARN
        46 slow ops, oldest one blocked for 1943 sec, daemons [mon.ceph01,mon.ceph02,mon.ceph03,mon.ceph05,mon.ceph06] have slow ops.

更详细的健康状态显示：

ceph health detail

HEALTH_WARN 46 slow ops, oldest one blocked for 1958 sec, daemons [mon.ceph01,mon.ceph02,mon.ceph03,mon.ceph05,mon.ceph06] have slow ops.
SLOW_OPS 46 slow ops, oldest one blocked for 1958 sec, daemons [mon.ceph01,mon.ceph02,mon.ceph03,mon.ceph05,mon.ceph06] have slow ops.

问题分析

1. 确认监视器状态

首先，检查了监视器的状态，确认了Leader是ceph00：

# ceph mon stat
leader 0 ceph00, quorum 0,1,2,3,4,5,6 ceph00,ceph01,ceph03,ceph04,ceph05,ceph06,ceph02

2. 检查慢操作详情

通过查看监视器日志，发现慢操作的具体类型：

ssh ceph01 "grep -i slow /var/log/ceph/ceph-mon.ceph01.log | tail -n 100"

mon.ceph01@1(peon) e4 get_health_metrics reporting 13 slow ops, oldest is osd_alive(want up_thru 15179 have 15180)

这表明慢操作是OSD发送的osd_alive请求，希望更新其up_thru值。

3. 深入分析操作状态

使用ceph daemon mon.ceph01 ops命令查看操作详情，发现操作卡在了osdmap:wait_for_readable阶段：

{
    "description": "osd_alive(want up_thru 15179 have 15180)",
    "initiated_at": "2025-05-08 10:37:09.737061",
    "age": 2338.8131370760002,
    "duration": 2338.8134614989999,
    "type_data": {
        "events": [
            {
                "time": "2025-05-08 10:37:09.737061",
                "event": "initiated"
            },
            // ...其他事件...
            {
                "time": "2025-05-08 10:37:09.737584",
                "event": "osdmap:wait_for_readable"
            }
        ]
    }
}