1. Prometheus告警规则基础从零理解rules.yml第一次接触Prometheus告警配置时我盯着rules.yml文件看了整整一个下午。这个看似简单的YAML文件实际上承载着整个监控系统的大脑功能。简单来说rules.yml就是告诉Prometheus当出现这些情况时给我发警报举个例子就像你家的智能门铃。rules.yml就是那个设置当有人按门铃超过10秒没人开门就发警报的规则。只不过在IT系统里我们要监控的是服务器内存、CPU、网络这些指标。企业级配置和玩具级demo的最大区别在于可维护性。我见过最糟糕的情况是一个2000行的rules.yml文件所有规则挤在一起半年后没人敢动。好的规则文件应该像乐高积木模块清晰、方便组合。2. 企业级rules.yml架构设计2.1 文件组织结构最佳实践经过多个项目的实战我总结出一个高效的文件结构/prometheus /rules /infra node.rules.yml disk.rules.yml network.rules.yml /middleware redis.rules.yml kafka.rules.yml elasticsearch.rules.yml /business order-service.rules.yml payment-service.rules.yml这种结构有三大优势故障隔离某个exporter出问题时不会影响其他规则加载团队协作不同团队负责各自的规则文件性能优化可以按目录热加载规则2.2 规则分组策略在单个规则文件中groups的使用很有讲究。我建议按业务影响程度分组groups: - name: critical-service-down # 服务不可用类 rules: - alert: RedisDown expr: redis_up 0 - name: resource-warning # 资源预警类 rules: - alert: HighCPU expr: node_cpu_usage 80 - name: business-metrics # 业务指标类 rules: - alert: OrderTimeout expr: order_processing_time_seconds 53. 告警规则配置详解3.1 黄金指标告警模板对于服务器监控这几个指标必须配置以Node Exporter为例- alert: HostOutOfMemory expr: (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes) * 100 10 for: 5m labels: severity: critical annotations: dashboard: {{ $labels.instance }} summary: 主机内存不足 ({{ $value }}% available) - alert: HostHighCPU expr: avg(rate(node_cpu_seconds_total{modeidle}[5m])) by (instance) 0.2 for: 10m labels: severity: warning注意几个关键点for持续时间要根据业务容忍度调整使用rate()处理计数器指标按instance聚合避免误报3.2 中间件告警实战技巧以Kafka为例这三个规则能覆盖90%的问题场景- alert: KafkaUnderReplicatedPartitions expr: kafka_server_ReplicaManager_UnderReplicatedPartitions 0 for: 15m labels: severity: critical annotations: impact: 可能导致数据丢失 - alert: KafkaOfflinePartitions expr: kafka_controller_OfflinePartitionsCount 0 for: 5m labels: severity: emergency - alert: KafkaRequestQueueFull expr: kafka_network_RequestChannel_RequestQueueSize 1000 for: 10m特别提醒Kafka的指标名称在不同版本中可能有变化一定要用curl localhost:metrics确认实际指标名。4. 高级告警管理策略4.1 告警分级与抑制通过标签实现三级告警体系labels: severity: critical|warning|info service: payment|order|inventory region: east|west然后在Alertmanager配置抑制规则inhibit_rules: - source_match: severity: critical target_match: severity: warning equal: [alertname]这样当出现critical告警时自动抑制同类型的warning告警避免告警风暴。4.2 动态阈值方案静态阈值经常误报我推荐使用历史数据动态计算- alert: UnusualNetworkTraffic expr: | ( rate(node_network_receive_bytes_total[5m]) * 8 on(instance) avg(rate(node_network_receive_bytes_total[5m] offset 1d)) by (instance) * 3 ) and ( rate(node_network_receive_bytes_total[5m]) * 8 1000000000 # 最低1Gbps阈值 ) for: 30m这个规则的意思是当前网络流量超过昨日同期的3倍且绝对值超过1Gbps时才告警。5. 规则测试与优化5.1 本地测试方法论我习惯用这套测试流程启动测试Prometheus实例加载规则文件查询ALERTS指标验证规则触发检查告警标签是否正确# 快速验证规则语法 promtool check rules /path/to/rules.yml # 模拟告警触发 curl -XPOST http://localhost:9090/-/reload5.2 性能优化技巧当规则超过100条时要注意避免频繁计算的表达式如rate()区间小于2m使用recording rules预计算常用指标定期清理过期规则可以通过prometheus_rule_evaluation_duration_seconds监控规则执行耗时。6. 典型配置错误分析6.1 新手常见坑点我整理了几个高频错误案例单位混淆# 错误忘记bytes转换 expr: node_filesystem_free_bytes 1073741824 # 1GB # 正确 expr: node_filesystem_free_bytes 1.073741824e9指标选择错误# 错误直接使用counter值 expr: node_network_receive_bytes_total 1000000000 # 正确使用rate expr: rate(node_network_receive_bytes_total[5m]) 1000000000for持续时间不当# 错误磁盘空间告警设置1h expr: node_filesystem_free_bytes 10GB for: 1h # 可能真的写满了 # 正确 for: 5m6.2 标签管理陷阱标签使用不当会导致告警难以处理# 反例缺少关键信息 annotations: summary: CPU使用率高 # 正例包含所有排障信息 annotations: summary: {{$labels.instance}} CPU使用率{{$value}}% dashboard: http://grafana/d/abcd?var-instance{{$labels.instance}} playbook: http://wiki/troubleshoot-high-cpu7. 企业级规则管理方案7.1 GitOps实践我们的生产环境采用这套工作流开发者在feature分支修改规则提交Pull RequestCI执行promtool test rules验证通过后自动同步到Prometheus服务器# CI测试脚本示例 promtool test rules test.yml \ promtool check rules *.yml \ kubectl apply -f rules-configmap.yaml7.2 规则版本控制在rules.yml中加入元信息groups: - name: metadata rules: - record: rules_version_info expr: vector(1) labels: version: 20230801 owner: sre-team这样在告警中就能追踪规则版本。8. 与Alertmanager的集成技巧8.1 告警路由优化在rules.yml中预设路由标签labels: team: database notify_type: sms,email然后在Alertmanager配置匹配路由route: receiver: database-pager match: team: database8.2 告警模板进阶使用Go模板增强告警信息annotations: summary: {{ template hostname . }} CPU超标 description: | {{ .Labels.instance }} 当前CPU使用率 {{ printf %.2f .Value }}% 最近1小时趋势: {{ query rate(node_cpu_seconds_total[1h]) | printf %v }}这个模板会动态插入实时查询结果让告警信息更有价值。