第11章:故障诊断与处理11.1 常见故障类型与原因集群级故障故障类型症状常见原因集群Red存在未分配的主分片节点故障、磁盘满、分片损坏集群Yellow存在未分配的副本分片节点不足、磁盘满、副本数过多集群脑裂多个Master节点网络分区、Master配置错误集群无响应无法连接集群网络故障、ES进程挂掉、防火墙节点级故障故障类型症状常见原因节点OOM节点崩溃,OOM错误堆内存不足、查询内存消耗大节点CPU高CPU使用率90%查询复杂、聚合计算大、GC频繁节点磁盘满磁盘使用率95%数据增长快、未配置ILM节点离线节点状态离线网络故障、进程挂掉、硬件故障性能故障故障类型症状常见原因查询慢查询延迟500ms查询复杂、索引设计不合理、资源不足写入慢写入延迟100ms刷新间隔小、副本同步慢、资源不足聚合慢聚合延迟2s聚合桶数多、未预计算、资源不足GC频繁GC频率10次/秒堆内存不足、查询内存消耗大11.2 故障诊断工具链集群状态检查查看集群健康状态:GET_cluster/health查看节点状态:GET_cat/nodes?v查看分片状态:GET_cat/shards?vh=index,shard,prirep,state,docs,store,node查看未分配分片原因:GET_cluster/allocation/explain日志分析查看ES日志:tail-f/var/log/elasticsearch/my-cluster.log查看GC日志:tail-f/var/log/elasticsearch/gc.log查看慢查询日志:# 配置慢查询日志PUT/my_index/_settings{"index.search.slowlog.threshold.query.warn":"10s","index.search.slowlog.threshold.query.info":"5s","index.indexing.slowlog.threshold.index.warn":"10s"}