1.什么是 ILM 策略？

ILM（Index Lifecycle Management，索引生命周期管理）是 Elasticsearch 提供的一种自动化管理索引生命周期的机制。它允许用户根据预先定义的策略，自动执行索引的 滚动更新（rollover）、分片分配、冻结和删除 等操作，无需人工干预。

2.ILM 解决的核心业务问题

• 自动化索引管理：减少人工维护成本。
• 存储优化：自动将旧数据迁移到成本更低的存储层。
• 性能优化：根据数据热度自动调整资源配置。
• 数据保留合规：自动清理过期数据。
• 资源利用率提升：合理分配集群资源。

3.ILM 生命周期阶段

ILM 策略包含四个可配置的阶段。

3.1 Hot（热阶段）

• 索引正在被频繁写入和查询。
• 需要高性能资源配置。
• 通常配置滚动更新（rollover）条件。

3.2 Warm（温阶段）

• 索引不再被写入，但仍被频繁查询。
• 可以降低资源配置。
• 可执行分片合并（forcemerge）、只读设置等。

3.3 Cold（冷阶段）

• 索引很少被查询，但需要保留。
• 可以转移到更经济的存储。
• 可冻结索引（freeze）以减少资源占用。

3.4 Delete（删除阶段）

• 索引达到保留期限。
• 自动删除释放空间。

4.如何创建 ILM 策略

4.1 基本 ILM 策略示例

PUT /_ilm/policy/logs_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_size": "50GB",
            "max_age": "30d",
            "max_docs": 10000000
          },
          "set_priority": {
            "priority": 100
          }
        }
      },
      "warm": {
        "min_age": "7d",
        "actions": {
          "forcemerge": {
            "max_num_segments": 1
          },
          "allocate": {
            "number_of_replicas": 1,
            "require": {
              "data": "warm"
            }
          },
          "set_priority": {
            "priority": 50
          }
        }
      },
      "cold": {
        "min_age": "30d",
        "actions": {
          "allocate": {
            "require": {
              "data": "cold"
            }
          },
          "freeze": {},
          "set_priority": {
            "priority": 0
          }
        }
      },
      "delete": {
        "min_age": "90d",
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

5.ILM 核心操作详解

5.1 Rollover（滚动更新）

作用：当索引达到指定条件时自动创建新索引。

常见触发条件：

• max_age：自索引创建后的最长时间。
• max_docs：索引包含的最大文档数。
• max_size：索引的最大主分片大小。

使用示例：

PUT /_ilm/policy/my_rollover_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_age": "7d",
            "max_size": "50GB"
          }
        }
      }
    }
  }
}

5.2 Shrink（收缩索引）

作用：减少主分片数量。

适用场景：

• 索引不再写入后。
• 减少分片数以节省资源。

示例配置：

"warm": {
  "actions": {
    "shrink": {
      "number_of_shards": 1
    }
  }
}

5.3 Force Merge（强制合并段）

作用：合并分段以减少资源占用和提高查询性能.

示例配置：

"warm": {
  "actions": {
    "forcemerge": {
      "max_num_segments": 1
    }
  }
}

5.4 Freeze（冻结索引）

作用：将索引设为只读并减少内存占用。

示例配置：

"cold": {
  "actions": {
    "freeze": {}
  }
}

6.实际应用案例

案例 1：日志管理系统

需求：

• 热数据保留 $7$ 天，高性能存储。
• 温数据保留 $30$ 天，标准存储。
• 冷数据保留 $90$ 天，低成本存储。
• 最终自动删除。

ILM 策略：

PUT /_ilm/policy/logs_management_policy_v2
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",           # 明确从索引创建开始
        "actions": {
          "rollover": {
            "max_age": "7d",        # 更合理的rollover周期
            "max_size": "50GB",
            "max_docs": 10000000
          },
          "set_priority": {
            "priority": 100
          }
        }
      },
      "warm": {
        "min_age": "7d",            # 从索引创建后7天进入warm
        "actions": {
          "forcemerge": {
            "max_num_segments": 1
          },
          "allocate": {
            "number_of_replicas": 1,
            "require": {
              "data": "warm"        # 明确要求warm节点
            }
          },
          "set_priority": {
            "priority": 50
          }
        }
      },
      "cold": {
        "min_age": "30d",           # 从创建后30天进入cold
        "actions": {
          "allocate": {
            "require": {
              "data": "cold"       # 明确要求cold节点
            }
          },
          "freeze": {},             # 冻结索引节省资源
          "set_priority": {
            "priority": 0
          }
        }
      },
      "delete": {
        "min_age": "90d",           # 从创建后90天删除
        "actions": {
          "delete": {
            "delete_searchable_snapshot": true  # 可选：删除前检查快照
          }
        }
      }
    }
  }
}

配套的索引模板示例

PUT /_index_template/logs_template
{
  "index_patterns": ["logs-*"],
  "template": {
    "settings": {
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "index.lifecycle.name": "logs_management_policy_v2",
      "index.lifecycle.rollover_alias": "logs"
    },
    "mappings": {
      "properties": {
        "@timestamp": { "type": "date" },
        "log_level": { "type": "keyword" },
        "message": { "type": "text" }
      }
    }
  }
}

案例 2：电商订单数据

需求：

• 热阶段：处理当前订单（高优先级）。
• 温阶段：近期订单可查询（优化存储）。
• 冷阶段：归档订单（低成本存储）。
• $3$ 年后自动删除。

ILM 策略：

PUT /_ilm/policy/orders_policy
{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": {
            "max_age": "7d"
          },
          "set_priority": {
            "priority": 100
          }
        }
      },
      "warm": {
        "min_age": "30d",
        "actions": {
          "allocate": {
            "require": {
              "data": "warm"
            }
          }
        }
      },
      "cold": {
        "min_age": "365d",
        "actions": {
          "allocate": {
            "require": {
              "data": "cold"
            }
          }
        }
      },
      "delete": {
        "min_age": "1095d",  // 3年
        "actions": {
          "delete": {}
        }
      }
    }
  }
}

7.使用注意事项

7.1 节点属性配置

• 需要为温冷数据节点配置属性

# 在elasticsearch.yml中
node.attr.data: warm
# 或
node.attr.data: cold

7.2 监控 ILM 执行

GET /_ilm/status
GET /_ilm/policy/logs_policy
GET logs-*/_ilm/explain

7.3 常见问题处理

• 策略不生效：检查 min_age 设置（默认是上次 rollover 后时间）。
• 阶段卡住：使用 GET _ilm/explain 诊断。
• 权限问题：确保用户有足够权限。

7.4 性能考虑

• Force merge 操作资源消耗大，应在低峰期执行。
• 避免过于频繁的 rollover（会产生大量小索引）。

7.5 与索引模板结合

PUT /_index_template/logs_template
{
  "index_patterns": ["logs-*"],
  "template": {
    "settings": {
      "index.lifecycle.name": "logs_policy",
      "index.lifecycle.rollover_alias": "logs"
    }
  }
}

7.6 测试策略

POST /_ilm/move/logs-000001
{
  "current_step": {
    "phase": "new",
    "action": "complete",
    "name": "complete"
  },
  "next_step": {
    "phase": "hot",
    "action": "rollover",
    "name": "attempt-rollover"
  }
}

8.最佳实践

8.1 合理设置阶段过渡时间

• 根据业务访问模式设置 min_age。
• 热 → 温：通常 $1-7$ 天。
• 温 → 冷：$7-30$天。

8.2 优先级设置

"set_priority": {
  "priority": 100  // 热阶段最高
}

8.3 结合快照备份

• 重要数据在删除前应考虑备份。
• 可以使用 SLM（Snapshot Lifecycle Management）。

8.4 容量规划

• 根据 rollover 条件预估索引数量。
• 监控各阶段存储使用情况。

8.5 版本兼容性

• ILM 在 Elasticsearch $6.6+$ 可用。
• $7.x$ 后功能更完善。

通过合理配置 ILM 策略，可以实现索引的全生命周期自动化管理，显著降低运维成本，同时优化存储和查询性能。