1.索引的定义

索引是具有相同数据结构的文档的集合，由唯一索引名称标定。一个集群中有多个索引，不同的索引代表不同的业务类型数据。比如：

• 将采集的不同业务类型的数据存储到不同的索引
  • 微博业务：weibo_index
  • 新闻业务：news_index
• 按日期切分存储日志索引
  • 2024 年 7 月的日志对应 logs_202407
  • 2024 年 8 月的日志对应 logs_202408

例如，通过以下命令创建名为 index_00001 的索引。

PUT index_00001

2.索引的命名规范

✅ 索引的命名规范如下：

• 只能使用小写字母，不能使用大写字母
• 不能包括 \ / * ? " < > | '' , # : 及空格等特殊符号
• 不能以 - _ + 作为开始字符
• 不能命名为 . 或者 ..
• 不能超过 $255$ 个字节
• 不建议使用中文命名

❌ 错误的命名方式

• 不允许：PUT INDEX_0002
• 不允许：PUT _index_0003
• 不允许：PUT index?_0004
• 不允许：PUT ..
• 不规范：PUT 索引0006

3.索引的增、删、改、查

以下示例展示了 Elasticsearch 中最常用的索引和文档操作。实际使用时，可以根据具体需求调整查询条件和参数。

3.1 创建索引

3.1.1 创建空索引

PUT /my_index
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 2
  },
  "mappings": {
    "properties": {
      "title": {
        "type": "text"
      },
      "description": {
        "type": "text"
      },
      "price": {
        "type": "float"
      },
      "created_at": {
        "type": "date"
      }
    }
  }
}

3.2 删除索引

DELETE /my_index

3.3 文档操作

3.3.1 添加/更新文档（指定ID）

PUT /my_index/_doc/1
{
  "title": "Elasticsearch Guide",
  "description": "A comprehensive guide to Elasticsearch",
  "price": 49.99,
  "created_at": "2023-01-15"
}

3.3.2 添加文档（自动生成ID）

POST /my_index/_doc
{
  "title": "Learning Elasticsearch",
  "description": "Beginner's guide to Elasticsearch",
  "price": 29.99,
  "created_at": "2023-02-20"
}

3.3.3 更新文档（部分更新）

POST /my_index/_update/1
{
  "doc": {
    "price": 39.99
  }
}

3.3.4 删除文档

DELETE /my_index/_doc/1

3.4 查询操作

3.4.1 获取单个文档

GET /my_index/_doc/1

3.4.2 搜索文档（简单查询）

GET /my_index/_search
{
  "query": {
    "match": {
      "title": "guide"
    }
  }
}

3.4.3 复合查询

GET /my_index/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "title": "guide" } }
      ],
      "filter": [
        { "range": { "price": { "lte": 50 } } }
      ]
    }
  },
  "sort": [
    { "created_at": { "order": "desc" } }
  ],
  "from": 0,
  "size": 10
}

3.4.4 聚合查询

GET /my_index/_search
{
  "size": 0,
  "aggs": {
    "avg_price": {
      "avg": { "field": "price" }
    },
    "price_ranges": {
      "range": {
        "field": "price",
        "ranges": [
          { "to": 20 },
          { "from": 20, "to": 50 },
          { "from": 50 }
        ]
      }
    }
  }
}

3.5 批量操作

3.5.1 批量索引文档

POST /my_index/_bulk
{ "index": { "_id": "2" } }
{ "title": "Advanced Elasticsearch", "description": "For experienced users", "price": 59.99, "created_at": "2023-03-10" }
{ "index": { "_id": "3" } }
{ "title": "Elasticsearch Cookbook", "description": "Practical recipes", "price": 45.50, "created_at": "2023-04-05" }

3.5.2 批量更新/删除

POST /my_index/_bulk
{ "update": { "_id": "2" } }
{ "doc": { "price": 55.99 } }
{ "delete": { "_id": "3" } }

4.索引别名

4.1 什么是索引别名？

索引别名（Index Alias）是 Elasticsearch 中一个指向一个或多个索引的虚拟名称。它就像是一个指针或快捷方式，允许你通过一个名称来引用实际的索引，而不需要直接使用索引的真实名称。

4.2 索引别名的作用

• 简化索引管理：为复杂的索引名称提供简单的别名。
• 无缝切换索引：在不更改应用代码的情况下切换底层索引。
• 实现零停机维护：重建索引时不影响查询。
• 分组查询：通过一个别名查询多个索引。
• 权限控制：为不同用户提供不同的别名访问同一索引。
• 实现索引生命周期策略：如热温冷架构。

4.3 具体实现方法

4.3.1 创建别名

# 为单个索引创建别名
POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "products_2023",
        "alias": "current_products"
      }
    }
  ]
}

4.3.2 为多个索引创建别名

POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "products_2023_q1",
        "alias": "all_products"
      }
    },
    {
      "add": {
        "index": "products_2023_q2",
        "alias": "all_products"
      }
    }
  ]
}

4.3.3 切换别名（原子操作）

POST /_aliases
{
  "actions": [
    {
      "remove": {
        "index": "products_2023",
        "alias": "current_products"
      }
    },
    {
      "add": {
        "index": "products_2024",
        "alias": "current_products"
      }
    }
  ]
}

4.3.4 带过滤条件的别名

POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "products",
        "alias": "high_value_products",
        "filter": {
          "range": {
            "price": {
              "gte": 1000
            }
          }
        }
      }
    }
  ]
}

4.3.5 查看别名信息

GET /_alias/current_products
GET /products_2023/_alias

4.4 使用示例场景

场景1：索引重建与零停机切换

• 创建新索引并导入数据

PUT /products_2024_v2
{
  "settings": { /* 新设置 */ },
  "mappings": { /* 新映射 */ }
}

# 导入数据到新索引...

• 原子切换别名

POST /_aliases
{
  "actions": [
    {
      "remove": {
        "index": "products_2024_v1",
        "alias": "current_products"
      }
    },
    {
      "add": {
        "index": "products_2024_v2",
        "alias": "current_products"
      }
    }
  ]
}

场景2：分片查询

# 创建按月分片的索引
PUT /logs_2023-01
PUT /logs_2023-02
PUT /logs_2023-03

# 创建全局别名
POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "logs_2023-*",
        "alias": "logs_2023"
      }
    }
  ]
}

# 查询时可以使用别名查询所有分片
GET /logs_2023/_search
{
  "query": {
    "match_all": {}
  }
}

4.5 注意事项

• 性能考虑
  • 别名指向多个索引时，查询会分散到所有索引
  • 过多的索引可能导致查询性能下降
• 写入限制
  • 一个别名只能指向一个索引时才能用于写入操作
  • 多索引别名只能用于读取
• 过滤别名
  • 过滤条件会增加查询开销
  • 复杂的过滤条件可能影响性能
• 别名与索引关系
  • 删除索引不会自动删除关联的别名
  • 别名可以独立于索引存在
• 权限控制
  • 确保应用程序只有别名访问权限而非实际索引
  • 可以通过别名实现数据访问隔离
• 监控与维护
  • 定期检查别名配置是否正确
  • 避免创建循环引用

4.6 实际应用案例

电商平台商品索引管理

• 初始设置

PUT /products_v1
POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "products_v1",
        "alias": "products"
      }
    }
  ]
}

• 应用代码始终使用 products 别名

# 查询
GET /products/_search

# 写入
POST /products/_doc

• 需要重建索引时

# 创建新索引
PUT /products_v2
{
  "settings": {
    "number_of_shards": 5
  },
  "mappings": {
    "properties": {
      "name": { "type": "text" },
      "price": { "type": "scaled_float", "scaling_factor": 100 }
    }
  }
}

# 导入数据到新索引...

# 原子切换
POST /_aliases
{
  "actions": [
    {
      "remove": {
        "index": "products_v1",
        "alias": "products"
      }
    },
    {
      "add": {
        "index": "products_v2",
        "alias": "products"
      }
    }
  ]
}

# 可选的：删除旧索引
DELETE /products_v1

通过这种方式，应用代码不需要任何修改即可切换到新索引，实现了零停机索引迁移。

5.索引模板

5.1 什么是索引模板？

索引模板（Index Template）是 Elasticsearch 中一种自动为新创建的索引应用预定义配置（包括设置、映射和别名）的机制。当新索引的名称与模板中定义的模式匹配时，Elasticsearch 会自动将模板中的配置应用到该索引。

5.2 索引模板主要解决的业务问题

• 标准化配置管理：确保遵循统一的索引结构标准。
• 自动化索引创建：减少人工干预和配置错误。
• 大规模索引管理：简化大量相似索引的管理工作。
• 动态索引场景：处理按时间、业务分片的索引（如日志、时间序列数据）。
• 一致性保障：确保所有匹配索引具有相同的设置和映射。

5.3 索引模板类型

Elasticsearch $7.8+$ 支持两种模板类型：

• 传统模板（Legacy Templates）：适用于索引。
• 组件模板（Component Templates）：可复用的模板模块。

5.4 具体实现方法

5.4.1 创建简单索引模板

PUT /_index_template/logs_template
{
  "index_patterns": ["logs-*"],  // 匹配所有以logs-开头的索引
  "template": {
    "settings": {
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "index.lifecycle.name": "logs_policy"  // 关联ILM策略
    },
    "mappings": {
      "properties": {
        "@timestamp": {
          "type": "date"
        },
        "level": {
          "type": "keyword"
        },
        "message": {
          "type": "text"
        },
        "service": {
          "type": "keyword"
        }
      }
    },
    "aliases": {
      "all_logs": {}  // 为匹配索引自动添加别名
    }
  },
  "priority": 200,  // 优先级(越高越优先)
  "version": 1,
  "_meta": {
    "description": "日志索引模板"
  }
}

5.4.2 使用组件模板（更模块化）

# 创建组件模板1：基础设置
PUT /_component_template/logs_settings
{
  "template": {
    "settings": {
      "number_of_shards": 3,
      "number_of_replicas": 1,
      "index.lifecycle.name": "logs_policy"
    }
  }
}

# 创建组件模板2：日志映射
PUT /_component_template/logs_mappings
{
  "template": {
    "mappings": {
      "properties": {
        "@timestamp": { "type": "date" },
        "level": { "type": "keyword" },
        "message": { "type": "text" }
      }
    }
  }
}

# 组合组件模板创建索引模板
PUT /_index_template/logs_composite_template
{
  "index_patterns": ["logs-*"],
  "composed_of": ["logs_settings", "logs_mappings"],
  "priority": 200,
  "version": 2
}

5.5 实际应用案例

案例 1：电商平台订单索引

业务需求：每天创建一个新索引存储订单数据，确保所有订单索引结构一致

PUT /_index_template/orders_daily_template
{
  "index_patterns": ["orders-*"],
  "template": {
    "settings": {
      "number_of_shards": 5,
      "number_of_replicas": 2,
      "index.refresh_interval": "30s"
    },
    "mappings": {
      "properties": {
        "order_id": { "type": "keyword" },
        "customer_id": { "type": "keyword" },
        "order_date": { "type": "date" },
        "amount": { "type": "double" },
        "items": {
          "type": "nested",
          "properties": {
            "product_id": { "type": "keyword" },
            "quantity": { "type": "integer" },
            "price": { "type": "double" }
          }
        }
      }
    },
    "aliases": {
      "current_orders": {}
    }
  },
  "priority": 100
}

# 每天自动创建索引（应用会使用日期创建索引如orders-2023-10-01）
# 由于匹配orders-*模式，模板配置会自动应用

案例 2：多租户 SaaS 应用

业务需求：为每个客户创建独立索引，但保持统一结构

PUT /_index_template/tenant_data_template
{
  "index_patterns": ["tenant_*"],
  "template": {
    "settings": {
      "number_of_shards": 2,
      "analysis": {
        "analyzer": {
          "tenant_analyzer": {
            "type": "custom",
            "tokenizer": "standard",
            "filter": ["lowercase"]
          }
        }
      }
    },
    "mappings": {
      "properties": {
        "tenant_id": { "type": "keyword" },
        "content": {
          "type": "text",
          "analyzer": "tenant_analyzer"
        },
        "created_at": { "type": "date" }
      }
    }
  }
}

# 当创建tenant_acme、tenant_xyz等索引时，模板会自动应用

5.6 使用时注意事项

• 优先级冲突
  • 多个模板可能匹配同一个索引名称。
  • 使用 priority 字段明确优先级（数值越大优先级越高）。
  • 建议为不同模式设置明确的优先级。
• 模板应用时机
  • 只在索引创建时应用。
  • 对已有索引的修改不会触发模板重新应用。
• 版本控制
  • 使用 version 字段跟踪模板版本。
  • 更新模板时递增版本号。
• 索引模式设计
  • 模式应足够具体以避免意外匹配。
  • 如 logs-app-* 比 logs-* 更明确。
• 组件模板优势
  • 7.8+ 版本推荐使用组件模板。
  • 提高配置复用性。
  • 便于维护和更新。
• 系统模板
  • Elasticsearch 有内置系统模板（如 .monitoring-*）。
  • 避免与系统模板冲突。
• 模板查看与管理

  # 查看所有模板
  GET /_index_template
  
  # 查看特定模板
  GET /_index_template/<template_name>
  
  # 删除模板
  DELETE /_index_template/<template_name>
  

• 测试验证：
  • 使用模拟索引创建测试模板效果。

  POST /_index_template/_simulate/index/test_logs-001
  {
    "index_patterns": ["logs-*"],
    "template": {
      "settings": {
        "number_of_shards": 2
      }
    }
  }
  

5.7 最佳实践建议

• 命名规范
  • 为模板使用描述性名称（如 ecommerce_orders_template）。
  • 索引模式使用明确的前缀/后缀（如 metric-*-prod）。
• 文档化
  • 使用 _meta 字段记录模板用途和变更历史。

  "_meta": {
    "description": "用于存储所有产品日志",
    "created_by": "data_team",
    "version": "1.1"
  }
  

• 版本控制
  • 将模板配置纳入版本控制系统。
  • 实现模板的 CI/CD 流程。
• 监控模板使用
  • 定期检查哪些索引应用了哪些模板。
  • 监控模板匹配情况。
• 与 ILM 策略结合

  "settings": {
    "index.lifecycle.name": "hot_warm_cold_policy",
    "index.lifecycle.rollover_alias": "logs_alias"
  }
  

通过合理使用索引模板，可以显著提高 Elasticsearch 集群的管理效率，确保索引配置的一致性，并为动态索引场景提供自动化支持。