【Elasticsearch】Elasticsearch 核心技术（二）：映射

Elasticsearch 核心技术（二）：映射

1.什么是映射（Mapping）
- 1.1 元字段（Meta-Fields）
- 1.2 数据类型 vs 映射类型
- - 1.2.1 数据类型
  - 1.2.2 映射类型
2.实际运用案例
- 案例 1：电商产品索引映射
- 案例 2：动态模板设置
3.动态映射与静态映射详解
- 3.1 动态映射 (Dynamic Mapping)
- - 3.1.1 动态映射的三种模式
  - 3.1.2 动态映射示例
- 3.2 静态映射（Explicit Mapping）
- - 静态映射示例
- 3.3 对比
- 3.4 最佳实践建议
4.映射修改详解
- 4.1 可以修改的内容
- 4.2 不可修改的内容
- 4.3 修改映射的解决方案
- 4.4 案例：将字符串字段从 text 改为 keyword
- - 4.4.1 错误方式（直接修改会失败）
  - 4.4.2 正确方式（通过重建索引）
- 4.5 注意事项
5.注意事项

1.什么是映射（Mapping）

映射是 Elasticsearch 中定义文档及其包含字段如何存储和索引的过程。它相当于关系型数据库中的表结构定义，决定了：

每个字段的数据类型
字段是否被索引
字段的索引方式
字段的分析器设置
字段的格式（如日期格式）

1.1 元字段（Meta-Fields）

元字段是 Elasticsearch 为每个文档自动创建的内部字段，用于管理文档的元数据。常见的元字段包括：

标识元字段
- _index：文档所属的索引
- _id：文档的唯一 ID
文档源元字段
- _source：存储原始 JSON 文档
索引元字段
- _field_names：包含非空值的所有字段
路由元字段
- _routing：用于将给定文档路由到指定的分片。
其他元字段
- _meta：应用特定的元数据
- _version：文档版本号

例如 Kibana 中自带的 sample_data_ecommerce 示例数据。

在这里插入图片描述

下面框出来的就是元字段信息。

在这里插入图片描述

1.2 数据类型 vs 映射类型

1.2.1 数据类型

指字段值的具体类型，如：

核心类型：text、keyword、long、integer、short、byte、double、float、boolean、date
复杂类型：object、nested
地理类型：geo_point、geo_shape
特殊类型：ip、completion、token_count

1.2.2 映射类型

在 Elasticsearch 7.0 之前，索引可以包含多个类型（类似于表），但 7.0 之后已弃用，每个索引现在只有一个隐式的 _doc 类型。

2.实际运用案例

案例 1：电商产品索引映射

PUT /products
{
  "mappings": {
    "properties": {
      "name": { "type": "text", "analyzer": "ik_max_word" },
      "price": { "type": "double" },
      "description": { "type": "text" },
      "category": { "type": "keyword" },
      "tags": { "type": "keyword" },
      "created_at": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss" },
      "specs": { "type": "object" },
      "location": { "type": "geo_point" }
    }
  }
}

案例 2：动态模板设置

PUT /my_index
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_keywords": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "keyword"
          }
        }
      }
    ]
  }
}

3.动态映射与静态映射详解

3.1 动态映射 (Dynamic Mapping)

动态映射是 Elasticsearch 自动检测和创建字段映射的能力。当索引一个新文档时，如果包含未定义的字段，Elasticsearch 会根据字段值自动推断数据类型并创建映射。

3.1.1 动态映射的三种模式

true（默认）：自动添加新字段
false：忽略新字段（不索引但会存储在 _source 中）
strict：拒绝包含新字段的文档（抛出异常）

3.1.2 动态映射示例

# 创建索引时不定义映射（使用默认动态映射）
PUT /dynamic_index

# 插入包含新字段的文档
POST /dynamic_index/_doc/1
{
  "name": "John Doe",  # 自动识别为text字段
  "age": 30,          # 自动识别为long
  "birth_date": "1990-01-01",  # 自动识别为date
  "is_active": true,   # 自动识别为boolean
  "salary": 5000.50,   # 自动识别为float
  "tags": ["tech", "sports"],  # 自动识别为text数组
  "address": {         # 自动识别为object
    "street": "123 Main St",
    "city": "New York"
  }
}

查看自动生成的映射

GET /dynamic_index/_mapping

# 返回结果示例：
{
  "dynamic_index": {
    "mappings": {
      "properties": {
        "address": {
          "properties": {
            "city": { "type": "text", "fields": { "keyword": { "type": "keyword" } } },
            "street": { "type": "text", "fields": { "keyword": { "type": "keyword" } } }
          }
        },
        "age": { "type": "long" },
        "birth_date": { "type": "date" },
        "is_active": { "type": "boolean" },
        "name": { "type": "text", "fields": { "keyword": { "type": "keyword" } } },
        "salary": { "type": "float" },
        "tags": { "type": "text", "fields": { "keyword": { "type": "keyword" } } }
      }
    }
  }
}

3.2 静态映射（Explicit Mapping）

静态映射是手动预定义索引的字段结构和数据类型，在创建索引时明确指定每个字段的类型和属性。

静态映射示例

# 创建索引时明确定义映射
PUT /static_index
{
  "mappings": {
    "dynamic": "strict",  # 严格模式，禁止未定义的字段
    "properties": {
      "name": {
        "type": "text",
        "analyzer": "standard",
        "fields": {
          "keyword": { "type": "keyword" }
        }
      },
      "age": { "type": "integer" },
      "birth_date": {
        "type": "date",
        "format": "yyyy-MM-dd||epoch_millis"
      },
      "is_active": { "type": "boolean" },
      "salary": { "type": "scaled_float", "scaling_factor": 100 },
      "tags": {
        "type": "keyword"
      },
      "address": {
        "type": "object",
        "properties": {
          "street": { "type": "keyword" },
          "city": { "type": "keyword" },
          "coordinates": { "type": "geo_point" }
        }
      },
      "comments": {
        "type": "nested",
        "properties": {
          "user": { "type": "keyword" },
          "message": { "type": "text" },
          "rating": { "type": "byte" }
        }
      }
    }
  }
}

尝试插入未定义字段的文档

POST /static_index/_doc/1
{
  "name": "Jane Smith",
  "age": 28,
  "new_field": "test"  # 将抛出异常，因为dynamic=strict
}

# 错误响应：
{
  "error": {
    "root_cause": [
      {
        "type": "strict_dynamic_mapping_exception",
        "reason": "mapping set to strict, dynamic introduction of [new_field] within [_doc] is not allowed"
      }
    ]
  },
  "status": 400
}

3.3 对比

特性	动态映射	静态映射
字段创建方式	自动推断	手动预定义
灵活性	高	低
可控性	低	高
适合场景	开发初期、数据结构不确定	生产环境、数据结构稳定
性能影响	可能产生不理想的映射	可优化映射提升性能
维护成本	低（初期）高（后期整理）	高（前期）低（后期）
数据一致性	可能不一致	高度一致

3.4 最佳实践建议

开发阶段：可以使用动态映射快速原型开发。

PUT /dev_index
{
  "mappings": {
    "dynamic": true
  }
}

过渡阶段：使用动态模板（dynamic templates）控制自动映射。

PUT /transition_index
{
  "mappings": {
    "dynamic_templates": [
      {
        "strings_as_keywords": {
          "match_mapping_type": "string",
          "mapping": {
            "type": "keyword"
          }
        }
      }
    ]
  }
}

生产环境：推荐使用静态映射。

PUT /prod_index
{
  "mappings": {
    "dynamic": "strict",
    "properties": {
      // 明确定义所有字段
    }
  }
}

混合使用：可以结合两者优势。

PUT /hybrid_index
{
  "mappings": {
    "dynamic": "false",  # 不自动索引新字段，但存储在_source
    "properties": {
      // 明确定义已知字段
    }
  }
}

通过合理选择映射策略，可以在灵活性和可控性之间取得平衡，为不同阶段的业务需求提供最合适的解决方案。

4.映射修改详解

在 Elasticsearch 中，映射创建后是可以修改的，但有重要的限制和注意事项。

4.1 可以修改的内容

添加新字段：任何时候都可以向现有映射添加新字段。

PUT /my_index/_mapping
{
  "properties": {
    "new_field": { "type": "text" }
  }
}

修改某些字段属性：
- 可以更新 fields 多字段设置
- 可以修改 analyzer、search_analyzer 等分析相关设置
- 可以修改 ignore_above（keyword 字段）
- 可以修改 null_value 设置
动态映射规则：可以更新动态模板（dynamic templates）

4.2 不可修改的内容

字段数据类型：不能更改已有字段的数据类型。
- 例如：不能将 text 改为 keyword，不能将 long 改为 integer。
已索引的字段：不能更改已索引字段的基本结构。
- 例如：不能将单字段改为多字段。
字段名称：不能直接重命名字段。

4.3 修改映射的解决方案

当需要做不允许的修改时，可以考虑以下方案：

重建索引（Reindex）
- 创建新索引，定义新映射。
- 使用 Reindex API 将数据从旧索引复制到新索引。
- 示例：
```
POST _reindex
{
  "source": { "index": "old_index" },
  "dest": { "index": "new_index" }
}
```

使用别名（Alias）

创建指向新索引的别名。
无缝切换应用查询到新索引。

示例：

POST _aliases
{
  "actions": [
    { "remove": { "index": "old_index", "alias": "my_alias" } },
    { "add": { "index": "new_index", "alias": "my_alias" } }
  ]
}

多字段（Multi-fields）

为字段添加不同数据类型的多字段版本。

示例：

PUT /my_index/_mapping
{
  "properties": {
    "my_field": {
      "type": "text",
      "fields": {
        "keyword": { "type": "keyword" }
      }
    }
  }
}

4.4 案例：将字符串字段从 text 改为 keyword

4.4.1 错误方式（直接修改会失败）

PUT /my_index/_mapping
{
  "properties": {
    "category": { "type": "keyword" }  // 如果原先是text，这会报错
  }
}

4.4.2 正确方式（通过重建索引）

// 1. 创建新索引
PUT /my_index_v2
{
  "mappings": {
    "properties": {
      "category": { "type": "keyword" }
    }
  }
}

// 2. 重新索引数据
POST _reindex
{
  "source": { "index": "my_index" },
  "dest": { "index": "my_index_v2" }
}

// 3. 切换别名
POST _aliases
{
  "actions": [
    { "remove": { "index": "my_index", "alias": "products" } },
    { "add": { "index": "my_index_v2", "alias": "products" } }
  ]
}

4.5 注意事项

生产环境谨慎操作：映射更改可能影响现有查询和应用程序。
停机时间考虑：重建大索引可能需要时间，规划好维护窗口。
版本兼容性：Elasticsearch 不同版本对映射修改的支持可能不同。
监控影响：修改后监控集群性能和查询结果。
备份数据：重大映射修改前建议备份重要数据。
测试环境验证：先在测试环境验证映射修改的效果。

通过合理规划映射修改策略，可以在最小化影响的情况下实现索引结构的演进。

5.注意事项

提前规划映射：生产环境中应预先定义好映射，避免依赖动态映射
避免映射爆炸：
- 设置 index.mapping.total_fields.limit（默认 1000）
- 使用 dynamic: false 或 dynamic: strict 控制动态字段
合理选择数据类型：
- 需要全文搜索用 text，需要精确匹配/聚合用 keyword
- 数值类型选择最合适的范围（如能用 integer 就不用 long）
元字段使用：
- 不要修改 _source 字段，它是文档的原始 JSON
- 使用 _routing 优化查询性能
映射更新限制：
- 已有字段的映射类型不能更改
- 只能添加新字段或修改某些参数（如增加字段的 fields）
性能考虑：
- 避免过多的嵌套对象
- 对于不搜索的字段设置 "index": false
版本兼容性：
- Elasticsearch 7.x 及以后版本已移除映射类型概念
- 升级时要注意 API 变化