Elasticsearch核心架构:Index索引详解与管理操作大全

news2026/5/8 1:18:13
Elasticsearch核心架构Index索引详解与管理操作大全一、前言二、Elasticsearch Index基础定义2.1 什么是 Index 索引2.2 索引核心特点2.3 ES 索引与数据库概念对比三、Elasticsearch Index内部架构与流程图3.1 索引内部组成结构图3.2 索引工作流程图文档写入3.3 流程一句话总结四、Index 索引核心组成部分4.1 Mapping字段映射4.2 Setting索引配置4.3 Shard分片4.4 Document文档五、Elasticsearch 索引核心作用5.1 作用一统一数据组织与管理5.2 作用二构建倒排索引实现快速检索5.3 作用三分布式存储与扩展5.4 作用四高可用与故障转移5.5 作用五独立配置与性能调优六、如何管理 Elasticsearch 索引实战操作6.1 管理操作1创建索引最核心6.2 管理操作2查看所有索引6.3 管理操作3查看索引 Mapping6.4 管理操作4查看索引 Setting6.5 管理操作5修改索引副本数6.6 管理操作6关闭/打开索引6.7 管理操作7删除索引6.8 管理操作8重建索引数据迁移/分片修改6.9 管理操作9刷新索引立即让数据可搜索七、索引管理生产环境常用命令速查表八、索引设计与管理生产最佳实践8.1 合理设置主分片数8.2 合理设置副本数8.3 提前设置 Mapping8.4 禁止使用通配符删除索引8.5 大索引采用滚动索引九、总结索引核心要点文末总结总结The Begin点点关注收藏不迷路一、前言在 Elasticsearch 的世界里Index索引是数据存储的顶层容器是所有文档、分片、映射、配置的集合体。可以说没有索引就无法存储数据不会管理索引就无法运维 ES 集群。索引的设计与管理直接决定集群性能、数据安全、查询效率。本文从索引定义、核心结构、原理流程图、常用管理操作、生产最佳实践全方位讲解让你彻底掌握 ES 索引。二、Elasticsearch Index基础定义2.1 什么是 Index 索引Index索引Elasticsearch 中具有相同字段结构、用于高效检索的文档集合是逻辑容器 物理文件的统一体。简单理解对应 MySQL 中的数据库Database对应 MongoDB 中的集合Collection一个索引包含大量具有相同结构的 JSON 文档2.2 索引核心特点具有独立 Mapping 结构字段类型、分词器由多个主分片 副本分片组成分布式存储支持增删改查、动态配置支持设置副本数、刷新间隔、分片分配等对外提供统一的文档读写服务2.3 ES 索引与数据库概念对比Elasticsearch关系型数据库 MySQLIndex索引Database数据库Document文档Row一行数据Field字段Column列Mapping映射Table Schema表结构Shard分片分区/分表三、Elasticsearch Index内部架构与流程图3.1 索引内部组成结构图Index 索引主分片1主分片2主分片3副本1副本2副本3Mapping 映射Setting 设置大量 Document 文档3.2 索引工作流程图文档写入客户端写入文档协调节点根据ID路由到主分片写入索引对应的分片同步到副本分片写入成功可被搜索查询3.3 流程一句话总结索引 分片物理 Mapping结构 Setting配置 文档数据写入路由 → 分片 → 副本 → 可检索四、Index 索引核心组成部分4.1 Mapping字段映射定义索引中字段的数据类型text / keyword / integer / date / boolean 等定义分词器、是否索引、是否存储4.2 Setting索引配置配置索引的分布式与性能参数主分片数number_of_shards副本数number_of_replicas刷新间隔refresh_interval分片分配、路由等4.3 Shard分片索引的物理存储单元主分片写入数据副本分片备份、查询、容灾4.4 Document文档索引存储的真实业务数据JSON 格式最小数据单元五、Elasticsearch 索引核心作用5.1 作用一统一数据组织与管理将同类数据如用户数据、订单数据归类存储方便业务隔离与管理。5.2 作用二构建倒排索引实现快速检索对文档字段分词、建立倒排索引实现海量数据毫秒级查询。5.3 作用三分布式存储与扩展通过分片机制将数据分散到多节点支持PB级海量存储。5.4 作用四高可用与故障转移通过副本机制保证节点宕机不丢失数据、不中断服务。5.5 作用五独立配置与性能调优不同索引可独立设置分片、副本、刷新间隔实现业务级性能优化。六、如何管理 Elasticsearch 索引实战操作索引管理包含创建、查询、修改、删除、打开/关闭、复制、重建等操作。6.1 管理操作1创建索引最核心PUT /my_index { settings: { number_of_shards: 3, // 主分片数创建后不能改 number_of_replicas: 1 // 副本数可动态修改 }, mappings: { properties: { name: { type: text }, age: { type: integer }, city: { type: keyword } } } }6.2 管理操作2查看所有索引GET /_cat/indices?v关键字段健康状态、索引名、文档数、磁盘大小、分片数、副本数。6.3 管理操作3查看索引 MappingGET /my_index/_mapping6.4 管理操作4查看索引 SettingGET /my_index/_settings6.5 管理操作5修改索引副本数PUT /my_index/_settings { number_of_replicas: 2 }6.6 管理操作6关闭/打开索引# 关闭不再读写释放资源 POST /my_index/_close # 打开 POST /my_index/_open6.7 管理操作7删除索引DELETE /my_index⚠️ 危险操作生产环境谨慎执行。6.8 管理操作8重建索引数据迁移/分片修改主分片数无法修改必须通过重建索引实现POST /_reindex { source: { index: old_index }, dest: { index: new_index } }6.9 管理操作9刷新索引立即让数据可搜索POST /my_index/_refresh七、索引管理生产环境常用命令速查表操作请求方式命令创建索引PUT/index_name查看所有索引GET/_cat/indices?v查看映射GET/index_name/_mapping修改副本PUT/index_name/_settings关闭索引POST/index_name/_close删除索引DELETE/index_name重建索引POST/_reindex刷新索引POST/index_name/_refresh八、索引设计与管理生产最佳实践8.1 合理设置主分片数单分片大小推荐30GB~50GB主分片数一旦设置永久无法修改预估数据量 分片数 × 50GB8.2 合理设置副本数测试环境0生产环境1~2副本越多查询性能越高但写入越慢8.3 提前设置 Mapping禁止自动映射避免字段类型错误导致查询失败。8.4 禁止使用通配符删除索引禁止执行DELETE /*防止误删所有索引。8.5 大索引采用滚动索引日志类数据使用index-2025-01-01按天滚动方便管理与删除。九、总结索引核心要点Index 是 ES 顶层数据容器对应数据库索引 分片 Mapping Setting 文档主分片不可修改副本可动态修改管理操作增删改查、关闭、重建、刷新索引设计优劣直接决定集群性能文末总结Index 索引是 Elasticsearch 存储与查询的核心载体。理解索引结构 理解 ES 数据存储原理。索引管理是运维最常用、最重要的能力生产环境必须合理规划分片、Mapping、副本规范索引管理才能让 ES 集群稳定、高效、安全运行总结Index 定义ES顶层数据容器同类文档的集合对应数据库索引组成分片物理 Mapping字段 Setting配置 文档数据核心作用数据组织、快速检索、分布式存储、高可用、性能调优管理操作创建、查询、修改、删除、关闭、重建、刷新生产规则主分片合理规划、提前定义Mapping、谨慎删除索引The End点点关注收藏不迷路

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2531531.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…