Elasticsearch01(分布式搜索、倒排索引、数据聚合)

news2026/5/18 22:46:22
文章目录day08-Elasticsearch 学习总结一、为什么需要Elasticsearch1. 数据库搜索的问题2. Elasticsearch的优势二、Elasticsearch基础概念1. 核心组件2. 安装与端口3. 核心概念对比与MySQL三、倒排索引核心原理1. 正向索引MySQL2. 倒排索引ES3. 两种索引对比四、IK分词器1. 作用2. 分词模式3. 扩展词典五、索引库操作1. Mapping映射属性2. 字段类型说明3. 索引库CRUDRestful API六、文档操作1. 文档CRUD2. 批处理Bulk七、RestClientJavaAPI1. 初始化2. 索引库操作indices()3. 文档操作4. 文档实体转换八、今日核心知识点Elasticsearch 校招面试常问问题总结一、基础概念类1. 为什么要用Elasticsearch和数据库搜索有什么区别2. 倒排索引是什么原理是什么3. 正向索引和倒排索引的区别4. ES和MySQL的概念对应关系二、索引库与映射类5. Mapping映射有哪些重要属性6. text和keyword的区别7. 索引库创建后能修改吗三、分词器类8. IK分词器的作用有几种模式9. 遇到新词如泰裤辣无法分词怎么办四、文档操作类10. 文档的增删改查怎么实现11. 全量修改和局部修改的区别12. 批量导入怎么做五、JavaAPI类13. 怎么用Java操作ES14. 索引库操作的步骤15. 文档操作的步骤六、项目实践类16. 你们项目哪些地方用了ES17. 索引库结构怎么设计的18. 数据库和ES数据怎么同步七、常见坑点19. 模糊查询用text还是keyword20. 索引库字段类型选错怎么办21. IK分词器不生效22. 批量导入性能问题八、校招ES考察重点排序day08-Elasticsearch 学习总结一、为什么需要Elasticsearch1. 数据库搜索的问题查询效率低模糊查询like不走索引数据量大时性能急剧下降功能单一只能精确匹配无法处理错别字、同义词、拼音等2. Elasticsearch的优势高性能搜索基于倒排索引海量数据下搜索性能稳定功能丰富支持错别字纠正、同义词、拼音搜索、地理搜索等二、Elasticsearch基础概念1. 核心组件组件作用Elasticsearch数据存储、搜索、分析引擎Kibana可视化控制台提供DevTools操作ESLogstash/Beats数据采集工具2. 安装与端口elasticsearch9200HTTP、9300TCPkibana56013. 核心概念对比与MySQLMySQLElasticsearch说明TableIndex索引文档的集合RowDocument文档JSON格式的数据ColumnField字段JSON中的键值对SchemaMapping映射字段约束类型、分词器等SQLDSLJSON风格的查询语句三、倒排索引核心原理1. 正向索引MySQL原理根据id找文档模糊查询时全表扫描缺点非索引字段搜索效率低2. 倒排索引ES原理对文档内容分词得到词条建立词条 → 文档id的映射表搜索时先找词条再找文档优点词条搜索速度快适合模糊匹配3. 两种索引对比类型原理适用场景正向索引文档 → 词条精确查询如id倒排索引词条 → 文档模糊搜索、全文检索四、IK分词器1. 作用对文档内容分词建立倒排索引对用户输入分词匹配索引2. 分词模式模式说明ik_smart智能切分粗粒度ik_max_word最细切分细粒度3. 扩展词典问题新词如泰裤辣无法正确分词解决在IK配置文件中添加扩展词典ext.dic停用词典过滤无意义词如的、“是”五、索引库操作1. Mapping映射属性属性说明示例type字段类型text、keyword、integer、boolean、date、objectindex是否创建索引true/falseanalyzer分词器ik_smart、ik_max_wordproperties子字段对象类型字段的子字段2. 字段类型说明类型适用场景text需要分词搜索的文本如商品名称keyword精确值不分词如品牌、分类integer/long整数如价格、库存boolean布尔值如是否广告date日期时间3. 索引库CRUDRestful API操作请求方式路径说明创建索引PUT/索引库名带mapping映射查询索引GET/索引库名查看mapping删除索引DELETE/索引库名不可恢复修改索引PUT/索引库名/_mapping只能添加字段不能修改六、文档操作1. 文档CRUD操作请求方式路径说明新增文档POST/索引库/_doc/文档idid不指定则自动生成查询文档GET/索引库/_doc/文档id根据id查询删除文档DELETE/索引库/_doc/文档id根据id删除全量修改PUT/索引库/_doc/文档id覆盖整个文档局部修改POST/索引库/_update/文档id只修改指定字段2. 批处理Bulk一次性发送多个操作新增、删除、修改提高导入效率七、RestClientJavaAPI1. 初始化引入依赖elasticsearch-rest-high-level-client创建RestHighLevelClient对象配置ES地址、连接超时等2. 索引库操作indices()操作请求对象方法创建索引CreateIndexRequestclient.indices().create()查询索引GetIndexRequestclient.indices().exists()删除索引DeleteIndexRequestclient.indices().delete()3. 文档操作操作请求对象方法新增IndexRequestclient.index()查询GetRequestclient.get()删除DeleteRequestclient.delete()修改UpdateRequestclient.update()批量BulkRequestclient.bulk()4. 文档实体转换数据库实体Item→ 索引库实体ItemDoc→ JSON查询结果JSON → 反序列化为Java对象八、今日核心知识点模块技术点作用原理倒排索引理解ES高性能搜索的核心分词IK分词器中文分词、扩展词典索引库Mapping映射定义字段类型、分词器索引库Restful API索引库的增删改查文档文档CRUD文档的增删改查文档批处理批量导入数据JavaAPIRestHighLevelClientJava操作ESElasticsearch 校招面试常问问题总结一、基础概念类1. 为什么要用Elasticsearch和数据库搜索有什么区别问为什么不用MySQL的like查询要用ES答MySQL模糊查询不走索引大数据量性能差ES基于倒排索引搜索快支持错别字、同义词等2. 倒排索引是什么原理是什么问说说ES的倒排索引原理答对文档分词得到词条建立词条→文档id的映射搜索时先找词条再找文档速度快3. 正向索引和倒排索引的区别问正向索引和倒排索引有什么区别答正向索引是文档→词条适合精确查询倒排索引是词条→文档适合模糊搜索4. ES和MySQL的概念对应关系问ES中的索引、文档、字段对应MySQL的什么答索引→表文档→行字段→列映射→表结构二、索引库与映射类5. Mapping映射有哪些重要属性问ES的mapping中type、index、analyzer分别有什么用答type字段类型index是否创建索引analyzer分词器6. text和keyword的区别问text类型和keyword类型有什么区别答text分词搜索keyword精确匹配不分词7. 索引库创建后能修改吗问ES的索引库创建后还能修改字段类型吗答不能修改已有字段只能添加新字段三、分词器类8. IK分词器的作用有几种模式问IK分词器是做什么的ik_smart和ik_max_word区别答中文分词ik_smart粗粒度ik_max_word细粒度9. 遇到新词如泰裤辣无法分词怎么办问IK分词器不认识新词怎么处理答配置扩展词典添加新词到ext.dic四、文档操作类10. 文档的增删改查怎么实现问ES中如何新增、查询、删除、修改文档答POST新增、GET查询、DELETE删除、PUT全量修改、POST局部修改11. 全量修改和局部修改的区别问PUT和POST在修改文档时有什么区别答PUT全量覆盖POST局部更新指定字段12. 批量导入怎么做问如何将大量数据导入ES答用BulkRequest将多个IndexRequest打包发送五、JavaAPI类13. 怎么用Java操作ES问你们项目中怎么用Java操作ES答使用RestHighLevelClient创建对应Request发送请求14. 索引库操作的步骤问用Java创建索引库的步骤答创建CreateIndexRequest设置mapping调用client.indices().create()15. 文档操作的步骤问用Java新增文档的步骤答创建IndexRequest设置索引库名、id、JSON文档调用client.index()六、项目实践类16. 你们项目哪些地方用了ES问举例说明你们项目中的搜索场景答商品搜索支持按分类、品牌、价格过滤按销量、价格排序17. 索引库结构怎么设计的问商品搜索需要哪些字段怎么设计mapping答名称(text分词)、品牌(keyword)、分类(keyword)、价格(integer)、销量(integer)等18. 数据库和ES数据怎么同步问MySQL数据变更ES怎么同步更新答用MQ异步通知商品服务发送消息搜索服务监听并更新ES七、常见坑点19. 模糊查询用text还是keyword注意需要分词搜索用text精确匹配用keyword20. 索引库字段类型选错怎么办注意创建后不能修改只能重建索引或添加新字段21. IK分词器不生效注意检查mapping中是否指定了analyzer重启ES后是否加载了扩展词典22. 批量导入性能问题注意分批导入每批1000条左右避免一次性加载过多数据八、校招ES考察重点排序倒排索引原理⭐⭐⭐⭐⭐ES与MySQL概念对比⭐⭐⭐⭐⭐text与keyword区别⭐⭐⭐⭐⭐IK分词器作用与配置⭐⭐⭐⭐文档CRUD操作⭐⭐⭐⭐Mapping映射属性⭐⭐⭐⭐JavaAPI基本使用⭐⭐⭐数据同步方案⭐⭐⭐总结校招面试ES核心考察概念理解和使用场景。你能把今天学的为什么用ES性能差、功能单一倒排索引原理词条→文档索引库怎么设计mapping文档怎么操作CRUD数据和ES怎么同步MQ讲清楚逻辑再结合商品搜索的案例完全足够

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2421100.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

SpringBoot-17-MyBatis动态SQL标签之常用标签

文章目录 1 代码1.1 实体User.java1.2 接口UserMapper.java1.3 映射UserMapper.xml1.3.1 标签if1.3.2 标签if和where1.3.3 标签choose和when和otherwise1.4 UserController.java2 常用动态SQL标签2.1 标签set2.1.1 UserMapper.java2.1.2 UserMapper.xml2.1.3 UserController.ja…

wordpress后台更新后 前端没变化的解决方法

使用siteground主机的wordpress网站,会出现更新了网站内容和修改了php模板文件、js文件、css文件、图片文件后,网站没有变化的情况。 不熟悉siteground主机的新手,遇到这个问题,就很抓狂,明明是哪都没操作错误&#x…

网络编程(Modbus进阶)

思维导图 Modbus RTU(先学一点理论) 概念 Modbus RTU 是工业自动化领域 最广泛应用的串行通信协议,由 Modicon 公司(现施耐德电气)于 1979 年推出。它以 高效率、强健性、易实现的特点成为工业控制系统的通信标准。 包…

UE5 学习系列(二)用户操作界面及介绍

这篇博客是 UE5 学习系列博客的第二篇,在第一篇的基础上展开这篇内容。博客参考的 B 站视频资料和第一篇的链接如下: 【Note】:如果你已经完成安装等操作,可以只执行第一篇博客中 2. 新建一个空白游戏项目 章节操作,重…

IDEA运行Tomcat出现乱码问题解决汇总

最近正值期末周,有很多同学在写期末Java web作业时,运行tomcat出现乱码问题,经过多次解决与研究,我做了如下整理: 原因: IDEA本身编码与tomcat的编码与Windows编码不同导致,Windows 系统控制台…

利用最小二乘法找圆心和半径

#include <iostream> #include <vector> #include <cmath> #include <Eigen/Dense> // 需安装Eigen库用于矩阵运算 // 定义点结构 struct Point { double x, y; Point(double x_, double y_) : x(x_), y(y_) {} }; // 最小二乘法求圆心和半径 …

使用docker在3台服务器上搭建基于redis 6.x的一主两从三台均是哨兵模式

一、环境及版本说明 如果服务器已经安装了docker,则忽略此步骤,如果没有安装,则可以按照一下方式安装: 1. 在线安装(有互联网环境): 请看我这篇文章 传送阵>> 点我查看 2. 离线安装(内网环境):请看我这篇文章 传送阵>> 点我查看 说明&#xff1a;假设每台服务器已…

XML Group端口详解

在XML数据映射过程中&#xff0c;经常需要对数据进行分组聚合操作。例如&#xff0c;当处理包含多个物料明细的XML文件时&#xff0c;可能需要将相同物料号的明细归为一组&#xff0c;或对相同物料号的数量进行求和计算。传统实现方式通常需要编写脚本代码&#xff0c;增加了开…

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器的上位机配置操作说明

LBE-LEX系列工业语音播放器|预警播报器|喇叭蜂鸣器专为工业环境精心打造&#xff0c;完美适配AGV和无人叉车。同时&#xff0c;集成以太网与语音合成技术&#xff0c;为各类高级系统&#xff08;如MES、调度系统、库位管理、立库等&#xff09;提供高效便捷的语音交互体验。 L…

(LeetCode 每日一题) 3442. 奇偶频次间的最大差值 I (哈希、字符串)

题目&#xff1a;3442. 奇偶频次间的最大差值 I 思路 &#xff1a;哈希&#xff0c;时间复杂度0(n)。 用哈希表来记录每个字符串中字符的分布情况&#xff0c;哈希表这里用数组即可实现。 C版本&#xff1a; class Solution { public:int maxDifference(string s) {int a[26]…

【大模型RAG】拍照搜题技术架构速览:三层管道、两级检索、兜底大模型

摘要 拍照搜题系统采用“三层管道&#xff08;多模态 OCR → 语义检索 → 答案渲染&#xff09;、两级检索&#xff08;倒排 BM25 向量 HNSW&#xff09;并以大语言模型兜底”的整体框架&#xff1a; 多模态 OCR 层 将题目图片经过超分、去噪、倾斜校正后&#xff0c;分别用…

【Axure高保真原型】引导弹窗

今天和大家中分享引导弹窗的原型模板&#xff0c;载入页面后&#xff0c;会显示引导弹窗&#xff0c;适用于引导用户使用页面&#xff0c;点击完成后&#xff0c;会显示下一个引导弹窗&#xff0c;直至最后一个引导弹窗完成后进入首页。具体效果可以点击下方视频观看或打开下方…

接口测试中缓存处理策略

在接口测试中&#xff0c;缓存处理策略是一个关键环节&#xff0c;直接影响测试结果的准确性和可靠性。合理的缓存处理策略能够确保测试环境的一致性&#xff0c;避免因缓存数据导致的测试偏差。以下是接口测试中常见的缓存处理策略及其详细说明&#xff1a; 一、缓存处理的核…

龙虎榜——20250610

上证指数放量收阴线&#xff0c;个股多数下跌&#xff0c;盘中受消息影响大幅波动。 深证指数放量收阴线形成顶分型&#xff0c;指数短线有调整的需求&#xff0c;大概需要一两天。 2025年6月10日龙虎榜行业方向分析 1. 金融科技 代表标的&#xff1a;御银股份、雄帝科技 驱动…

观成科技:隐蔽隧道工具Ligolo-ng加密流量分析

1.工具介绍 Ligolo-ng是一款由go编写的高效隧道工具&#xff0c;该工具基于TUN接口实现其功能&#xff0c;利用反向TCP/TLS连接建立一条隐蔽的通信信道&#xff0c;支持使用Let’s Encrypt自动生成证书。Ligolo-ng的通信隐蔽性体现在其支持多种连接方式&#xff0c;适应复杂网…

铭豹扩展坞 USB转网口 突然无法识别解决方法

当 USB 转网口扩展坞在一台笔记本上无法识别,但在其他电脑上正常工作时,问题通常出在笔记本自身或其与扩展坞的兼容性上。以下是系统化的定位思路和排查步骤,帮助你快速找到故障原因: 背景: 一个M-pard(铭豹)扩展坞的网卡突然无法识别了,扩展出来的三个USB接口正常。…

未来机器人的大脑:如何用神经网络模拟器实现更智能的决策?

编辑&#xff1a;陈萍萍的公主一点人工一点智能 未来机器人的大脑&#xff1a;如何用神经网络模拟器实现更智能的决策&#xff1f;RWM通过双自回归机制有效解决了复合误差、部分可观测性和随机动力学等关键挑战&#xff0c;在不依赖领域特定归纳偏见的条件下实现了卓越的预测准…

Linux应用开发之网络套接字编程(实例篇)

服务端与客户端单连接 服务端代码 #include <sys/socket.h> #include <sys/types.h> #include <netinet/in.h> #include <stdio.h> #include <stdlib.h> #include <string.h> #include <arpa/inet.h> #include <pthread.h> …

华为云AI开发平台ModelArts

华为云ModelArts&#xff1a;重塑AI开发流程的“智能引擎”与“创新加速器”&#xff01; 在人工智能浪潮席卷全球的2025年&#xff0c;企业拥抱AI的意愿空前高涨&#xff0c;但技术门槛高、流程复杂、资源投入巨大的现实&#xff0c;却让许多创新构想止步于实验室。数据科学家…

深度学习在微纳光子学中的应用

深度学习在微纳光子学中的主要应用方向 深度学习与微纳光子学的结合主要集中在以下几个方向&#xff1a; 逆向设计 通过神经网络快速预测微纳结构的光学响应&#xff0c;替代传统耗时的数值模拟方法。例如设计超表面、光子晶体等结构。 特征提取与优化 从复杂的光学数据中自…