字符串索引、幻读的解决方法

news2025/6/2 20:24:12

1. 给字符串加索引

1.1. 前缀索引vs完整索引

假设有一个支持邮箱登录的系统,用户表定义如下:

CREATE TABLE SUser(
  ID BIGINT UNSIGNED PRIMARY KEY,
  email VARCHAR(64),
  ...
) ENGINE=InnoDB;

为了根据邮箱查询用户信息,常用的查询语句如下:

SELECT f1, f2 FROM SUser WHERE email='xxx';
  • 如果 email 字段上没有索引,查询将执行全表扫描,这会极大影响查询性能。

前缀索引 vs 完整索引

MySQL 支持前缀索引,即在创建索引时只使用字段的一部分。创建前缀索引的方法如下:

ALTER TABLE SUser ADD INDEX index1(email);     -- 完整索引
ALTER TABLE SUser ADD INDEX index2(email(6));  -- 前缀索引(前6个字节)
  • index1 索引包含完整的 email 字段。
  • index2 索引只包含 email 字段的前 6 个字节。

前缀索引的优势:

  • 占用更少的存储空间。
  • 查询时扫描的数据量较小。

但缺点是:

  • 增加了额外的记录扫描次数,因为前缀索引的区分度较低。

查询执行过程对比

假设我们要执行以下查询:

SELECT id, name, email FROM SUser WHERE email='zhangssxyz@xxx.com';
  • 使用完整索引 (index1):
  1. index1 中找到匹配的 email,返回对应 ID
  2. 查主键索引获取完整记录。
  3. 一次性返回数据,查询效率较高。
  • 使用前缀索引 (index2):
  1. index2 找到匹配前缀 zhangs 的记录。
  2. 返回多个记录,需要多次回主键索引确认完整匹配。
  3. 增加了额外的查询次数,查询效率较低。

选择前缀索引长度

选择前缀索引时,我们关注的是“区分度”——区分度越高,索引的效果越好。可以通过以下步骤判断前缀长度:

1. 计算不同值的个数:

SELECT COUNT(DISTINCT email) AS L FROM SUser;

2. 检查不同前缀长度的区分度:

SELECT 
  COUNT(DISTINCT LEFT(email, 4)) AS L4,
  COUNT(DISTINCT LEFT(email, 5)) AS L5,
  COUNT(DISTINCT LEFT(email, 6)) AS L6,
  COUNT(DISTINCT LEFT(email, 7)) AS L7
FROM SUser;

3. 选择合适的前缀长度:

例如,设定区分度损失在 5% 内,选择满足条件的前缀长度。

前缀索引对覆盖索引的影响

使用前缀索引可能无法利用覆盖索引的优势。覆盖索引可以在不回表的情况下直接返回查询结果,但前缀索引无法直接满足这一点。

  • 覆盖索引:如果查询的字段都包含在索引中,MySQL 可以直接从索引中获取结果,避免回表查询。
  • 前缀索引:如果使用前缀索引,MySQL 仍然需要回表获取完整的字段值,影响查询性能。

1.2. 其他优化方法

对于一些具有低区分度的字段(如身份证号),前缀索引可能不够有效。此时可以采用以下两种优化方法:

1. 倒序存储

对于区分度不够的字段(如身份证号),可以将字段倒序存储,这样最后几位通常会有足够的区分度。

SELECT field_list FROM t WHERE id_card = REVERSE('input_id_card_string');

2. 哈希字段

可以创建一个哈希字段,通过计算哈希值存储字段的 CRC32 值,并在该字段上建立索引。

ALTER TABLE t ADD id_card_crc INT UNSIGNED, ADD INDEX(id_card_crc);
SELECT field_list FROM t WHERE id_card_crc = CRC32('input_id_card_string') AND id_card = 'input_id_card_string';

总结:

在 MySQL 中,字符串字段的索引策略应根据业务需求和数据特性来选择。以下是几种常用策略:

  • 完整索引:占用较多空间,适用于较短或较高区分度的字段。
  • 前缀索引:节省空间,适用于长字段,但可能增加查询扫描行数,且不能使用覆盖索引。
  • 倒序存储:适用于有明显前缀区分度的字段,可以提高查询效率。
  • 哈希字段索引:适用于等值查询,减少存储空间消耗,但不支持范围查询。

选择合适的索引策略,可以显著提升查询性能,并在空间和速度之间取得平衡。

2. 幻读及解决方法

幻读的概念:

幻读(Phantom Read) 是数据库事务中一种特殊的并发问题,指的是在 同一个事务中执行两次相同条件的查询操作时,第二次查询返回了第一次查询未曾出现过的新记录

幻读出现的形式:

幻读主要发生在使用 当前读(select ... for update / lock in share mode) 时,而不是快照读。即便在默认的 可重复读(REPEATABLE READ) 隔离级别下,普通的快照读不会出现幻读,但 当前读操作 由于要读取最新数据,是可能产生幻读的。

幻读的危害:

  1. 破坏语义:Session A 认为它锁住了所有 d=5 的行,但事实上 Session B 和 C 仍可以修改或插入符合条件的行,违背了加锁的初衷
  2. 破坏一致性:会导致 binlog 重放/主备同步产生不一致。比如 A 的更新语句是:
UPDATE t SET d=100 WHERE d=5;
  • 如果 A 在执行前并不知道 B 和 C 已经插入或更新了符合条件的行,那么在 binlog 重放中,这些“幽灵记录”也会被更新,导致和主库数据不一致。

幻读的应对措施:

  • InnoDB 为了解决幻读问题,在当前读时会 加“间隙锁”(gap lock)临键锁(next-key lock),不仅锁住已存在的行,还锁住可能插入的位置。
  • 对于范围查询加 for update,InnoDB 会在扫描过程中对所有满足条件的记录和可能插入新记录的间隙都加锁,从而防止其他事务插入“幻影行”。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2394104.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

[特殊字符] 超强 Web React版 PDF 阅读器!支持分页、缩放、旋转、全屏、懒加载、缩略图!

在现代 Web 项目中,PDF 浏览是一个常见需求:从政务公文到合同协议,PDF 文件无处不在。但很多方案要么体验不佳,要么集成复杂。今天,我给大家带来一个开箱即用、功能全面的 PDF 预览组件 —— [PDFView](https://www.np…

wireshark分析国标rtp ps流

1.将抓到的tcp或者udp视频流使用decode as 转为rtp包 2.电话->RTP->RTP播放器 选择Export 里面的Payload 就可以导出原始PS流

【STM32+LAN9252+HAL库】EtherCAT从站搭建 保姆级教程

目录 一、生成协议栈及XML文件 二、使用stm32CuboMX配置外设 三、协议栈移植 鉴于本人对EtherCAT的掌握程度十分有限,这篇文章仅作为我搭建基础从站的过程记录不做更多讲解。本文内容主要为SPI模式的基础搭建,更多深入的学习资料和细节,大家…

【harbor】--基础使用

推送 不同的管理工具都有说明 以docker为例 # 第一步--打标签 docker tag SOURCE_IMAGE[:TAG] 192.168.121.201:801/haohao_fist/REPOSITORY[:TAG] # 第二步--推送 docker push 192.168.121.201:801/haohao_fist/REPOSITORY[:TAG]默认push推送为https push会失败 解决办法…

JAVA学习 DAY1 初识JAVA

本系列可作为JAVA学习系列的笔记,文中提到的一些练习的代码,小编会将代码复制下来,大家复制下来就可以练习了,方便大家学习。 点赞关注不迷路!您的点赞、关注和收藏是对小编最大的支持和鼓励! 系列文章目录…

Vue能启动但访问空白?并报”export ‘default’ (imported as ‘Vue’) was not found in ‘vue’

场景 如图,vue项目的node_modules下载顺利,启动也顺利,但是访问却为空白页面 虽然页面是空白,但是通过浏览器控制台可以看出并非简单的空白,确实有不兼容问题在里面 分析问题 从上图浏览器控制台可以看出&#xff0c…

Electron-vite【实战】MD 编辑器 -- 系统菜单(含菜单封装,新建文件,打开文件,打开文件夹,保存文件,退出系统)

最终效果 整体架构 src/main/index.ts import { createMenu } from ./menu在 const mainWindow 后 // 加载菜单createMenu(mainWindow)src/main/menu.ts import { BrowserWindow, Menu, MenuItem, MenuItemConstructorOptions, dialog, shell } from electron import fs from…

【Docker系列】Docker 容器内安装`ps`命令

博客目录 一、为什么需要在 Docker 容器中安装ps命令二、不同 Linux 发行版的安装方法1. Alpine Linux 镜像的安装方法2. Debian/Ubuntu 镜像的安装方法3. CentOS/RHEL 镜像的安装方法 三、验证安装与基本使用四、永久解决方案:修改 Dockerfile1. Alpine 基础镜像的…

华为OD机试真题——生成哈夫曼树(2025A卷:100分)Java/python/JavaScript/C/C++/GO六种最佳实现

2025 A卷 100分 题型 本文涵盖详细的问题分析、解题思路、代码实现、代码详解、测试用例以及综合分析; 并提供Java、python、JavaScript、C++、C语言、GO六种语言的最佳实现方式! 本文收录于专栏:《2025华为OD真题目录+全流程解析/备考攻略/经验分享》 华为OD机试真题《生成…

大厂前端研发岗位设计的30道Webpack面试题及解析

文章目录 一、基础核心二、配置进阶三、性能优化四、Loader原理五、Plugin机制六、高级应用七、工程化实战八、原理深挖九、异常处理十、综合场景一、基础核心 Webpack的核心概念是什么? 解析:入口(entry)、输出(output)、加载器(loader)、插件(plugins)、模式(mode)。Loader…

Oracle中EXISTS NOT EXISTS的使用

目录 1.IN与EXISTS EXISTS用法总结 2.NOT IN与NOT EXISTS 3.not in 中 null的用法 4.EXISTS和IN的区别 (面试常问) 1.IN与EXISTS 示例:在 DEPT 表中找出在 EMP 表中存在的部门编号; 方法一:使用in select DEPTNO from DEPT where D…

01.认识Kubernetes

什么是Kubernets 套用官方文档对Kubernetes的定义,翻译成中文的意思是: Kubernetes,也称为k8,是一个用于自动化部署、扩展和管理容器化应用程序的开源系统。 它将组成应用程序的容器分组为逻辑单元,以便于管理和发现…

【PostgreSQL 02】PostgreSQL数据类型革命:JSON、数组与地理信息让你的应用飞起来

PostgreSQL数据类型革命:JSON、数组与地理信息让你的应用飞起来 关键词 PostgreSQL高级数据类型, JSONB, 数组类型, PostGIS, 地理信息系统, NoSQL, 文档数据库, 空间数据, 数据库设计, PostgreSQL扩展 摘要 PostgreSQL的高级数据类型是其区别于传统关系数据库的核心…

Acrobat DC v25.001 最新专业版已破,像word一样编辑PDF!

在数字化时代,PDF文件以其稳定性和通用性成为了文档交流和存储的热门选择。无论是阅读、编辑、转换还是转曲,大家对PDF文件的操作需求日益增加。因此,一款出色的PDF处理软件不仅要满足多样化的需求,还要通过简洁的界面和强大的功能…

桥 接 模 式

在玩游戏的时候我们常常会遇到这样的机制:我们可以随意选择不同的角色,搭配不同的武器。这时只有一个抽象上下文的策略模式就不那么适用了,因为一旦我们使用继承的方式,武器和角色总有一方会变得难以扩展。这时,我们就…

基于 Flink+Paimon+Hologres 搭建淘天集团湖仓一体数据链路

摘要:本文整理自淘天集团高级数据开发工程师朱奥老师在 Flink Forward Asia 2024 流式湖仓论坛的分享。内容主要为以下五部分: 1、项目背景 2、核心策略 3、解决方案 4、项目价值 5、未来计划 01、项目背景 1.1 当前实时数仓架构 当前的淘天实时架构是从…

多杆合一驱动城市空间治理智慧化

引言:城市“杆林困境”与智慧化破局 走在现代城市的街道上,路灯、监控、交通信号灯、5G基站等杆体林立,不仅侵占公共空间,更暴露了城市治理的碎片化问题。如何让这些“沉默的钢铁”升级为城市的“智慧神经元”?答案在…

用QT写一个车速表

主要包含以下绘制步骤: 1、绘制画布: /** 绘制画布 */ void Widget::initCanvas(QPainter &painter) {//消除锯齿painter.setRenderHint(QPainter::Antialiasing,true);//设置底色painter.setBrush(QColor(0,0,0));painter.drawRect(rect());//平移…

数控技术应用理实一体化平台VR实训系统

::产品概述:: 目前我国本科类院校学生普遍存在的问题就是缺少对实际工作的了解,一直在学习相关专业的理论知识,对社会的相关企业的用人情况不了解。这也就直接导致了毕业的学生和社会上的用人单位需求有点脱节,这也是由于我国的现行本科教育侧…

C# 将HTML文档、HTML字符串转换为图片

在.NET开发中,将HTML内容转换为图片的需求广泛存在于报告生成、邮件内容存档、网页快照等场景。Free Spire.Doc for .NET作为一款免费的专业文档处理库,无需Microsoft Word依赖,即可轻松实现这一功能。本文将深入解析HTML文档和字符串转图片两…