InnoDB之Undo log格式

news2025/7/12 11:23:44

1. 前言

InnoDB有两大日志模块,分别是redo log和undo log。为了避免磁盘随机写,InnoDB设计了redo log,数据写入时只写缓冲页和redo log,脏页由后台线程异步刷盘,哪怕系统崩溃也能根据redo log恢复数据。但是我们漏了一种情况没有考虑,如果事务执行到一半系统崩溃了,redo log没刷盘还好,相当于本次事务的修改全部停留在内存里,重启后相当于什么也没做。但是,如果redo log已经刷盘了,MySQL重启后依然会根据redo log恢复页面,相当于本次事务执行到一半的状态,不符合原子性。为了保证原子性,MySQL必须撤销本次事务的所有修改,让本次事务「看起来什么都没做」,这就是undo log要负责的事情。

2. 事务回滚

事务回滚的需求是存在的,除了上述情况系统崩溃时的执行了一半的事务需要回滚,很多时候,开发者也经常需要通过命令ROLLBACK手动回滚事务。事务回滚后,该事务看起来什么都没做一样,它是符合原子性的。

如何实现事务回滚呢?想当然,肯定要把事务中修改的数据先记下来,比如:

  • insert一条记录,就把主键记下来,回滚时删除该记录即可。
  • delete一条记录时,把整条记录记下来,回滚时重新插入即可。
  • update一条记录时,把对应列修改前的值全部记下来,回滚时修改回来即可。
  • select不会修改记录,无需处理。

InnoDB其实也就是按照这个思路去设计的,每次对记录的修改,都会记一条日志,把回滚该条记录的必要数据给记录下来,这个日志就是undo log。

3. undo log格式

undo log是针对记录的,一般每对一条记录进行一次改动,都会生成1到2条undo log。一个事务在执行过程中,可能会修改很多记录,也就会生成若干条undo log,每个事务生成的undo log都会有一个唯一编号undo no,从0开始依次递增,undo no越小代表日志越早生成。

另外,undo log只针对聚簇索引,只有聚簇索引记录才有trx_idroll_pointer隐藏列,二级索引是不会生成undo log的,MySQL在事务回滚时,会自动撤销对二级索引的变更。

roll_pointer隐藏列占用7个字节,组成如下:

属性长度说明
is_insert1比特是否是TRX_UNDO_INSERT大类
rseg id7比特回滚段id,最多128个回滚段
Page Number4字节undo log所在页号
Offset2字节undo log所在页号的偏移量

和redo log一样,InnoDB也设计了很多不同类型的undo log,增删改操作对应的undo log类型都不一样。

3.1 insert undo log

插入一条记录,对应的回滚操作就是删除该条记录,对应的undo log最需要记录的就是tableId和主键信息。InnoDB设计了TRX_UNDO_INSERT_REC类型的undo log来回滚insert操作。

属性说明
end of record本条undo log结束,下一条开始的位置
undo typeundo log类型
undo noundo log序号
table id表对应的id
主键信息
<len,value>列表主键各列的长度以及对应的值
start of record上一条undo log结束,本条开始的位置

重点关注主键信息,假设表的主键是BIGINT类型的id,我们插入了一条id=10000的记录,那么主键信息存储的内容就是<8,10000>,如果主键包含多列,需要把每个列的长度和值都记录下来。

3.2 delete undo log

删除一条记录,对应的回滚操作就是把这条记录再重新插入回去,难道undo log要把一条用户记录完整的给记录下来吗?这未免也太浪费空间了,其实完全不需要这么做,这还得说回InnoDB删除记录的流程。

记录头信息里会有next_record属性,把记录按照主键串联成一条单向链表。页内被删除的记录也会根据该属性串联成一条单向链表,只不过这条链表的空间是可以被重用的,也称作「垃圾链表」。索引页Page Header里有PAGE_FREE属性,指向这条垃圾链表的头节点。记录头信息里还有delete_mark属性,用来标记记录是否被删除。
image.png
当我们要删除一条记录时,实际上会有两个阶段:

  • 阶段1

将记录的delete_mark标记为1,记录undo log,写入trx_idroll_pointer。事务提交前,记录一直处于这种中间状态,既不是正常记录,也不是已删除记录。只有将记录从正常链表中移除,加入到垃圾链表里,记录才算真正删除,其它事务也访问不到了。
image.png
为啥不直接删除记录,而是停留在中间状态?

这条记录还需要为MVCC服务,其它事务可能还需要访问。

  • 阶段2

事务提交后,会有专门的线程来将记录真正的删除掉,这个过程称作「purge」。将记录从正常链表中移除,加入到垃圾链表,InnoDB采用头插法,PAGE_FREE会指向该记录,记录占用的空间也可以被重用了。与此同时,InnoDB还会修改Page Header里的PAGE_N_RECSPAGE_GARBAGE、Page Directory等信息。
image.png
综上所述,事务提交前,只会经历阶段1,事务提交后也就不存在回滚了。所以针对delete操作,只需要把阶段1回滚即可,又因为阶段1记录其实并没有真正删除,所以undo log其实没必要保存完整记录。InnoDB设计了TRX_UNDO_DEL_MARK_REC类型的undo log。

属性说明
end of record本条undo log结束,下一条开始的位置
undo typeundo log类型
undo noundo log序号
table id表对应的id
info bits记录头信息的前4个比特位和record_type值
old trx_id旧的事务id
old roll_pointer旧的回滚指针
主键信息
<len,value>列表主键各列长度和值
index_col_info len索引列信息总长度
索引各列信息
<pos,len,value>索引各列的位置、长度和值
start of record上一条undo log结束,本条开始的位置
  • 与insert不同的是,delete和update操作对应的undo log会记录下旧的trx_idroll_pointer,这样就可以找到上一次对记录修改时的undo log,这些undo log串联起来就是传说中的「版本链」,服务于MVCC。
  • 根据主键信息定位到具体的记录,用户回滚时恢复。
  • 索引各列信息主要用于purge阶段。

3.3 update undo log

update操作就比较复杂了,根据是否更新主键,InnoDB的处理方式也是不同的。
一、不更新主键
在不更新主键的前提下,如果更新后记录各列的长度与更新前相同,那么就可以「就地更新」,也就是直接在原有记录上进行更新,同时记录下undo log。

注意:是每个列的长度都和更新前相同,而非记录总长度和更新前相同。

就地更新的条件还是比较苛刻的,如果更新后列的长度发生变化,那么InnoDB会采用「先删除旧记录,再插入新记录」的方式来做更新,这里的“删除”是真的将记录删除并移入垃圾链表,而非仅仅打删除标记。
为什么会这么做呢?

在索引页里记录与记录之间是紧密无间的存储在一起的,中间没有空间,如果更新后记录占用的空间变大压根就没法存储,只能删掉重新申请空间插入一条。

总之,针对这种不更新主键的情况,InnoDB设计了TRX_UNDO_UPD_EXIST_REC类型的undo log。

属性说明
end of record本条undo log结束,下一条开始的位置
undo typeundo log类型
undo noundo log序号
table id表对应的id
info bits记录头信息的前4个比特位和record_type值
old trx_id旧的事务id
old roll_pointer旧的回滚指针
主键信息
<len,value>列表主键各列长度和值
n_updated更新的列的数量
<pod,ole_len,old_val>列表更新列的旧值
index_col_info len索引列信息总长度
索引各列信息
<pos,len,value>索引各列的位置、长度和值
start of record上一条undo log结束,本条开始的位置

二、更新主键
针对update操作更新了主键的情况,InnoDB分为两个阶段来处理:

  • 将旧记录进行delete mark操作,服务于MVCC。
  • 根据更新后各列的值构建一条新记录并插入。

这两个阶段,对应两条undo log,也就是上面说的TRX_UNDO_DEL_MARK_RECTRX_UNDO_INSERT_REC

4. 对覆盖索引查询的影响

聚簇索引记录会有trx_idroll_pointer隐藏列,通过undo log里的roll_pointer串联形成版本链,即一条记录存在多个版本,在select时会判断哪些版本对当前事务可见。
但是undo log只针对聚簇索引,二级索引没有roll_pointer,也不会生成undo log。我们又知道,InnoDB有个查询优化叫「覆盖索引查询」,即直接扫描二级索引返回结果,不再根据主键回表查询,可以大大提高数据查询的效率。

这时就存在一个问题,覆盖索引查询时,无法判断二级索引记录是否对当前事务可见!
InnoDB的解决方案是,在Page Header里有一个属性叫PAGE_MAX_TRX_ID,它代表修改当前页的最大事务id,如果PAGE_MAX_TRX_ID小于当前活跃的最小事务id,代表修改当前页的事务都提交了,可以直接使用覆盖索引查询,无需回表。反之,就需要回表根据聚簇索引的trx_idroll_pointer以及对应的undo log来判断哪些二级索引记录是对当前事务可见的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/17914.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

STC51单片机32——液晶1602显示

//用LCD循环右移显示字符 //开发板上的跳帽连接Vcc #include<reg51.h> //包含单片机寄存器的头文件 #include<intrins.h> //包含_nop_()函数定义的头文件 sbit EP2^7; //使能信号位&#xff0c;将E位定义为P2.7引脚 sbit RSP2^6; //寄存器选择位&#…

Js逆向教程-09常见的加密方式

作者&#xff1a;虚坏叔叔 博客&#xff1a;https://xuhss.com 早餐店不会开到晚上&#xff0c;想吃的人早就来了&#xff01;&#x1f604; Js逆向教程-09常见的加密方式 常见的加密方式 一、js逆向流程 抓包调试扣去js改写本地运行 二、常见的加密方式 2.1取盐校验 不可…

【考研复试】计算机相关专业面试英语自我介绍范文(一)

文章目录前言&#xff1a;1.第一段&#xff1a;打招呼寒暄2.第二段&#xff1a;自我介绍3.第三段&#xff1a;为什么要读研4.第四段&#xff1a;个人优势5.第五段&#xff1a;立flag前言&#xff1a; 英语面试第一件事情就是让考生做自我介绍&#xff0c;考官可以借此机会了解…

图片编辑软件怎样加文字内容?图片添加文字方法大分享

大家平时在分享自己拍摄的照片时&#xff0c;有些时候会不会觉得照片有点单调&#xff0c;想在上面添加一些文字来装饰图片呢&#xff1f;又或者是在日常生活中&#xff0c;不小心拍到朋友的搞怪表情&#xff0c;这时候要是加上一些有趣的文字&#xff0c;就可以免费获得一个表…

Design A Twitter

title: Notes of System Design No.04 —Design a Twitter description: ’ Design a Twitter ’ date: 2022-05-14 09:50:32 tags: 系统设计 categories: 系统设计 00.What is Twitter 注&#xff1a;TimeLine 就是按照时间顺序显示的信息流 01. Functional Requirements 1…

特征工程(六)—(1)利用PCA进行特征转换

(1)鸢尾花数据集的手动处理 PCA利用了协方差矩阵的特征值分解 过程如下&#xff1a; (1)创建数据集的协方差矩阵 (2)计算协方差矩阵的特征值 (3)保留前K个特征值(按照特征值降序排列) (4)要保留的特征向量转换新的数据点 1、加载鸢尾花数据集 import matplotlib as mpl # 解…

js实现瀑布流

我们浏览网站的时候尤其是图片网站&#xff0c;我们会发现大大小小的图片&#xff0c;紧密的排列在一起&#xff0c;就像瀑布一样看着非常舒服&#xff0c;虽然css可以通过cloums来指定&#xff0c; 像我们这次的图片项目用的就是css实现的&#xff0c;最后布局是用grid布局写的…

【Spring(一)】如何获取对象(Bean)

目录 一、前言 二、Spring的下载 三、快速入门 四、IOC&#xff08;控制反转&#xff09; 五、创建XML配置文件 六、获取Bean   1. 按类型来获取Bean   2. 按id来获取Bean   3. 按idclass来获取Bean   4. 默认的一种特殊方式获取Bean   5. 有关id的一些说明 相关文章 Serv…

cpu设计和实现(流水线上的第一条指令)

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 读书的时候&#xff0c;《计算机组成原理》也看了&#xff0c;《计算机体系结构》也学了&#xff0c;老师也给我们讲了各种各样的流水线知识&#…

Spring框架笔记

Spring51. 什么是Spring框架1.1 spring的特点2. IOC2.1 什么是IOC2.2. 基于xml的IOC2.2.1 创建对象2.2.2 给创建的对象赋值2.2.2.1 使用setter方法注入2.2.2.2 使用构造方法注入2.3 基于注解IOC2.3.1 创建对象的注解2.3.2 依赖注入的注解2.3.3 添加包扫描2.3.3.1 添加包扫描多种…

小目标检测:基于切图检测的yolov5小目标训练

目前在目标检测方面有着众多的检测框架&#xff0c;比如两阶段的FasterRcnn、以及yolo系列的众多模型。yolo系列在实际中用的最多&#xff0c;一方面性能确实不错&#xff0c;另一方面具有着较多的改进型系列。今天我们主要使用的yolov5系列。具体原理过程就不多说了&#xff0…

数字化助力生产制造管理:家具行业管理系统

中国家具产业经过近 40 年的发展&#xff0c;占到世界家具生产 1 /4 强&#xff0c;是全球生产和出口第一大国&#xff0c;在世界上有着广泛的影响和关注。中国家具产业也是国民经济的重要支柱产业&#xff0c;2018 年总产值达到16 000 亿元&#xff0c;占中国 GDP 2%多。 然而…

数据库高级 IV

数据库高级 IV 二分查找算法 定义 二分查找也称折半查找&#xff08;Binary Search&#xff09;&#xff0c;它是一种效率较高的查找方法。但是&#xff0c;折半查找要求线性表必须采用顺序存储结构&#xff0c;而且表中元素按关键字有序排列前提要求:1. 线性表必须采用顺序存…

[附源码]计算机毕业设计JAVA火车票预订系统2022

[附源码]计算机毕业设计JAVA火车票预订系统2022 项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybat…

[附源码]SSM计算机毕业设计智能超市导购系统JAVA

项目运行 环境配置&#xff1a; Jdk1.8 Tomcat7.0 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff09;。 项目技术&#xff1a; SSM mybatis Maven Vue 等等组成&#xff0c;B/S模式 M…

STM32所有系列keil 开发包的下载链接 - Keil.STM32Fxxx_DFP.x.x.x.pack

文章目录1、官网下载链接及操作步骤2、关于Keil官网下载芯片包的网速很慢的解决办法1、官网下载链接及操作步骤 安装Keil之后&#xff0c;需要安装芯片包&#xff0c;但是在软件上面点击下载安装&#xff0c;会非常慢。还不如自己到官网下载的快。 官网下载地址&#xff1a;…

longjmp导致局部变量丢失

0 总结 longjmp与setjmp语句之间的变量赋值会丢失。变量须满足&#xff1a; 在调用setjmp函数中的局部变量&#xff08;栈变量&#xff09; &#xff0c;全局变量不受影响非volatile 解决方法&#xff1a;加volatile 1 问题复现 #include <setjmp.h> #include <s…

H5的基础

网页的学名称作HTML文件&#xff0c;是一种可以在www网上传输&#xff0c;并被浏览器认识和翻译成页面显示出来的文件。 HTML是&#xff1a;Hypertext Marked Language即超文本标记语言&#xff0c;是一种用来制作超文本文档的简单标记语言 超文本就是指页面内可以包含图片&…

六十分之九十——沉迷期的突破

目录一、目标二、计划三、完成情况四、提升改进(最少3点)五、意外之喜(最少2点)六、总结一、目标 明确可落地&#xff0c;对于自身执行完成需要一定的努力才可以完成的 1.8本技术管理书籍阅读(使用番茄、快速阅读、最后输出思维导图)2.得到"逻辑思维"、吴军硅谷来信…

WebRTC GCC 拥塞控制算法(REMB-GCC)

目录 一. 前言 二. REMB-GCC算法原理 1. 接收端基于延时梯度的带宽预估 &#xff08;1&#xff09;Arrival-time filter &#xff08;2&#xff09;Overuse Detector &#xff08;3&#xff09;Adaptive threshold &#xff08;4&#xff09;Remote Rate Controller &a…