Linux之iostat溯源diskstats

news2025/7/9 17:43:08

iostat

    • 默认输出解析
    • 详细输出解析
    • 关键指标
  • diskstats
    • 字段解析
    • await的计算来源
      • 计算方法
    • svctm计算来源
      • 计算方法
    • util的计算来源
      • 计算方法

系统级别的IO工具

默认输出解析

iostat

在这里插入图片描述

  • %usr CPU在用户模式下的时间百分比
  • %nice CPU处在带NICE值的用户模式下的时间百分比
  • %system CPU在系统模式下的时间百分比
  • %iowait CPU等待输入输出完成时间的百分比
  • %steal 管理程序维护另一个虚拟处理器时,虚拟CPU的无意识等待时间百分比
  • %idle CPU空闲时间百分比
  • tps 该设备每秒的传输次数(Indicate the number of transfers per second that were issued to the device.)。“一次传输"意思是"一次I/O请求”。多个逻辑请求可能会被合并为"一次I/O请求"。"一次传输"请求的大小是未知的。
  • kB_read/s 每秒从设备读取的数据量
  • kB_wrtn/s 每秒向设备写入的数据量
  • kB_read 读取的总数据量
  • kB_wrtn 写入的总数据量

详细输出解析

iostat -x

在这里插入图片描述

  • rrqm/s : 每秒合并读操作的次数
  • wrqm/s: 每秒合并写操作的次数
  • r/s :每秒读操作的次数
  • w/s : 每秒写操作的次数
  • rMB/s :每秒读取的MB字节数
  • wMB/s: 每秒写入的MB字节数
  • avgrq-sz:每个IO的平均扇区数,即所有请求的平均大小,以扇区(512字节)为单位
  • avgqu-sz:平均为完成的IO请求数量,即平均意义上的请求队列长度
  • await:平均每个IO所需要的时间,包括在队列等待的时间,也包括磁盘控制器处理本次请求的有效时间。
    1. r_wait:每个读操作平均所需要的时间,不仅包括硬盘设备读操作的时间,也包括在内核队列中的时间。
    2. w_wait: 每个写操平均所需要的时间,不仅包括硬盘设备写操作的时间,也包括在队列中等待的时间。
  • svctm: 表面看是每个IO请求的服务时间,不包括等待时间,但是实际上,这个指标已经废弃,iostat工具没有任何一输出项表示的是硬盘设备平均每次IO的时间。
  • %util: 工作时间或者繁忙时间占总时间的百分比

关键指标

  1. avgqu-sz
    队列的长度,在一定程度上反应了繁忙程度
  2. avgrq-sz
    它的含义是说,平均下来一段时间内,所有请求的平均大小,单位是扇区,即(512字节)。avgrq-sz这个值反应了用户的IO-Pattern,反应过来的IO是大IO还是小IO,那么avgrq-sz反应了这个要素。
    假设avgrq-sz为8,即8个扇区 = 8*512(Byte) = 4KB,则可以反应IO大小
    但是总的大小受内核参数控制cat /sys/block/sdc/queue/max_sectors_kb
  3. r/s和w/s
    反应iops=r/s+w/s

diskstats

iostat的数据来源于内核提供的==/proc/diskstats==文件,该文件里面记录了系统中累计读写访问总数、IO访问总耗时等参数(也会在文件 /sys/block/<disk_name>/stat 中记录单个磁盘的统计信息)。

字段解析

在这里插入图片描述
每一列的含义如下:

  1. major:主设备号 — 不同类别设备编号不一样,虚拟磁盘统一为253,磁盘统一为8,环回设备统一为7
  2. minor:次设备号
  3. dev_name:磁盘名
  4. rd_ios:读完成总次数 — 不包含5列中的合并读取次数
  5. rd_merges:读取合并次数 — 如果两个读操作读取相邻的数据块时,可以被合并成一个,以提高效率。
  6. rd_sectors:读取的扇区总数 — 单个扇区 512B
  7. rd_ticks:读请求的总耗时 (ms) — 每个读操作从__make_request()开始计时,到end_that_request_last()为止,包括了在队列中等待的时间。
  8. wr_ios:写完成总次数
  9. wr_merges:写合并次数
  10. wr_sectors:写的扇区总数
  11. wr_ticks:写请求总耗时 (ms) — 包含在队列中等待时间
  12. in_flight:当前未完成的I/O数量。在I/O请求进入队列时该值加1,在I/O结束时该值减1。
    注意:是I/O请求进入 plug 队列时,而不是提交给硬盘设备时。流程为 I/o-> plug -> elevator -> driver
  13. io_ticks(tot_ticks):该设备用于处理I/O的自然时间。
    请注意io_ticks与rd_ticks(字段7)和wr_ticks(字段11)的区别,rd_ticks和wr_ticks是把每一个I/O所消耗的时间累加在一起。而io_ticks表示该设备有I/O(即非空闲)的时间,不考虑I/O有多少,只考虑当前有没有I/O。因为硬盘设备通常可以并行处理多个I/O,所以rd_ticks和wr_ticks往往会比自然时间大。在实际计算时,字段12(in_flight)不为零的时候io_ticks保持计时,字段12(in_flight)为零的时候io_ticks停止计时。
  14. time_in_queue: 对字段13(io_ticks)的加权值(ms)。
    字段13(io_ticks)是自然时间,但不考虑当前有几个I/O正在被处理,而time_in_queue是用当前的I/O数量(即字段12 in-flight)乘以自然时间(比如时间点1有一个I/O,时间点2有两个I/O, 那么 io_ticks = 1 + 1,而 time_in_queue=1+2,因为时间点2有两个 I/O)。虽然该字段的名称是time_in_queue,但并不真的只是在队列中的时间,其中还包含了硬盘处理I/O的时间。iostat在计算avgqu-sz时会用到这个字段。

通过上面的这些统计信息,我们可以大致计算出磁盘的单次 I/O 耗时,但是由于 /proc/diskstats 中没统计在磁盘上的实际耗时,所以我们无法计算出 I/O 在磁盘上的准确处理时间

await的计算来源

单次I/O的平均耗时(ms),包含在队列中的耗时和磁盘处理耗时

计算方法

间隔时间内 读写请求总耗时/读写总次数
#new 指这次获取 /proc/diskstats 的值, old 指上次获取 /proc/diskstats 的值
await =((new.rd_ticks - old.rd_ticks) + (new.wr_ticks - old.wr_ticks)) / (new.rd_ios + new.wr_ios - old.rd_ios-old.wr

svctm计算来源

单次I/O的服务时间(ms), 不包括等待时间

计算方法

间隔时间内 所有的io服务时间/io请求次数
svc_t=(new.io_ticks-old.io_ticks)/(new.rd_ios + new.wr_ios - old.rd_ios-old.wr_ios)
注意

  • svctm 是根据一段时间内有IO访问的时间累加和除以这段时间内的IO访问次数。但是这个结果并不能简单地表示单次 I/O 时间, 比如当磁盘能并行处理请求时, 10个请求从开始处理到处理结束花费时间为10ms, 那么 io_ticks 统计的耗时是 10ms, 根据上面公式来算,单次 I/O 耗时为1ms,实际上每个请求可能都花费了10ms。
    但是对于 sata hdd 盘我们可以用 svctm 来简单地表示单次磁盘耗时, 对于nvme 我们不能用 svctm 表示单次 I/O 耗时。

util的计算来源

磁盘使用时间百分比

计算方法

#itv 表示两次统计之间的时间间隔
util = (new.tot_ticks - old.tot_ticks)/ itv
注意
如果磁盘可以并行,那么虽然 util显示达到100%, 磁盘吞吐可能还未达到上限。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1103407.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

11+肠道微生物群+孟德尔随机化

今天给同学们分享一篇孟德尔随机化的生信文章“Causal relationship between gut microbiota and cancers: a two-sample Mendelian randomisation study ”&#xff0c;这篇文章于2023年2月21日发表在 BMC Med 期刊上&#xff0c;影响因子为11.15。 观察性研究和临床试验的…

《动手学深度学习 Pytorch版》 8.7 通过时间反向传播

8.7.1 循环神经网络的梯度分析 本节主要探讨梯度相关问题&#xff0c;因此对模型及其表达式进行了简化&#xff0c;进行如下表示&#xff1a; h t f ( x t , h t − 1 , w h ) o t g ( h t , w o ) \begin{align} h_t&f(x_t,h_{t-1},w_h)\\ o_t&g(h_t,w_o) \end{ali…

实验2.1.3 交换机的远程配置

实验2.1.3 交换机的远程配置 一、任务描述二、任务分析三、实验拓扑四、具体要求五、任务实施&#xff08;一&#xff09; password认证1. 进入系统视图重命名交换机的名称为SWA2. 关闭干扰信息3. 设置vty为0-44. 设置认证方式为password5. 设置登录密码为&#xff1a;huawei6.…

芯片测试一般包含哪些方面,ATECLOUD如何部署进行测试?

芯片测试主要包括以下方面&#xff1a; 功能测试&#xff1a;检查芯片是否按照预期进行功能操作。这涉及到对芯片内部的各种功能模块进行测试&#xff0c;以确保它们能够正常工作。 性能测试&#xff1a;检查芯片在特定工作负载或条件下的性能。这包括测试芯片在不同频率、电…

视频Logo添加实战:批量处理视频的技巧

在今天的教程中&#xff0c;我们将向大家介绍一种在视频上添加Logo的快捷方法。无论你是自媒体作者、视频编辑还是其他需要处理视频的从业人员&#xff0c;这个方法都将为你节省大量时间和精力。让我们一起学习如何使用固乔剪辑助手来实现这个任务。 首先&#xff0c;我们需要打…

C++初阶(二)

文章目录 一、缺省参数1、概念2、缺省参数分类1、全缺省参数2、半缺省参数 3、特性总结 二、函数重载1、引入函数重载2、函数重载概念3、函数重载分类4、C支持函数重载的原理--名字修饰(name Mangling) 三、 引用1、引用概念2、引用特性3、 常引用4、 使用场景1、做参数2、做返…

Echarts(1)

Echarts官方文档----快速上手 - Handbook - Apache ECharts 1.1ECharts的快速上手 ECharts 的入门使用特别简单, 5分钟就能够上手. 他大体分为这几个步骤 步骤1&#xff1a;引入 echarts.js 文件 该文件获取方式可通过&#xff1a;在 https://www.jsdelivr.com/package/npm…

vue3学习源码笔记(小白入门系列)------KeepAlive 原理

目录 说明组件是如何被缓存的&#xff0c;什么时候被激活对于KeepAlive 中组件 如何完成激活的对于KeepAlive 中组件 如何完成休眠的 总结 说明 Vue 内置了 KeepAlive 组件&#xff0c;实现缓存多个组件实例切换时&#xff0c;完成对卸载组件实例的缓存&#xff0c;从而使得组…

idea-配置不显示某个文件

例如, 在编辑处末尾添加 target; (注意使用分号分割) 则不会在项目位置出现该目录

每天五分钟机器学习:如何解决过拟合问题?

本文重点 过拟合是机器学习中常见的问题之一,它指的是模型在训练集上表现良好,但在测试集或新数据上表现不佳的情况。过拟合的原因是模型过于复杂,过度拟合了训练集的噪声和细节,导致泛化能力下降。 解决方案 1. 数据集扩充:增加更多的训练样本可以减少过拟合的风险。通…

详解软件测试的项目职责、分工、测试流程

一、项目职责与分工 1、产品经理 ------> 负责设计产品的原型图和PRD。 2、项目经理 ------>负责并保证高质量的产品按时完成和发布的专职管理人员。 3、开发人员 ------> 负责完成公司新产品开发计划&#xff1b;开发人员主要分为 前端开发、后端开发、IOS开发和安…

【下载器篇】获取微软应用商店应用安装包的方法

【下载器篇】获取微软应用商店应用安装包的方法 微软应用商店历史版本应用下载方法&#xff0c;部分历史版本无法搜索到—【蘇小沐】 文章目录 【下载器篇】获取微软应用商店应用安装包的方法1.实验环境 &#xff08;一&#xff09;微软商店的在线链接生成器1、复制该应用的在…

论文阅读-可泛化深度伪造检测的关键

一、论文信息 论文名称&#xff1a;Learning Features of Intra-Consistency and Inter-Diversity: Keys Toward Generalizable Deepfake Detection 作者团队&#xff1a;Chen H, Lin Y, Li B, et al. &#xff08;广东省智能信息处理重点实验室、深圳市媒体安全重点实验室和深…

大模型LLM相关面试题整理-位置编码-tokenizer-激活函数-layernorm

10 LLMs 位置编码篇 10.1.1 什么是位置编码&#xff1f; 位置编码是一种用于在序列数据中为每个位置添加位置信息的技术。在自然语言处理中&#xff0c;位置编码通常用于处理文本序列。由于传统的神经网络无法直接捕捉输入序列中的位置信息&#xff0c;位置编码的引入可以帮助…

Kotlin中的算数运算符

在Kotlin中&#xff0c;我们可以使用各种算术运算符来进行数值计算和操作。下面对这些运算符进行详细描述&#xff0c;并提供示例代码。 正号&#xff08;正数&#xff09;和负号&#xff08;负数&#xff09;&#xff1a; 正号用于表示一个正数&#xff0c;不对数值进行任何…

电脑照片如何打包发送微信?三种方法随心选!

微信是我们沟通交流的主要工具&#xff0c;外出游玩拍的风景照还是办公会议保存的重要照片&#xff0c;大部分时候都是通过微信进行发送的&#xff0c;常常会遇到特别多的照片在电脑上需要发送&#xff0c;那么如何一次打包发送给微信好友呢&#xff1f;下面是三种常用的方法介…

2022最新版-李宏毅机器学习深度学习课程-P15 自动调整学习速率(learning rate)

一、使用场合 当loss函数表面崎岖不平时&#xff0c;可以采用这招。 被困住时不一定是小梯度&#xff0c;还有可能在峡谷两端来回跳跃&#xff0c;下不去了 例子 当误差表面是凸函数&#xff08;可以想成长轴很大的椭圆&#xff09;时&#xff0c;可能在峡谷两端交替&#x…

关于SparkRdd和SparkSql的几个指标统计,scala语言,打包上传到spark集群,yarn模式运行

需求&#xff1a; ❖ 要求:分别用SparkRDD, SparkSQL两种编程方式完成下列数据分析,结合webUI监控比较性能优劣并给出结果的合理化解释. 1、分别统计用户&#xff0c;性别&#xff0c;职业的个数&#xff1a; 2、查看统计年龄分布情况&#xff08;按照年龄分段为7段&#xff0…

QML自定义可长按短按的SpinBox

默认长按10.短按1 主要难点在区分长按和短按,以1s为界限.这里我使用了四个定时器用于实现加和减的长短按操作. shortClickTimer定时器用来在鼠标松开的时候判断是否是短按: 如果是短按的话我们需要借助forbidClickTimer定时器短暂禁用Click事件,否则会出现长按松开的时候10后…

2022最新版-李宏毅机器学习深度学习课程-P22 卷积神经网络CNN

零、吴恩达专项课程引入 概念导入&#xff1a;边缘检测 假如有一张如下的图像&#xff0c;想让计算机搞清楚图像上有什么物体&#xff0c;有两种方法&#xff1a;检测图像的 垂直边缘 和 水平边缘。 如下图所示&#xff0c;一个 6 * 6 的灰度图像&#xff0c;构造一个 3 * 3 …