Linux 性能分析工具全解析从基础命令到高级调优1. 系统性能分析基础1.1 性能分析的核心指标系统性能分析主要关注四个关键维度CPU利用率用户态与内核态时间分配内存管理物理内存与交换空间使用情况磁盘I/O读写吞吐量和延迟网络性能数据包传输速率和错误率1.2 性能分析工具分类Linux性能工具可分为三个层级基础监控工具vmstat、iostat、top等高级分析工具perf、strace、systemtap等可视化工具Flame Graphs等2. 基础性能分析工具详解2.1 vmstat - 虚拟内存统计vmstat(Virtual Memory Statistics)是最基础的系统监控工具提供内存、进程、CPU等整体状态监控。vmstat 5 3 # 每5秒采样一次共采样3次典型输出字段解析类别字段说明procsr等待CPU的进程数b不可中断休眠进程数(通常等待I/O)memoryswpd使用的交换空间大小(KB)free空闲内存量(KB)buff用作缓冲区的内存量(KB)cache用作缓存的内存量(KB)swapsi从磁盘交换到内存的速率(KB/s)so从内存交换到磁盘的速率(KB/s)iobi从块设备接收的块数(blocks/s)bo发送到块设备的块数(blocks/s)systemin每秒中断次数cs每秒上下文切换次数cpuus用户空间CPU时间占比(%)sy内核空间CPU时间占比(%)id空闲CPU时间占比(%)waI/O等待CPU时间占比(%)内存不足的典型表现free memory急剧减少大量使用交换分区(swpd值高)页面交换频繁(si/so值高)等待I/O的进程数(b列)增多CPU等待I/O时间(wa)占比高2.2 iostat - CPU与磁盘I/O统计iostat提供CPU使用率和设备I/O的详细统计信息。iostat -dx 5 # 显示扩展设备统计每5秒刷新关键磁盘指标说明指标说明rrqm/s每秒合并的读请求数wrqm/s每秒合并的写请求数r/s每秒发送到设备的读请求数w/s每秒发送到设备的写请求数rkB/s每秒读数据量(KB)wkB/s每秒写数据量(KB)await平均I/O请求处理时间(ms)svctm平均I/O服务时间(ms)%util设备带宽利用率(%)2.3 dstat - 综合系统监控dstat提供彩色输出的综合监控涵盖CPU、磁盘、网络等维度。dstat -cdlmnpsy # 显示CPU、磁盘、负载、内存、网络等统计3. 进程级性能分析工具3.1 top/htop - 进程监控top是经典的进程监控工具htop是其增强版提供彩色界面和直观的进程树显示鼠标交互支持横向/纵向滚动查看完整命令行htop # 启动交互式监控界面3.2 pidstat - 进程资源统计pidstat可监控指定进程的CPU、内存、I/O等资源使用情况。pidstat -d 2 5 # 监控进程I/O每2秒采样共5次 pidstat -u 1 # 监控进程CPU使用率每秒刷新 pidstat -r 2 # 监控进程内存使用每2秒刷新3.3 iotop - 磁盘I/O进程监控iotop专门用于监控进程级别的磁盘I/O活动。iotop -bod 5 # 非交互模式每5秒刷新4. 网络与系统调用分析4.1 netstat - 网络连接统计netstat显示各种网络相关统计信息netstat -npl # 查看监听端口及对应进程 netstat -rn # 显示路由表信息 netstat -i # 显示网络接口统计4.2 strace - 系统调用跟踪strace可跟踪程序执行过程中的系统调用strace -e stat64 mysql --print-defaults # 跟踪mysql配置文件加载5. 高级性能分析工具5.1 perf - Linux内核性能事件perf是Linux内核自带的性能分析工具支持热点函数分析Cache miss统计硬件性能计数器采样perf top # 实时显示热点函数 perf stat command # 统计命令执行性能指标 perf record # 记录性能数据供后续分析5.2 eBPF/bcc - 动态内核追踪eBPF工具集提供强大的内核和用户空间追踪能力# 安装bcc工具包后使用 execsnoop # 跟踪新进程执行 opensnoop # 跟踪文件打开操作 tcplife # 跟踪TCP连接生命周期6. 性能分析可视化6.1 Flame Graphs - 火焰图火焰图可将perf等工具采集的数据可视化# 生成CPU火焰图 perf record -F 99 -a -g -- sleep 30 perf script | stackcollapse-perf.pl | flamegraph.pl perf.svg火焰图特点纵向表示调用栈深度横向表示时间占比颜色无特殊含义仅用于区分不同函数7. 性能分析策略与实践7.1 分析流程建议全局监控使用top/vmstat/iostat快速定位瓶颈方向进程分析使用pidstat/htop定位问题进程深度剖析使用strace/perf分析具体问题优化验证通过基准测试确认优化效果7.2 常用性能指标阈值参考指标正常范围需要注意严重问题CPU us%70%70-90%90%CPU wa%5%5-20%20%Load AverageCPU核心数CPU核心数CPU核心数Memory使用率70%70-90%90%Swap使用率10%10-30%30%磁盘%util70%70-90%90%8. 性能工具组合应用案例8.1 高CPU使用率问题排查使用top确认CPU使用率高的进程使用pidstat -u查看进程的CPU使用详情使用perf top分析进程的热点函数使用strace跟踪进程的系统调用8.2 内存泄漏问题排查使用vmstat观察内存和交换分区变化使用smem或htop查看进程内存占用使用valgrind工具进行内存分析使用/proc/[pid]/smaps分析进程内存细节8.3 磁盘I/O性能问题排查使用iostat -dx查看磁盘利用率使用iotop定位高I/O进程使用blktrace进行块设备层分析使用strace跟踪文件的读写操作