cpustat：解读系统性能的CPU统计利器

在Linux系统性能监控的工具箱里，cpustat是一个相当实用的命令行工具。它通常集成在sysstat软件包中，专门用于展示每个CPU核心的详细性能指标，比如用户态时间、系统态时间以及空闲时间等等。对于系统管理员来说，熟练解读它的输出，就像是拿到了一份系统的“体检报告”，是分析性能瓶颈、定位资源紧张问题的关键一步。

那么，面对cpustat的输出，我们具体该如何解读呢？先来看一个典型的输出样例：

Linux 5.4.0-42-generic (hostname) 03/21/2021 _x86_64_(4 CPU)
a vg-cpu: %user %nice %system %iowait %steal %idle
          12.34  0.01  2.56   0.12   0.00   85.07
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s a vgrq-sz a vgqu-sz await r_await w_await svctm %util
sda      0.00   0.00  1.00 1.00 8.00  8.00  16.00    0.00    0.00  0.00    0.00    1.00  0.10
sdb      0.00   0.00  0.50 0.50 4.00  4.00  16.00    0.00    0.00  0.00    0.00    0.50  0.05

整个输出可以清晰地划分为两大块：CPU使用率概览和设备I/O统计。

CPU 使用率摘要（a vg-cpu 行）

这部分提供了CPU时间分配的宏观视图，每个指标都代表了一种状态：

• %user：这是用户态进程“干活”所消耗的CPU时间占比。数值高通常意味着应用程序本身比较繁忙。
• %nice：特指那些被调整过优先级（通常是调低）的用户进程所占用的CPU时间。
• %system：内核态进程消耗的时间百分比。如果这个值异常高，可能暗示着系统调用频繁或内核自身存在瓶颈。
• %iowait：一个非常关键的指标，它表示CPU在等待I/O操作（比如读写磁盘）完成时的空闲时间。如果这个值持续偏高，系统很可能遇到了I/O瓶颈。
• %steal：在虚拟化环境中才有意义，它反映了虚拟机因为物理CPU被其他虚拟机占用而被迫等待的时间。
• %idle：顾名思义，就是CPU完全空闲的时间百分比。

设备 I/O 统计信息（Device 行）

这部分则深入到具体的存储设备（如sda, sdb），提供了详细的I/O性能画像：

• rrqm/s 与 wrqm/s：分别表示每秒合并的读、写请求数。合并请求是内核的一种优化手段。
• r/s 与 w/s：这是最直接的I/O压力指标，代表设备每秒实际完成的读、写操作次数。
• rkB/s 与 wkB/s：反映了数据吞吐量，即每秒读、写的数据量（以千字节计）。
• a vgrq-sz：平均每次I/O请求的数据大小（单位是扇区）。
• a vgqu-sz：平均I/O队列长度。如果这个值大于1，说明设备可能来不及处理请求，出现了排队。
• await：这是从应用层感受到的延迟，即一个I/O请求从发起到完成所经历的平均时间（毫秒）。这个值当然越小越好。
• r_await 与 w_await：分别细化到读操作和写操作的平均等待时间。
• svctm：设备自身处理一个I/O请求所需的平均服务时间（毫秒）。注意，这个指标在较新的内核中已逐渐被弃用，仅供参考。
• %util：设备利用率，可能是最受关注的指标之一。它表示设备忙于处理I/O的时间百分比。如果持续接近或达到100%，基本可以断定该设备已经饱和，成为了系统性能的瓶颈。

解读时，我们的注意力应该有所侧重。对于CPU部分，首先要盯住%user、%system和%idle。如果前两者持续居高不下，而%idle长期处于很低的水平，那就明确发出了CPU资源紧张的信号。同时，%iowait如果异常高，即使CPU看起来不忙，系统整体响应也可能很慢，因为进程都在等I/O。