nvidia-smi -d 参数非常实用:它允许你仅输出关心的模块信息,不再每次都面对冗长的完整报表。配合 -q 使用,可以指定所需模块,多个模块用逗号分隔即可。此外,它还有一个隐藏优势:功耗、利用率、时钟等指标会自动附带最大值、最小值、平均值,省去手动计算。需要注意的是,-d 参数不能与 -u 或 -x 同时使用,请务必留意。
以下是几个实战中最常用的组合:
- 训练排障:使用 MEMORY,UTILIZATION,TEMPERATURE,POWER,CLOCK 模块 — 输入
nvidia-smi -q -d MEMORY,UTILIZATION,TEMPERATURE,POWER可快速获取关键指标 - 硬件故障排查:使用 ECC,PAGE_RETIREMENT,ROW_REMAPPER,GSP_FIRMWARE_VERSION 模块 — 推荐
nvidia-smi -q -d ECC,PAGE_RETIREMENT,ROW_REMAPPER - 性能调优:使用 CLOCK,SUPPORTED_CLOCKS,POWER_PROFILES,VOLTAGE 模块 — 可用
nvidia-smi -q -d CLOCK,PERFORMANCE,VOLTAGE - 进程/资源统计:使用 PIDS,ACCOUNTING 模块 — 输入
nvidia-smi -q -d PIDS即可

逐条指标详解(nvidia-smi -d 各模块参数)
MEMORY
显存相关完整信息:总容量、已用量、空闲量、缓冲区、reserved 预留显存,甚至显存故障页和带宽占用均可查看。OOM 排查、显存泄漏定位、显存硬件故障诊断都依赖此模块。
UTILIZATION
GPU 利用率的两大维度:核心计算利用率和显存读写利用率。同时提供采样最大值、最小值、平均值。判断显卡是否满载、负载是否均衡,查看此模块即可。
ECC
数据中心卡(A/H/H100 等)专属的纠错内存统计。包含单比特可纠正错误、双比特不可纠正错误,以及 ECC 开关状态、错误日志、ECC 内存容量。显存硬件损坏、内存稳定性故障主要靠它定位。
TEMPERATURE
温度信息一应俱全:当前温度、慢降阈值、快降阈值、关机温度、目标温控温度。热节流、风扇狂转、高温降频等问题都能从中找到线索。
POWER
当前实时功耗、功耗上限、最低功耗、默认功耗墙、功耗平滑参数,以及最大/最小/平均采样值。功耗节流、供电不稳、功耗异常偏高的排查利器。
CLOCK
当前核心频率、显存频率、视频编码时钟,附带最大/最小/平均采样,以及当前生效的锁定频率。判断显卡是否降频、时钟锁定是否生效,一目了然。
COMPUTE
计算模式配置:Default / Exclusive Process / Prohibited 三种模式,以及 MIG 多实例 GPU 算力分配状态。多卡任务抢占、MIG 实例配置都可以用它排查。
PIDS
实时运行的 CUDA 进程:所有占用 GPU 的 PID、占用显存、进程名称。与 nvidia-smi pmon 底层同源,适合查询谁在占用显存不释放。
PERFORMANCE
GPU 性能档位 P-State:P0 为满速,数字越大性能越低。自动降档、性能受限、功耗或温控导致的降级,都会体现在这里。
SUPPORTED_CLOCKS
显卡支持的合法时钟档位列表。当你想用 -lgc 或 -lmc 锁定频率时,需要先查看这个区间范围。
PAGE_RETIREMENT
显存坏页隔离机制。硬件检测到损坏页会自动隔离,并记录坏页数量。坏页持续增多,意味着显存硬件正在老化或损坏。
ACCOUNTING
GPU 记账统计,需先开启 -am 1 才会生效。记录每个进程的运行时长、显存峰值、算力占用。适合做资源计费或任务资源占用统计。
ENCODER_STATS
视频编码硬件编码器统计:编码会话数、编码负载、硬件编码利用率。视频推理、直播转码场景常用,大模型训练基本不涉及。
SUPPORTED_GPU_TARGET_TEMP
支持的温控目标温度区间。你可以手动调节显卡的目标温控温度,这个参数告诉你合法范围。
VOLTAGE
GPU 核心电压:实时核心供电电压、电压调节区间。超频、供电异常、功耗异常排查均可参考。
FBC_STATS
帧缓冲捕获统计:桌面画面录制、虚拟机投屏的硬件捕获负载。AI 训练极少用到,了解即可。
ROW_REMAPPER
显存行重映射:硬件层面的行故障自动修复机制。数值上涨代表显存存在硬件缺陷,需提高警惕。
GSP_FIRMWARE_VERSION
GPU 系统处理器固件版本。Hopper/H100 及以上架构自带 GSP 独立固件,固件异常会引发 XID 报错、算力异常,值得关注。
POWER_SMOOTHING
功耗平滑参数:显卡功耗波动缓冲配置,用于抑制瞬时功耗尖峰,避免瞬间撞功耗墙而降频。
POWER_PROFILES
功耗预设配置文件:厂商预设的多套功耗/性能平衡方案,可在平衡、高性能、节能模式之间切换。
