许多运维人员容易将 NVSM 与 nvidia-smi 混淆，实际上两者的定位截然不同：前者是面向整机的集群管家，后者仅适用于单机工具。

nvidia-smi 随 NVIDIA 显卡驱动自动安装，功能局限于单台设备的 GPU 状态查看与管理。而 NVSM（NVIDIA System Manager）则是专为 DGX 设计的整机级运维解决方案，覆盖服务器全硬件组件，并支持多节点集群统一管理，是 DGX 机房运维及认证考试的核心知识点。

一、NVSM 核心基础认知

1. 常驻运行机制（Always On）

NVSM 默认随系统启动自动运行，后台持续采集服务器各项指标数据，无需手动执行命令即可实时掌握设备状况。它将 nvidia-smi、ipmitool、lspci 等零散工具整合为一套统一的硬件监控体系，并支持对接 Prometheus、Grafana 构建可视化大屏。

2. 安装适配校验

需要特别注意，NVSM 仅适配 DGX 系列设备，包括 DGX 机架服务器与 DGX Station。普通 RTX 工作站或自研服务器无法获得完整功能支持。

安装完成后，可通过以下核心命令快速验证其可用性：

sudo nvsm show health

校验维度涵盖 NVSM 核心进程、BMC 接口权限、硬件遥测通道、集群通信服务等关键环节，确保系统全面就绪。

二、NVSM 命令行实操

NVSM 命令行提供交互与非交互两种模式，满足不同运维场景需求。

1. 交互式模式（深度排查）

执行以下命令进入专属终端，支持分层目录结构管理，适合精细化的故障定位：

sudo nvsm

进入 GPU 目录后，可逐层查看 CPU、电源、风扇、存储、网络等全硬件组件的详细状态。

2. 非交互式模式（日常运维/脚本适配）

单行命令直接执行，便于集成到自动化脚本与批量巡检流程中。高频核心命令如下：

sudo nvsm show health   # 整机健康一键巡检
sudo nvsm show gpus     # 查看所有GPU硬件状态
sudo nvsm show power    # 查看整机电源信息
sudo nvsm show nvlink   # 检测NVLink链路健康状态

3. 帮助查询

通过 nvsm -h 或交互模式内的 help 命令，可查询全部子命令，并按整机运维、集群管理、硬件告警等功能模块进行分类浏览。

三、BMC 带外监控配置

BMC 是服务器带外管理的核心芯片，NVSM 通过 Redfish 标准化接口读写硬件数据，实现对电源、风扇、硬件告警的远程监控与管理。

关键前提是必须配置正确的 BMC 密码，否则无法采集服务器底层硬件数据，带外监控功能将完全失效。

四、软硬件健康巡检

1. 整机硬件健康检测

NVSM 可一键检测服务器 200 余项硬件指标，全面覆盖 CPU、内存、PCIe、NVLink、GPU、电源、风扇、硬盘、温度等所有维度。

两大核心命令分工明确：

• nvsm show health：快速输出硬件健康摘要，实时定位故障硬件与高危告警。
• nvsm dump health：导出完整故障日志压缩包，用于提交 NVIDIA 官方售后工单。

常见告警场景包括 PCIe 降速、NVLink 链路中断、电源异常、内存报错等，均会被标记为 Critical 严重故障。

2. 软件环境健康检测

除硬件检查外，NVSM 还会校验整机软件环境的兼容性，涉及驱动、GSP 固件、BMC 固件、NVSwitch、Fabric Manager、CUDA 环境及集群组件版本匹配度。

高频故障主要集中在 GSP 固件版本过低、Fabric 服务未启动、驱动与 DGX 固件不兼容等情况。

五、监控与整机运维功能

1. 可视化监控配置

支持对接 Prometheus 与 Grafana 监控大屏，可自定义硬件指标采集周期、温度功耗及链路故障告警阈值，并配置邮件、运维平台消息推送。

2. 整机硬件运维操作

无需额外工具，NVSM 可直接执行 DGX 核心运维操作：

• 调整风扇策略、设置整机功耗上限
• BMC 远程开关机、硬件复位
• NVLink 链路重启、GPU 整机复位
• 查看 RAID 阵列状态、隔离故障硬盘

六、Call Home 自动售后功能

这是 DGX 集群实现无人值守运维的核心能力，能显著降低硬件故障处理成本。触发逻辑清晰：当服务器出现 GPU 损坏、电源失效、NVLink 彻底断开等致命硬件故障时，NVSM 会自动执行以下操作：

• 采集全套硬件故障日志
• 绑定设备 SN 唯一序列号
• 自动向 NVIDIA 官方平台提交售后工单

支持手动触发、故障自动触发、定时日志上传三种模式，是大规模 AI 集群运维的必备能力。

七、多节点集群管理

NVSM 支持通过单条命令对多台 DGX 节点进行批量运维，无需逐台登录服务器，充分适配大型 AI 集群的管理需求。

1. 部署前提

所有节点 NVSM 服务正常运行、节点网络互通、配置统一集群证书、BMC 带外通信正常。

2. 集群高频命令

nvsm show health --node 23    # 查看指定节点整机健康
nvsm show gpus --node all     # 批量查询集群所有GPU状态
nvsm dump health --node all   # 导出全集群硬件故障日志

3. OOB 带外遥测（核心优势）

普通 nvidia-smi 依赖操作系统运行，一旦服务器宕机或系统崩溃即完全失效。而 NVSM 的 OOB 带外监控依托 BMC 独立芯片运行，即使服务器关机、宕机或系统崩溃，仍可正常采集温度、电源、风扇及硬件故障数据。

NVSM vs nvidia-smi 核心区别

另外需要补充说明，NVSM 并未开源，仅适用于 NVIDIA 特定设备。