8月21日，英伟达在官方博客中低调发布了一则重要消息：他们与Mistral AI携手推出了一款名为Mistral-NeMo-Minitron 8B的小型语言模型。尽管参数量仅有80亿，但该模型在精度与计算效率方面表现十分出色——更关键的是，它能够直接在搭载RTX显卡的工作站上运行，无需依赖云端算力。

这并非双方首次合作。上个月，这两家公司刚刚联合开源了Mistral NeMo 12B模型，而此次发布的Minitron 8B可视为其“精简版”。通过宽度剪枝（width-pruning）技术，研究团队从12B模型中剪除部分权重，再结合知识蒸馏（knowledge distillation）进行轻度重新训练，最终打造出这个更小、更高效的版本。相关技术细节已整理成论文并公开发表，标题为《Compact Language Models via Pruning and Knowledge Distillation》。

简要梳理剪枝与蒸馏这两项操作：剪枝是指移除对准确率影响最小的模型权重，从而缩小网络规模；而蒸馏则是在一个相对较小的数据集上对剪枝后的模型进行重新训练，旨在尽可能弥补剪枝过程中损失的精度。两者结合，在模型大小与性能之间找到了一个理想的平衡点。

在性能表现方面，Mistral-NeMo-Minitron 8B在同级别模型中极具竞争力。在九项主流语言模型基准测试中，它均处于领先地位——这些测试涵盖语言理解、常识推理、数学推理、文本总结、代码生成以及真实答案生成等多种任务。对于一款能够通过RTX显卡进行本地部署的模型而言，这一成绩含金量十足。