美国东部时间2日周二，英伟达正式公布了与法国人工智能初创公司Mistral AI合作取得的重大技术突破。借助英伟达最新芯片技术，Mistral AI开源模型家族的新成员在性能表现、运算效率和部署灵活性方面实现了跨越式提升。
此次合作的核心成果在于，大型模型Mistral Large 3在英伟达GB200 NVL72系统上实现了相比前代H200芯片高达10倍的性能飞跃。这种性能跃升直接转化为更优质的用户体验、更低的单次响应成本以及更卓越的能源效率。该模型在每兆瓦能耗下可实现每秒超过500万个token的处理吞吐量。
除大型模型外，名为Ministral 3的小型模型系列也针对英伟达边缘平台进行了深度优化，可在RTX AI PC、笔记本电脑和Jetson边缘设备上稳定运行。这使得企业能够在从云端到边缘的任何场景中部署人工智能应用，无需依赖持续的网络连接。
Mistral AI周二发布的新模型家族包含一个大型前沿模型和九个小参数模型，均可通过Hugging Face等开源平台和主流云服务商获取。业内观察人士认为，这一系列发布标志着开源AI正式迈入"分布式智能"新阶段，弥合了技术突破与实际应用之间的差距。
GB200系统赋能大模型性能突破
Mistral Large 3采用混合专家模型架构，拥有6750亿总参数和4100亿活跃参数，以及25.6万token的上下文窗口。该架构的创新之处在于仅激活对每个token最具影响力的模型部分，而非启动所有神经元，从而在保持精度的同时实现高效扩展。
英伟达表示，通过一系列专为大型先进MoE模型定制的优化技术，Mistral Large 3在英伟达GB200 NVL72系统上实现了同类最佳性能表现。
英伟达通过三项关键技术优化实现了性能突破。首先是宽专家并行技术，通过优化的MoE内核、专家分配和负载平衡充分利NVLink的连贯内存域。其次是NVFP4低精度推理技术，在保持精度的同时显著降低计算和内存成本。第三是Dynamo分布式推理框架，通过分离预填充和解码阶段提升长文本处理性能。
该模型已兼容TensorRT-LLM、SGLang和vLLM等主流推理框架。开发者可以通过这些开源工具在不同规模的英伟达GPU上灵活部署模型，选择适合自身需求的精度格式和硬件配置。
小模型瞄准边缘设备部署
Ministral 3系列包含九个密集型高性能模型，涵盖30亿、80亿和140亿三种参数规模，每种规格又提供基础版、指令版和推理版三个变体。所有变体均支持视觉功能，处理12.8万至25.6万token的上下文窗口，并支持多语言交互。
这些小型模型在英伟达RTX 5090 GPU上可实现每秒最高385个token的推理速度。在Jetson Thor设备上，vLLM容器在单并发下可达每秒52个token，在8个并发下可扩展至每秒273个token。
英伟达与Ollama和llama.cpp合作优化了这些模型的边缘性能。开发者可以在GeForce RTX AI PC、DGX Spark和Jetson设备等英伟达边缘平台上运行这些模型，实现更快的迭代速度、更低的延迟和更强的数据隐私保护。
由于单个GPU即可运行，Ministral 3可部署在机器人、自动驾驶无人机、汽车、手机和笔记本电脑等设备上。这种部署灵活性使得人工智能应用能够在网络连接受限或离线环境下稳定运行。
Mistral新模型家族商业化提速
Mistral AI周二发布的新模型系列是该公司追赶OpenAI、谷歌和DeepSeek等领先AI实验室的最新举措。这家成立于2024年的公司在去年9月完成17亿欧元融资，其中荷兰芯片设备制造商ASML贡献13亿欧元，英伟达也参与其中，估值达到117亿欧元。
Mistral AI的联合创始人兼首席科学家Guillaume Lample表示，尽管大型闭源模型在初始基准测试中表现更优，但经过针对性微调后，小型模型在企业特定用例上往往能匹敌甚至超越大型模型。他强调，绝大多数企业用例可以通过微调后的小型模型解决，且成本更低、速度更快。
Mistral AI已开始加速商业化进程。本周一，该公司宣布与汇丰银行达成协议，为这家跨国银行提供从金融分析到翻译等任务的模型访问权限。该公司还与多家企业签订了价值数亿美元的合同，并在物理人工智能领域展开布局，与新加坡内政科技局、德国国防科技初创公司Helsing以及汽车制造商Stellantis开展机器人、无人机和车载助手项目合作。
Mistral Large 3和Ministral-14B-Instruct现已通过英伟达API目录和预览API向开发者开放。企业开发者很快还可使用英伟达NIM微服务在任何GPU加速基础设施上轻松部署这些模型。所有Mistral 3家族模型均可从Hugging Face平台下载获取。
