游乐游手机版
首页/AI热点日报/热点详情

NVIDIA与Hugging Face合作推出高效推理服务 模型Token处理效率提升5倍

类型:热点整理2026-07-08
在刚刚圆满落幕的SIGGRAPH 2024大会上,Hugging Face与NVIDIA联合发布了一项备受业界关注的新服务——推理即服务(Inference-as-a-Service),其底层核心正是NVIDIA的NIM技术。简单来说,开发者如今能够更快地进行原型设计,直接调用Hugging Fac

在刚刚圆满落幕的SIGGRAPH 2024大会上,Hugging Face与NVIDIA联合发布了一项备受业界关注的新服务——推理即服务(Inference-as-a-Service),其底层核心正是NVIDIA的NIM技术。简单来说,开发者如今能够更快地进行原型设计,直接调用Hugging Face Hub上的开源AI模型,并高效完成部署——整个流程变得前所未有的顺畅。

NVIDIA联手Hugging Face推高效推理服务,AI 模型的Token 处理效率提升五倍

本次大会汇聚了计算机图形学与交互技术领域的众多顶尖专家,而NVIDIA与Hugging Face选择在这一节点揭晓合作,颇有“趁热打铁”的深意。开发者群体成为最直接的受益者:借助此服务,诸如Llama 2、Mistral AI等大语言模型均可轻松部署,而NVIDIA的NIM微服务则负责对模型进行深度优化,使其跑得更快、运行更稳定。

具体数据更能说明性能提升的幅度。以拥有70亿参数的Llama 3模型为例,当它以NIM形式被调用时,其处理速度相比直接部署在标准NVIDIA H100 Tensor Core GPU系统上,直接提升了五倍——这绝非小打小闹的量级跃升。此外,该服务还包含了“在DGX Cloud上训练”(Train on DGX Cloud)的选项,目前已在Hugging Face平台上开放使用。

NVIDIA的NIM本质上是一套专为推理场景优化设计的AI微服务组合,覆盖了NVIDIA自研的AI基础模型以及社区开源模型。通过标准化API,它显著拉高了Token处理效率,同时进一步强化了NVIDIA DGX Cloud基础设施的性能——AI应用响应更迅速,稳定性也迈上了新台阶。

值得一提的是,DGX Cloud平台本身就是为生成式AI量身打造的计算基础设施,提供可靠且加速的算力支持,帮助开发者从原型设计一路推进到生产环境,且无需长期承诺或绑定。Hugging Face与NVIDIA的此次合作,进一步拉近了开发者社区与高性能算力之间的距离。而Hugging Face自身也动作频频:近期刚宣布团队实现盈利,规模已达220人,并推出了SmolLM系列小型语言模型——整个生态正日趋活跃。

来源:https://www.1ai.net/16800.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。