在刚刚圆满落幕的SIGGRAPH 2024大会上,Hugging Face与NVIDIA联合发布了一项备受业界关注的新服务——推理即服务(Inference-as-a-Service),其底层核心正是NVIDIA的NIM技术。简单来说,开发者如今能够更快地进行原型设计,直接调用Hugging Face Hub上的开源AI模型,并高效完成部署——整个流程变得前所未有的顺畅。
本次大会汇聚了计算机图形学与交互技术领域的众多顶尖专家,而NVIDIA与Hugging Face选择在这一节点揭晓合作,颇有“趁热打铁”的深意。开发者群体成为最直接的受益者:借助此服务,诸如Llama 2、Mistral AI等大语言模型均可轻松部署,而NVIDIA的NIM微服务则负责对模型进行深度优化,使其跑得更快、运行更稳定。
具体数据更能说明性能提升的幅度。以拥有70亿参数的Llama 3模型为例,当它以NIM形式被调用时,其处理速度相比直接部署在标准NVIDIA H100 Tensor Core GPU系统上,直接提升了五倍——这绝非小打小闹的量级跃升。此外,该服务还包含了“在DGX Cloud上训练”(Train on DGX Cloud)的选项,目前已在Hugging Face平台上开放使用。
NVIDIA的NIM本质上是一套专为推理场景优化设计的AI微服务组合,覆盖了NVIDIA自研的AI基础模型以及社区开源模型。通过标准化API,它显著拉高了Token处理效率,同时进一步强化了NVIDIA DGX Cloud基础设施的性能——AI应用响应更迅速,稳定性也迈上了新台阶。
值得一提的是,DGX Cloud平台本身就是为生成式AI量身打造的计算基础设施,提供可靠且加速的算力支持,帮助开发者从原型设计一路推进到生产环境,且无需长期承诺或绑定。Hugging Face与NVIDIA的此次合作,进一步拉近了开发者社区与高性能算力之间的距离。而Hugging Face自身也动作频频:近期刚宣布团队实现盈利,规模已达220人,并推出了SmolLM系列小型语言模型——整个生态正日趋活跃。
