游乐游手机版
首页/AI热点日报/热点详情

NVIDIA推出生成式AI微服务,助力开发者在CUDA GPU创建部署AI助手

类型:热点整理2026-06-28
今日,NVIDIA正式推出数十项面向企业级场景的生成式AI微服务。对于企业用户而言,这标志着他们能够在自己所处的平台上自主创建和部署定制化应用,同时保有对知识产权的完全掌控——所有权与控制权均归属企业自身。 这一系列云原生微服务均基于NVIDIA CUDA平台构建,其中核心组件NVIDIA NIM微

今日,NVIDIA正式推出数十项面向企业级场景的生成式AI微服务。对于企业用户而言,这标志着他们能够在自己所处的平台上自主创建和部署定制化应用,同时保有对知识产权的完全掌控——所有权与控制权均归属企业自身。

NVIDIA推出生成式AI微服务,供开发者在CUDA GPU系统中创建部署生成式AI助手

这一系列云原生微服务均基于NVIDIA CUDA平台构建,其中核心组件NVIDIA NIM微服务专门针对NVIDIA及其合作伙伴生态中的20多款热门AI模型进行了推理性能优化。此外,用户还可以通过NVIDIA CUDA-X微服务获得一系列加速软件开发套件、库及工具,涵盖检索增强生成(RAG)、护栏机制、数据处理、高性能计算(HPC)等方向。值得一提的是,NVIDIA还特别推出了20余项专注于医疗领域的NIM与CUDA-X微服务。

这些微服务并非简单拼凑,而是为NVIDIA全栈计算平台增添了全新的一层,将模型开发者、平台提供商与企业紧密连接,通过标准化流程运行针对NVIDIA CUDA安装基础(例如云端、数据中心、工作站及个人电脑中数以亿计的GPU)进行优化的定制AI模型。

NVIDIA创始人兼首席执行官黄仁勋表示:“成熟的企业平台坐拥海量数据资产,这些数据能够转化为生成式AI助手。我们与合作伙伴生态系统共同构建的这些容器化AI微服务,正是各行业企业转型为AI公司的核心基石。”

NIM推理微服务:将部署周期从数周缩短至几分钟

NIM微服务提供了基于NVIDIA推理软件的预构建容器,内含Triton推理服务器TensorRT-LLM。借助这些容器,开发者部署AI应用的耗时可从数周迅速缩短至几分钟。

这些微服务为语言处理、语音识别、药物发现等多个领域提供行业标准API,开发者能够利用安全托管于自身基础设施中的专有数据,快速构建AI应用。同时,这些应用可按需扩展——在NVIDIA加速计算平台上运行生产级生成式AI,兼具灵活性与高性能。

面向RAG、数据处理、护栏与HPC的CUDA-X微服务

CUDA-X微服务提供从数据准备、模型定制到训练的全链路构建模块,助力各行各业加速实现生产级AI应用的落地。

为加速AI应用采纳,企业可借助CUDA-X微服务,例如用于定制语音与翻译AI的NVIDIA Riva、用于路径优化的NVIDIA cuOpt,以及用于高分辨率气候与天气模拟的NVIDIA Earth-2

生态系统:生成式AI微服务助力企业平台升级

不仅领先的应用提供商在采用这些微服务,NVIDIA生态系统中的数据、基础设施与计算平台提供商也纷纷使用它们,将生成式AI能力赋能给企业客户。

包括Box、Cloudera、Cohesity、Datastax、Dropbox和NetApp在内的顶级数据平台提供商,正借助NVIDIA微服务帮助客户优化RAG管道,将专有数据集成至生成式AI应用中。而Snowflake则利用NeMo Retriever充分挖掘企业数据价值,构建AI应用。

可用性

开发者可通过ai.nvidia.com免费体验这些NVIDIA微服务。对于希望在生产环境中部署的企业,可在NVIDIA认证系统以及主流云平台上,通过NVIDIA AI Enterprise 5.0使用NIM微服务,从而直接进入生产级部署环节。

来源:https://m.elecfans.com/article/2546989.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。