游乐游手机版
首页/AI热点日报/热点详情

NVIDIA NIM微服务上线 简化RTX AI PC与工作站智能体工作流

类型:热点整理2026-07-07
生成式 AI 正在为 PC 和工作站带来一系列真正实用的新功能——游戏助手、增强的内容创作、生产力工具,这些都能让用户切实体验到。但问题是,开发者的上手门槛依然较高。NVIDIA 此次推出的 NIM 微服务以及即将上线的 AI Blueprints,旨在降低门槛,使 AI 开发的流程更加顺畅高效。

生成式 AI 正在为 PC 和工作站带来一系列真正实用的新功能——游戏助手、增强的内容创作、生产力工具,这些都能让用户切实体验到。但问题是,开发者的上手门槛依然较高。NVIDIA 此次推出的 NIM 微服务以及即将上线的 AI Blueprints,旨在降低门槛,使 AI 开发的流程更加顺畅高效。

NIM 微服务最早在今年 CES 上亮相,核心思路非常明确:提供一批已经打包好、针对 RTX 平台深度优化的先进 AI 模型。这些模型涵盖了 RTX AI PC 和工作站上的主流应用场景,包括最新的 GeForce RTX 50 系列和 Blackwell RTX PRO GPU。开发者下载后即可直接运行,无需再自行处理模型变体管理、量化、推理后端适配等繁琐环节。而且它们与行业标准 API 兼容,能够轻松集成到现有工具链中。

不可否认,虽然 AI 技术本身迭代迅速,但要将研究阶段的模型真正部署到 PC 上,中间的过程相当繁杂。模型需要管理多种变体、自适应调整输入输出数据、优化资源占用,还要对接推理后端软件并连接全新的 API。每一步都是工程负担,拖慢了普及的速度。NIM 微服务的价值就在于将这些环节打包成一个“即开即用”的单元,开发者只需专注于应用层的开发。

NVIDIA NIM 微服务现已推出,可简化 RTX AI PC 和工作站上的智能体工作流

NIM 助您快速启程

目前面向 RTX 的 NIM 微服务共有十种,覆盖了语言、图像、音频、RAG 和计算机视觉等主要模态。例如,语言与推理方面包括 Deepseek-R1-distill-llama-8B、Mistral-nemo-12B-instruct、Llama3.1-8B-instruct;图像生成有 Flux.dev;音频方面有 Riva Parakeet-ctc-0.6B-asr 和 Maxine Studio Voice;RAG 领域有 Llama-3.2-NV-EmbedQA-1B-v2;计算机视觉与理解则包括 NV-CLIP、PaddleOCR 和 Yolo-X-v1。所有这些模型均可通过 NVIDIA 官网的 AI 专区下载使用。

除了官方渠道,NIM 微服务还能通过社区中的主流工具和框架获取。对于 AI 爱好者来说,AnythingLLM 和 ChatRTX 已支持 NIM,界面友好,可直接与 LLM 和 AI 智能体对话。用户可以将自己的文档和数据导入其中,构建个性化助手,自动处理日常任务,效率提升十分明显。

对于开发者,FlowiseAI 和 Langflow 也接入了 NIM,提供低代码甚至无代码的可视化构建方式。即使编程基础不够扎实,也能通过拖拽设计出复杂的 AI 工作流。未来还将支持 ComfyUI,届时图像生成类应用的构建会更加灵活。此外,Microsoft VS Code AI Toolkit、CrewAI 和 Langchain 同样支持 NIM,方便开发者将微服务直接集成到业务代码中,实现无缝对接。

NVIDIA AI Blueprint:提供预构建工作流

如果说 NIM 是“积木块”,那么 AI Blueprint 就是“搭好的样板房”。Blueprint 是一种即用、可扩展的参考示例,包含源代码、示例数据、文档和演示应用,所有内容打包齐全,供开发者在本地搭建高级 AI 工作流。用户可以修改、扩展它,替换模型、调整行为,甚至实现全新的功能。

其中一个典型例子是 PDF 转播客 AI Blueprint。它能够从 PDF 文档中提取文本、图像和表格,然后利用 AI 生成信息量丰富的播客。用户不仅可以在通勤路上收听,还能与 AI 主持人互动,深入探讨特定话题。这种“将文档转化为对话”的思路,确实让知识获取变得更加轻松。

借助适用于 Linux 的 Windows 子系统,在 RTX 上运行 NIM 和 AI Blueprint

要让这些容器化的微服务在 PC 上顺利运行,关键技术是 WSL(适用于 Linux 的 Windows 子系统)。微软和 NVIDIA 合作,在 WSL 中引入了 CUDA 和 RTX 加速,使 Windows 环境也能原生运行优化后的容器化微服务。而且这些 NIM 微服务可以在 PC、工作站、数据中心和云之间无缝迁移——同一套容器,哪里都能运行。

更多细节和上手教程,请访问 NVIDIA 官网(nvidia.cn/ai)。对于开发者和 AI 爱好者来说,NIM 微服务和 AI Blueprint 的组合,正将“构建 AI 应用”这件事变得像搭积木一样清晰简单。

构建、创造、创新

面向 RTX 的 NVIDIA NIM 微服务和 AI Blueprint 现已开放下载。这两套工具为 AI 开发者提供了强大且随时可用的基础能力——从模型到工作流,从本地到云端,真正打通了从研究到落地的最后一公里。

来源:https://www.53ai.com/news/zhinengyingjian/2025040807469.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。