加利福尼亚州圣克拉拉市 – GTC – 2021 年 11 月 9 日 – NVIDIA 今日为企业搭建并部署大规模语言模型开启了一扇全新的大门 —— 让这些企业能够构建专属领域的聊天机器人、智能个人助手及其他 AI 应用，并以前所未有的精准度理解语言中的微妙差异与深层含义。

NVIDIA 推出了专为训练具有数万亿参数的语言模型而优化的 NVIDIA NeMo Megatron 框架、面向新领域和新语言进行训练的可定制大型语言模型（LLM）Megatron 530B，以及具备多 GPU、多节点分布式推理能力的 NVIDIA Triton 推理服务器。

这些工具与 NVIDIA DGX 系统相结合，构成了一套可直接投入实际生产环境的企业级解决方案，极大地简化了大型语言模型的开发与部署流程。

“大型语言模型已被证明兼具灵活性与强大功能，无需专门训练或监督即可回答深层次的领域问题、翻译语言、理解并总结文档、编写故事以及生成程序代码。”NVIDIA 应用深度学习研究副总裁 Bryan Catanzaro 表示。“虽然为新的语言和领域构建大型语言模型仍然是超级计算领域最具挑战性的任务之一，但如今这些能力已向全球企业开放，变得触手可及。”

NVIDIA NeMo Megatron 与 Megatron 530B 加速大型语言模型开发

NVIDIA NeMo Megatron 是基于 Megatron 发展而来的开源项目，由 NVIDIA 研究人员主导，专注于大型 Transformer 语言模型的高效训练。Megatron 530B 则是目前全球最大的可定制语言模型。

NeMo Megatron 框架帮助企业克服训练复杂自然语言处理模型时所面临的各种挑战。该框架经过优化，能够在 NVIDIA DGX SuperPOD 的大规模加速计算基础设施上进行高效扩展。

NeMo Megatron 通过内置的数据处理库自动处理 LLM 训练中的复杂性，包括数据摄取、整理、组织与清洗。借助先进的数据并行、张量并行与流水线并行技术，该框架可将大型语言模型的训练任务有效分布到数千个 GPU 上。企业还可以通过 NeMo Megatron 框架对模型进行进一步训练，使其服务于新的领域和语言。

NVIDIA Triton 推理服务器助力实时大型语言模型推理

此外，今天发布的最新 NVIDIA Triton 推理服务器中新增的多 GPU、多节点特性，使得大型语言模型的推理工作负载能够在多个 GPU 和节点上实时扩展。这些模型所需的内存远超单个 GPU 甚至包含多个 GPU 的大型服务器所能提供的容量，而实际应用对推理实时性又有着极高的要求。

借助 Triton 推理服务器，Megatron 530B 可在两个 NVIDIA DGX 系统上运行，将处理时间从传统 CPU 服务器上的 1 分钟以上缩短至不到半秒，从而让实时应用部署大型语言模型成为现实。

全球范围内开发的大规模定制语言模型

使用 NVIDIA DGX SuperPOD 构建大型复杂语言模型的早期客户包括 SiDi、京东探索研究院和 VinBrain。

SiDi 是巴西一家领先的 AI 研究与开发机构，已为三星虚拟助手提供技术支持，服务全国 2 亿巴西葡萄牙语用户。

SiDi 首席执行官 John Yi 表示：“SiDi 团队在 AI 虚拟助理和聊天机器人开发方面积累了丰富经验，这类开发既需要强大的 AI 性能，也需要经过训练并能够适应人类语言不断变化的细微差别的专用软件。NVIDIA DGX SuperPOD 完美契合了我们团队的前沿工作需求，帮助我们为巴西的葡萄牙语用户提供领先的 AI 服务。”

京东探索研究院是以供应链为基础的领先技术和服务提供商京东的研发部门，他们利用 NVIDIA DGX SuperPOD 开发自然语言处理技术，广泛应用于智能客服、智能零售、智能物流、物联网、医疗健康等领域。

VinBrain 是越南的一家医疗健康 AI 公司，他们使用 DGX SuperPOD 为 100 家医院的放射科医生和远程医疗医生开发并部署了一种临床语言模型。目前已有超过 600 名医疗健康从业者在该模型支持下开展工作。

供应情况

企业可以利用今天同期发布的 NVIDIA LaunchPad，免费体验大型语言模型的开发与部署全过程。行业组织可以申请加入抢先体验计划，了解用于训练大规模语言模型的 NVIDIA NeMo Megatron 加速框架。

NVIDIA Triton 可从 NVIDIA NGC 目录中获得，该目录是经 GPU 优化的 AI 软件中心，包含框架、工具包、预训练模型和 Jupyter Notebooks，同时也可从 Triton GitHub 仓库获取开源版本。

Triton 也包含在 NVIDIA AI Enterprise 软件套件中，该套件由 NVIDIA 优化、认证并提供技术支持。企业可以使用该软件套件，在内部数据中心和私有云的主流加速服务器上运行语言模型推理任务。

NVIDIA DGX SuperPOD 和 NVIDIA DGX 系统通过 NVIDIA 的全球经销商提供，这些合作伙伴能够根据要求为符合条件的客户提供定制化方案。