DeepSeek 开源周第二弹：DeepEP —— 首个 MoE 模型训练和推理的 EP 通信库
2025 年 2 月 25 日，deepseek 在开源周的第二天，正式发布了首个专为混合专家模型（moe）训练和推理设计的专家并行（ep）通信库 —— deepep。deepep 在 github 上开源仅 20 分钟，便获得了超过 1k 个 star。截止本文发布时间，deepep 的 github star 数已经达到 2.4k，并且还在持续飙升。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
采用 MoE（Mixture-of-Experts，混合专家）架构的大语言模型，能够在显著提升模型容量的同时避免计算量的线性增长。然而，这种架构也引入了新的挑战 —— 尤其是在 GPU 之间的通信方面。在 MoE 模型中，每个 Token 仅会激活一部分专家，因此如何在设备之间高效交换数据变得至关重要。传统的 all-to-all 通信方法往往会导致瓶颈，增加延迟并降低 GPU 资源的利用率。在对延迟敏感的场景（如实时推理）中，即使是微小的延迟也可能影响整体性能。此外，尽管低精度运算（如 FP8）有助于减少内存占用，但其实现需要精细优化以维持模型质量。这些问题凸显了针对专家并行（Expert Parallelism, EP）需求定制通信库的必要性。
DeepEP 是一个专为 MoE 模型和专家并行设计的通信库。DeepEP 解决了 Token 在 GPU 之间分发和聚合过程中的效率问题。该库提供了高吞吐量、低延迟的all-to-all 的 GPU 内核（通常称为 MoE 分发与聚合内核），在训练和推理过程中优化了数据交换流程。特别值得一提的是，DeepEP 支持低精度运算（包括 FP8），这与 DeepSeek-V3 论文中详细描述的技术完全一致。DeepEP 有效解决了节点内和节点间环境中扩展 MoE 架构的挑战。
DeepEP 的核心功能DeepEP 的核心功能包括：
高效的 all-to-all 通信：通过软硬件协同优化，DeepEP 实现了专家之间的高速数据传递，显著提升了训练和推理效率。支持 NVLink 和 RDMA：无论是节点内还是节点间通信，DeepEP 都能充分利用 NVLink 和 RDMA 的高带宽和低延迟特性。高吞吐量与低延迟内核：在训练和推理预填充阶段，DeepEP 提供了高吞吐率计算核；而在推理解码阶段，则提供了低延迟计算核，满足不同场景的需求。原生 FP8 支持：DeepEP 支持包括 FP8 在内的低精度运算，进一步优化了计算资源的利用。灵活的 GPU 资源控制：通过计算与通信的重叠处理，DeepEP 实现了资源的高效调度，提升了整体性能。DeepEP 的常规内核和低延迟内核DeepEP 提供了两种主要类型的内核，以满足不同的操作需求：
常规内核（Normal kernels）：这些内核针对需要高吞吐量的场景进行了优化，例如在推理或训练的预填充阶段。它们利用 NVLink 和 RDMA 网络技术，在 GPU 之间高效地转发数据。测试显示，在 Hopper GPU 上，节点内通信的吞吐量约为 153 GB/s，而使用 CX7 InfiniBand（带宽约为 50 GB/s）的节点间通信性能稳定在 43–47 GB/s 之间。通过最大化可用带宽，这些内核减少了在 token 分发和结果合并过程中的通信开销。
DeepSeek 在 H800 GPU 上测试了常规内核（NVLink 最大带宽约为 160 GB/s），每块 GPU 连接一张 CX7 InfiniBand 400 Gb/s RDMA 网卡（最大带宽约为 50 GB/s）。此外，遵循 DeepSeek-V3/R1 的预训练设置，包括每批 4096 个 token、隐藏层维度 7168、Top-4 分组、Top-8 专家、FP8 分发以及 BF16 结果合并。性能测试的结果如下表所示：
DeepSeek 在 H800 GPU 上测试了低延迟内核，每块 GPU 连接一张 CX7 InfiniBand 400 Gb/s RDMA 网卡（最大带宽约为 50 GB/s）。此外，遵循典型的 DeepSeek-V3/R1 生产环境设置，包括每批 128 个 token、隐藏层维度 7168、Top-8 专家、FP8 分发以及 BF16 结果合并。性能测试的结果如下表所示：
DeepEP 的发布标志着 DeepSeek 在 MoE 训练和推理优化上的又一重要突破。该通信库针对专家并行设计，解决了 GPU 之间的数据交换瓶颈，极大地提高了通信效率。DeepSeek 下一个开源的项目会是什么呢？让我们拭目以待。
参考资料deepseek-ai/DeepEP：https://github.com/deepseek-ai/DeepEP相关攻略
FDUSD脱锚惊魂夜：币安生态稳定币的信任危机与系统性风险 2025年4月2日夜间，加密货币市场经历了一场突如其来的“压力测试”。由香港First Digital Trust Limited发行的美元稳定币FDUSD，在市场上演了惊心动魄的脱锚跳水，其兑USDT价格一度暴跌至0 8726美元。这场震
最近又折腾了下 Obsidian 的 Git 插件，虽然也有点麻烦，但它是适合我的。下面介绍下怎么配置和使用。 第一次使用 Obsidian 是在 2024 年，这是翻阅之前的文章 《Obsidia
这项由华为技术有限公司、南洋理工大学、香港大学和香港中文大学联合完成的突破性研究发表于2026年1月，论文编号为arXiv:2601 01426v1。研究团队通过一种名为SWE-Lego的创新训练方
12 月 27 日消息，科技媒体 NeoWin 今天（12 月 27 日）发布博文，报道称 AI 代码编辑器 Windsurf 本周发布 Wave 13 版，通过大幅升级多智能体工作流、性能可访问
NEO（小蚁区块链）旨在构建智能经济网络。NEO通过资产数字化和智能合约实现自动化管理，用户需在支持NEO交易的平台注册账户并获取数字货币，选择合适的交易对后，即可下单交易并确认。交易完成后，可在账户中查看NEO资产，或转移至个人数字储存中安全保管NEO。
热门专题
热门推荐
OPPO A6k手机重磅发布：天玑6300处理器、高清LCD直屏、7000mAh超大电池，售价仅1999元起 OPPO旗下广受欢迎的A系列再添实力新机。近日，备受期待的OPPO A6k正式上市发售。这款新品搭载了备受好评的天玑6300八核处理器，并配备了一块容量高达7000mAh的耐用长寿电池，成为
速览 在《红色沙漠》的广阔世界中，数量丰富的支线任务与主线剧情共同构筑了沉浸式的冒险体验。其中，“熔化锁链的火焰”任务作为瑟金斯家族剧情线的关键环节，其触发机制与主线进程紧密相连。任务并非随时可用，玩家需将主线故事推进到特定阶段后，任务才会自动添加至任务日志。本篇攻略将为你详解此支线任务的接取条件与
《异种航员2》运动机制深度解析 在《异种航员2》（Xenonauts 2）的策略战斗中，对“时间单位”（TU）的高效运用是取胜的核心。每个士兵的移动、射击乃至战术配合，都依赖于玩家对TU的精确规划。操作上手简单：选中单位后，直接使用鼠标左键点击目的地方格，系统便会清晰显示移动所需消耗的时间单位，帮助
速览 在《异种航员2》(Xenonauts 2)的战局中，掌握“战术规避”与精通“火力输出”同等关键。游戏全新设计的掩体系统，是提升你作战小队生存几率的战略性核心。简言之，战场上绝大多数可见的物体都能转化为你的战术屏障。无论是散落的木箱、残缺的矮墙，还是茂密的灌木丛与坚实的建筑物，巧妙地利用它们，就
速览 在开放世界大作《红色沙漠》中，庞大的支线任务系统为玩家提供了丰富的探索体验。其中，“超凡建造物”任务是阿方索家族势力任务线中的重要一环。要成功接取此任务，玩家必须首先完成其前置任务【枪械名门】。在此之后，任务的下一步关键操作是前往游戏中标注的特定建筑地点进行互动调查——这本质上是一个用于快速移