游乐游手机版
首页/AI热点日报/热点详情

DeepSeek开源负载均衡器:线性规划破解MoE训练动态失衡难题

类型:热点整理2025-11-20
人工智能领域迎来新突破,DeepSeek在GitHub平台开源了一款名为LPLB(Linear-Programming-Based Load Balancer)的并行负载均衡器。这款基于线性规划技术

人工智能领域迎来重大进展,DeepSeek在GitHub平台开源了一款名为LPLB的并行负载均衡器。这款基于线性规划技术的工具,专门针对专家混合模型进行专家并行工作负载的优化分配。其设计思路与英伟达在万卡GPU集群中的调度机制有异曲同工之妙。

根据技术文档披露,LPLB的核心创新在于将调度层级从流式多处理器提升至整个执行流水线。英伟达此前通过NVLink连接的GPU集群中,采用类似机制为不同计算核心分配资源,而DeepSeek的解决方案通过抽象化处理,实现了更宏观的负载调控。目前该项目仍处于早期研发阶段,具体性能提升幅度尚在持续评估中。

该工具通过三重机制实现动态均衡:首先利用嵌入式EPLB模块对专家进行工作负载统计驱动的动态重排序;其次构建考虑硬件拓扑结构的专家副本体系;最后针对每个训练批次求解最优Token分配方案。其内置的线性规划求解器采用单流多处理器内点法,并调用NVIDIA的cuSolverDx和cuBLASDx库进行矩阵运算,工作负载数据可通过用户输入、torch.distributed框架或Deep-EP内部通信器获取。

作为EPLB的升级版本,LPLB重点解决专家混合模型训练中的动态失衡问题。EPLB主要用于处理数据分布导致的静态不平衡现象,而LPLB则针对小批次训练中出现的随机波动。具体实现上,系统为每个原始专家配置冗余专家,在GPU间形成传输通道,通过求解线性规划问题重新分配Token流,在通道容量限制下最小化组内负载差异。为降低通信开销,系统采用NVLink和NVSHMEM技术替代传统torch.distributed.allreduce方法。

开发团队设计了多种硬件拓扑支持方案。Cube模式在8GPU子组内构建立方体图结构,要求每个GPU至少承载2个专家;Hypercube模式扩展至16GPU规模,通过移除对角边优化跨节点通信;Torus模式则在节点内外GPU间复制专家形成环面结构,适用于全局均衡但节点内通信效率略逊于Cube模式。用户可通过修改路由优化矩阵自定义拓扑结构。

技术文档同时指出当前存在的三大局限:成本估算模型未考虑矩阵乘法的非线性时间成本,可能导致次优调度;求解器在节点内优化耗时约100微秒,对小批次任务影响显著;极端负载不均衡场景下,因避免为同一原始专家分配多副本的限制,性能表现可能弱于EPLB方案。

对于部署环境,系统要求CUDA工具包版本不低于12.6.3,强烈建议搭配DeepEP框架使用。安装流程包含数学库下载、环境变量配置和pip安装三个步骤,并提供详细的拓扑定义接口示例。开发者可通过GitHub仓库获取完整代码和文档,示例代码展示了如何配置冗余专家拓扑并执行负载重定向操作。

来源:https://www.itbear.com.cn/html/2025-11/1023777.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。