揭秘华为昇腾突破性MoE无损显存优化技术，显存减半
据来自IT之家2月4日的消息，以及“华为计算”今日发布的信息显示，随着大语言模型的快速发展，模型参数量已攀升至千亿乃至万亿级别。作为一种混合专家架构，MoE凭借其能够兼顾模型容量与计算效率的独特优势，正成为人工智能领域的关键研究方向。
在此背景下，南京大学李猛博士团队依托南京大学鲲鹏昇腾科教创新孵化中心的算力支持，基于华为昇腾平台，开展了以专家等价性为驱动导向的MoE无损显存高效优化研究。团队成功攻克了一系列技术瓶颈，实现了显存消耗降低超过50%、推理延迟显著提升的重要突破。
该项目聚焦于MoE模型部署的核心痛点：大参数量模型部署时，高显存占用导致仅有少量热专家能常驻内存，大量参数需要在内存与显存间频繁切换，引发严重的推理延迟问题。同时，对自主化硬件适配的需求也日益迫切。
团队基于对MoE专家冗余性与等价性的创新性观察，提出了一套软硬件协同优化方案。通过四项核心技术构建了异构推理混合部署框架，实现了全链路效率提升。
首先，团队创新性地设计了三段流水线并行架构，将参数加载、CPU串行计算与GPU并行推理深度重叠，大幅减轻了数据传输压力，使计算与参数传输得以高度并行。其次，突破传统路由机制，根据专家等价性将专家划分为高、中、可替代低分三类，优先缓存核心专家，并利用等价专家灵活替代未加载的低分专家，显著减少了冗余传输与显存占用。第三，首创了共享专家引导的在线预取机制，无需离线训练即可精准预测后续所需专家，提前完成参数加载，有效隐藏预取延迟。最后，设计了双指针动态负载均衡算法，根据任务规模智能分配CPU与GPU算力，充分发挥异构计算的优势，规避了为小批量任务加载额外数据而引起的延迟问题。
依托昇腾平台的硬件特性与CANN软件栈，团队针对性研发了异构推理加速引擎MoE-Ascend。该引擎涵盖动态专家路由管理、专家预测预取、算子适配等核心功能模块，实现了在昇腾平台上的深度适配与性能优化。
该引擎可支持昇腾等多种硬件环境。在保持模型精度无损的前提下，不仅将显存消耗降至原方案的一半，推理速度也较同类方法提升了2倍以上，并将显存缓存命中率提升至70%以上，成功打破了MoE模型对国外高端硬件的依赖。
该项目构建的推理优化工具链，计划开源至昇腾社区、DeepModeling社区及GitHub平台，供科研与工程开发者复用和扩展。
未来，项目成果将应用于AI推理平台、智能客服、语音生成等多个场景。尤其能够适配昇腾等自主NPU部署环境，为边缘侧智能服务提供有力支撑。
热门专题
热门推荐
《全面战争：中世纪3》：经典延续，如何平衡怀旧与创新？ 近期，《全面战争：中世纪3》的项目负责人帕维尔·沃伊斯坦然指出，要打造一款真正优秀的续作，绝不能仅仅依赖对前作模式的简单复刻。这一观点引人深思——尽管《中世纪2：全面战争》至今仍在策略游戏爱好者心中占据着经典地位，但开发团队此次显然决心跳出“照
雷鸟X3 Pro斩获AWE艾普兰创新大奖，开启全民AR生活新篇章 在上海新国际博览中心隆重揭幕的2026年中国家电及消费电子博览会（AWE）上，前沿AI科技与未来生活愿景激情碰撞。全球消费级AR领导品牌雷鸟创新，以其里程碑式的表现，定义了行业发展的新方向。 通过“顶尖硬件科技+顶级文化IP”的双轨战
借力AWE2026“一展双区”，MOVA双区协同、震撼登场 备受瞩目的科技盛会——2026年中国家电及消费电子博览会（AWE），于3月12日至15日在上海盛大举办。本届AWE展会首次创新采用“一展双区”的展览模式，主会场位于上海新国际博览中心，分会场则设于上海东方枢纽国际商务合作区，两大展区高效联动
冰结师技能全解析 踏入2026年，《地下城与勇士》中的冰结师职业，其技能体系已构建得更为成熟与强大。无论是在副本中高效清理海量怪物，还是在决斗场与高手玩家周旋，这个职业都能凭借其独特的冰霜艺术掌控战局。刷图时，酷寒的范围法术可瞬间清屏；而在PVP竞技中，一套将冻结控制与瞬间爆发完美衔接的连招，往往让
iPhone 18 Pro系列模具不变，屏幕形态将与iPhone 17 Pro保持一致 备受期待的屏下Face ID组件小型化设计与灵动岛区域缩窄方案，预计将被推迟至后续迭代机型中正式应用。 近期，关于iPhone 18 Pro系列的技术传闻持续引发行业关注，尤其在显示与解锁设计领域传言甚多。多方消