华为9月开源UCM技术：AI推理实现高吞吐低时延

8月12日最新消息，华为今日正式推出了一项AI推理领域的创新技术——UCM（推理记忆数据管理器）。这项技术将为AI推理性能带来显著提升。

作为一款以KV Cache为核心的推理加速套件，UCM创新性地整合了多种缓存加速算法工具。它采用分级管理机制，能够高效处理推理过程中产生的KV Cache记忆数据，从而显著扩展推理上下文窗口。在实际应用中，该技术可实现高吞吐、低延迟的推理体验，同时有效降低每个Token的推理成本。

目前，UCM技术已在中国银联的"客户之声"、"营销策划"和"办公助手"三大业务场景中率先开展试点应用，并成功验证了其在智慧金融领域的AI推理加速效果。

根据华为公布的计划，UCM技术将于2025年9月正式开源。届时，该技术将率先在魔擎社区发布，后续将逐步贡献给业界主流推理引擎社区。值得注意的是，华为还将把这项技术共享给所有采用Share Everything（共享架构）的存储厂商和生态合作伙伴，共同推动AI推理技术的发展。