国产GPGPU集群突破：智张量携手商汤实现推理成本低于A100
国产算力领域迎来重大突破——记忆张量科技有限公司与商汤科技大装置团队联合宣布，在国产GPGPU集群上成功部署全球首个以“记忆—计算—调度”一体化为核心的PD分离商用推理集群，并在真实生产环境中实现稳定运行。测试数据显示，该方案综合推理性价比达到同代英伟达A100芯片的1.5倍，标志着国产算力体系首次在大规模商业化落地中展现出体系级竞争力。
这一突破源于对传统PD分离技术的深度重构。传统方案仅通过硬件隔离优化推理性能，但受限于物理架构，性能提升存在天然瓶颈。联合团队创新性地将PD分离从硬件优化升级为以记忆为中心的设计范式，通过记忆张量自主研发的MemOS系统，将大规模认知结构分解为参数记忆、激活记忆、明文记忆三类，构建起跨时间尺度的智能调度链路。系统能够精准判断计算任务的前移时机、保留策略及淘汰规则，使PD分离架构的潜力得到充分释放。
在具体实现层面，商汤科技大装置提供了底层支撑：其IaaS层高效算力池与智能调度系统为模型推理构建了稳定基础，Ignite框架通过多后端适配、KVCache优化等手段形成完整优化链路；算丰信息则负责集群算力管理，确保高性能GPGPU资源、存储及网络的高效协同。三方协作下，MemOS的记忆体系被映射为清晰的物理分工：Prefill域（P域）作为“记忆工厂”集中处理影子上下文预测与KV+Cache预生成，Decode域（D域）则专注实时交互解码，二者通过高带宽互联实现跨节点KV+Cache“即产即用”，传输开销降低超40%。
生产级评测数据验证了方案优势：在2k输入、1k输出、首字生成时间（TTFT）小于2秒的严苛条件下，集群整体吞吐量从107.85 tokens/s提升至189.23 tokens/s，增幅达75%；单卡并发能力从25.00提升至29.42，提高20%；TTFT全程稳定达标，Decode域因职责单一化避免了资源竞争。记忆张量技术负责人比喻称：“这相当于为高速算力通道配备了精密的交通指挥系统，使每个计算单元都能发挥最大效能。”
该成果的突破性在于实现了从技术优化到范式变革的跨越。传统PD分离仅关注硬件层面的计算任务分配，而联合方案通过MemOS将业务调度逻辑注入记忆单元，使推理过程从静态计算转向动态流水线。例如，在C端高并发场景中，系统可自动调整记忆保留策略，确保关键任务优先处理；在长文本生成场景下，激活记忆机制能动态平衡计算资源，避免性能衰减。这种设计使国产GPU不再局限于“能运行大模型”，而是具备承载R1级C端业务的完整体系能力。
基于此次实践，双方计划进一步拓展合作边界：一方面，将构建更大规模的记忆驱动流水线推理底座，整合影子上下文生成、多级缓存管理、AIOps监控等模块，形成可演进的基础设施体系；另一方面，将在Prefill行为预测自治化、跨任务长时记忆一致性等前沿领域展开探索，为具身智能、复杂任务编排等场景提供技术支撑。业内专家指出，这一突破标志着国产算力正从“参数计算”向“记忆计算”转型，有望在AI技术竞争中定义下一代推理范式。
热门专题
热门推荐
在文档数字化与智能处理领域，一款高效精准的在线工具能极大提升工作效率。今天重点评测的TextIn Tools，正是这样一个集OCR识别、格式转换于一体的全能型免费平台。它由上海合合信息科技开发，该公司在人工智能文字识别领域拥有超过17年的技术积累，实力深厚。我们熟悉的“扫描全能王”、“名片全能王”等
还在为制作PPT而烦恼吗？排版耗时、素材难寻、风格杂乱……这些常见困扰，或许一个智能工具就能高效化解。 WPS智能PPT，是一款基于先进人工智能技术的在线演示文稿辅助平台。其核心优势在于：用户仅需输入文本内容，内置的AI引擎便能自动进行视觉设计与美化，快速生成多种风格的精美版式供您挑选。这极大地简化
在追求高效办公的今天，各类AI工具不断涌现，但能够真正实现“一站式”智能集成的平台却屈指可数。本文将深入介绍的“超办AI”，正是这样一个致力于将多种AI能力深度融合，直接赋能日常工作效率的集成化平台。 超办AI是什么？一站式AI办公平台详解 简而言之，超办AI是一个智能办公解决方案平台。其核心理念非
学术灵感：AI驱动的中文论文写作辅助工具全解析 在科研写作过程中，从选题构思到初稿完成，研究者往往需要投入大量时间与精力。是否存在一种高效工具，能够在研究起点——即灵感激发与论文框架构建阶段——提供实质性帮助？本文将深入探讨的“学术灵感”平台，正是这样一款专注于中文论文写作场景的AI智能助手，旨在提
在视觉营销主导的数字化时代，一个名为“造物云”的在线3D营销设计平台正在重塑内容生产的规则。它本质上是一个基于浏览器的云端设计工具，其核心价值在于，让用户无需依赖复杂的专业软件或高昂的硬件，就能独立创作出具有商业摄影品质的3D渲染图片和动态视频。这为品牌营销、电商展示和社交媒体内容创作开辟了高效的新