近期AI硬件领域迎来重要突破：AMD ROCm软件栈在适配DeepSeek V4大模型后，推理性能实现跨越式提升。根据SemiAnalysis旗下InferenceX基准测试平台最新数据，在短短两周内，ROCm在FP4与FP8精度下的推理吞吐性能飙升达75倍，测试涵盖8K与1K上下文长度典型场景，数据截止至5月8日。
这一性能飞跃直接转化为用户体验的实质性改善：在保持相同交互响应水平的前提下，系统token处理能力大幅增强，推理延迟显著降低。对于终端用户而言，这意味着更流畅、更即时的AI对话体验，操作感受更为跟手。
尤为值得关注的是，此次性能跃升完全通过软件栈深度优化实现，硬件平台未作任何改动。这充分展现了AMD在AI软件生态建设上的快速迭代能力与工程实力。那么，这75倍的性能提升究竟如何实现？
软件优化的核心技术突破
性能突破主要源于两大核心优化策略。首先，通过融合mHC操作与RoPE哈达玛变换，有效降低了CPU计算开销，同时显著提升了HBM高带宽内存的利用效率。其次，关键计算内核——包括索引器与键值缓存压缩器——现已全面采用TileLang与Triton专用语言进行重构。这种开发模式的优势在于极大加速了从算法设计到工程实现的迭代周期，使优化工作能够以更敏捷的方式持续推进。
当然，客观来看，ROCm软件栈目前与行业领先水平仍存在一定差距。基准测试数据显示，在单节点性能比较中，其与英伟达B200加速卡仍有约5倍性能差；若对标PD解耦架构的B200版本，也还有1.5倍的提升空间。
然而，市场对AMD的后续表现已抱有更高期待。行业信息表明，AMD有望在未来数周内完成剩余的性能优化目标，进一步缩小与NVIDIA CUDA软件生态的技术差距。值得特别指出的是，此次性能冲刺的背景是：在DeepSeek V4模型发布后，AMD ROCm工程团队是在未提前获取模型权重的情况下启动适配工作的。仅用约两周时间即实现如此显著的性能提升，其技术响应速度与工程执行力确实令人印象深刻。
