在2023年Hot Chips 35大会上，SK hynix深入分享了内存技术的最新进展。当前，大规模计算对人工智能的需求日益增长，传统计算架构已难以应对挑战。本次分享的核心议题是，如何通过“内存中心计算”策略，破解AI计算中最棘手的瓶颈——内存容量、带宽与计算资源之间的严重失衡。以下是对此次系统介绍的全面梳理与解读。

SK hynix直面一个现实难题：生成式人工智能的推理成本居高不下。这笔开销不仅来自算力消耗，还包括功耗、互联以及内存本身，多个环节共同推升了总体成本。

大型Transformer模型对计算与内存的苛刻需求

尤其对于大型Transformer模型而言，内存已成为制约性能的关键瓶颈。这类模型在处理数据时对吞吐量要求极高，但现实是，性能瓶颈早已不再局限于计算单元的速度，而是被内存容量和带宽牢牢锁死。

行业普遍认为，AI硬件需要的远不止更大、更快的内存颗粒。我们需要的是集成了计算能力的不同类型内存，SK hynix将其定义为“领域特定内存”。公司正致力于成为这类内存计算方案的提供商，这无疑是提升自身价值链的有效路径。

“内存中计算”——SK hynix的AiM方案

他们的思路非常直接：直接在内存内部完成计算任务。具体来说，在GDDR6内存中，每个内存块都配有一个1GHz的处理单元，从而提供高达512GB/s的内部带宽。

AI计算中最重要的矩阵-向量乘法（GEMV）任务，现在可以在内存内部完成：权重矩阵数据直接从内存块读取，向量数据则来自全局缓冲区。

为了实现这种AiM（内存中计算），SK hynix设计了一套专用指令，使内存能够自主完成计算任务。

当然，这并非停留在实验室构想。现场还展示了这种内存的扩展能力，以及如何满足大型语言模型对计算资源的严苛需求。

不过，任何技术都有两面性。采用AiM技术，最大的挑战不在于硬件本身，而在于软件端的映射。需要为这种新硬件设计专门的架构，并提供易用的接口。这对推动技术实际落地，构成了主要障碍。

因此，他们投入大量精力研究如何将实际问题高效映射到AiM架构上。

从系统架构层面看，处理好规模化与扩展性，也是必须跨越的关卡。

整套AiM架构的核心组件包括：AiM控制器、可扩展多播互连、路由器、计算单元（ALU）以及指令序列控制器。

对于AI工作负载至关重要的矩阵向量累积函数，AiM通过一套类似CISC的指令集进行高效管理。

在新架构中，往往存在一些微妙的差异可以被利用以获取更优性能，这也是他们持续优化的方向。

SK hynix并非只停留在抽象讨论。他们展示了一套基于两个FPGA的GDDR6 AiM解决方案的概念验证，证明这并非纸上谈兵。

AiM软件堆栈

总体而言，这套方案目前仍处于评估阶段，SK hynix通过与传统解决方案的对比分析来验证其价值。它可能仍是未来的发展方向，但已让我们看到了突破内存墙的一种可行路径。