数据中心对AI/ML的依赖越来越深，海量数据的产生与消耗速度惊人，给存储、移动和分析数据带来了巨大压力。中国的情况尤其典型——随着人工智能产业快速推进，高性能处理的需求持续攀升，而传统数据中心已然成为绕不开的瓶颈。为了应对这一挑战，中国出台了《新型数据中心发展三年行动计划》，与传统数据中心相比，新型数据中心强调高技术、高算力、高能效和高安全。

在市场需求与政策支持的双重推动下，数据中心服务器迫切需要更大的内存带宽和容量，才能更好地支撑AI/ML的持续发展。

自2013年问世以来，高带宽存储器（HBM）逐渐被视为提升数据中心服务器和AI翻跟斗性能的理想方案。HBM基于3D堆栈工艺，是一种高性能SDRAM架构，能实现巨大的内存带宽。

2018年底，JEDEC固态技术协会发布了HBM2E标准，进一步提升了带宽和容量。HBM2E每个引脚的传输速率达到3.6Gbps，每个堆栈可提供461GB/s的内存带宽。同时，HBM2E最高支持12层DRAM堆叠，单堆栈容量可达24GB。如果连接四个堆栈到处理器，总带宽将超过1.8TB/s。通过3D堆叠，HBM2E在极小的空间内实现了高带宽和高容量。在此基础上，下一代HBM3将数据传输速率和容量推向新高度。

市场上已经出现专门针对HBM3优化的内存子系统方案，例如针对高带宽和低延迟进行设计，以紧凑架构和高效能封装提供性能和灵活性。这类方案通常由完全集成的PHY和数字控制器组成，涵盖完整的内存子系统。

相比HBM2E，HBM3方案将最大数据传输速率提高了一倍以上，达到每个数据引脚8.4Gbps（当此速度的DRAM可用时）。系统接口拥有16个独立通道，每个通道64位，总数据宽度1024位。在最大速率下，总接口带宽可达1075.2GB/s——换句话说，超过1TB/s。

这类内存子系统专为2.5D架构设计，需要内插器在SoC上的3D DRAM堆栈和PHY之间传输信号。这种信号密度与堆叠架构的组合，对设计提出了特殊要求。为了提升设计的易实施性和灵活性，相关团队会对整个2.5D架构的内存子系统进行完整的信号和电源完整性分析，确保满足信号、电源和热量要求。此外，还会提供中介层参考设计。

凭借在高速信号处理领域30多年的积累，以及在2.5D内存系统架构设计和实现方面的深厚功底，业界正在持续推动HBM的演进。从HBM2E到HBM3，内存带宽标准被一次次刷新——HBM3方案的峰值速率已经达到8.4Gbps，带宽轻松跨过1TB/s的门槛。