HBM的困境：当高速内存遇上现实壁垒

高带宽内存（HBM）正逐步成为超大规模数据中心的首选方案，然而在主流应用市场，它的最终命运依然充满不确定性。尽管在AI/ML技术的推动下，HBM在数据中心领域的地位已相当稳固，但其设计上的固有短板始终阻碍着更广泛的普及。

优势十分明显：紧凑的2.5D封装结构，大幅降低了延迟。Rambus产品营销高级总监Frank Ferro在最近的Rambus设计峰会上一语道破：“HBM的核心价值在于，能在极小的物理空间内提供巨大的带宽，并且能效表现极为出色。”

但另一面是，它极度依赖昂贵的硅中介层和硅通孔（TSV）技术才能正常运行。

图 1：实现最大数据吞吐量的 HBM 堆栈。来源：Rambus

“当前HBM面临的最大挑战就是成本，”Cadence IP团队产品营销总监Marc Greenberg直言不讳。“3D堆叠本身就不便宜。堆叠底部的那块逻辑芯片，是额外支出的硅片。更别提下方那个硅中介层，它必须铺设在CPU或GPU与HBM之间，全部都要花钱。然后还需要更大的封装……这些系统级成本直接把HBM排除在消费市场之外，如今只能在服务器机房或数据中心里见到它。相比之下，GDDR6虽然性能不如HBM，但成本低得多。实际上，GDDR6的单位成本性能表现远优于HBM，问题仅仅在于最大带宽比不上HBM。”

Greenberg指出，正是这些差异，迫使许多公司选择HBM时带着一种“不得不”的心态。“HBM能提供海量带宽，而且每次数据传输的能量消耗极低。选用HBM，是因为你‘别无选择’，因为没有其他方案能提供相同的带宽或功耗特性。” 换句话说，HBM是一种性能优先的奢侈品。

好消息是，HBM的技术迭代从未停止。“我们预计HBM3 Gen3的带宽将提升50%，”美光计算产品事业部副总裁兼总经理Praveen Vaidyanathan透露。“美光的HBM3 Gen2产品预计在2024财年量产，2024年初就会开始贡献数亿美元的收入。而且，我们预计HBM3的利润率将超过普通DRAM。” 但经济账，依然是悬在许多设计团队头上的达摩克利斯之剑，尤其对于价格敏感的应用，他们必须寻找替代方案。

不过，情况并非毫无转机。Greenberg补充了一个值得思考的角度：“如果把一个算力问题拆解成更小的部分，你可能会发现HBM反而更划算。比如，你本来必须在一颗硬件上处理所有任务，不得不配HBM。但如果把这个任务拆成两部分，让两个线程并行跑，也许其中一部分就能连上便宜的DDR6。这样，就能用更低的成本完成相同的计算量。当然，如果你就是要顶峰带宽，又能承受成本，那HBM依然是那个最佳选择。”

散热：性能越高，发热越狠

另一个让工程师头疼的短板是散热。HBM的2.5D结构本身就会产生不少热量，更糟的是，它偏偏要放在CPU和GPU旁边，紧挨着这些发热大户。这种布局对热敏的DRAM来说，简直是一场灾难。

“最大的挑战就是热量，”Greenberg一针见血。“一颗CPU要处理的数据流是天文数字。每秒经过这个接口的数据量是太比特级。就算每笔数据交换只产生一点点微焦耳的热量，乘以每秒数十亿次的频率，CPU的温度也会高得吓人。而且CPU不光要搬运数据，还要做计算。别忘了，DRAM是半导体元件里最怕热的。大约85°C就开始丢失数据，到125°C左右基本就存不住东西了。”

好在物理布局还留了一点缓冲余地。“2.5D堆叠有个优点，CPU很热，HBM喜欢冷，它们之间毕竟隔着一段物理距离，”Greenberg指出。但在延迟和热量之间，设计者们几乎没有犹豫的余地。“我没见过任何人愿意为了散热牺牲延迟，”Synopsys内存接口IP解决方案产品线总监Brett Murdock说。“反过来，他们都在倒逼物理团队去找更好的冷却方案，或优化放置方式，来保持低延迟。”

面对这种挑战，多物理场建模能预判热问题，但这本身也有成本。Ansys产品经理Marc Swinnen说：“这里物理学的难度就上来了。功率可以说是集成所能达到的最大限制因素。你可以设计任何一堆芯片并完美连接，但冷却不了它。散热，就是实现目标最根本的瓶颈。” 潜在的解决方案，从微流体通道、浸入式非导电液体，到散热器上该装几个风扇、用铜还是铝，每一项都可能代价不菲。

可能永远没有完美的答案，但对目标的清晰定义和精准建模能帮助找到可行方案。“你得先定义‘最佳’对你意味着什么，”Swinnen说。“你是要最好的散热？最低的成本？还是两者的最优平衡点？怎么衡量？答案依赖于模型来理解物理实际发生了什么。最终要依靠AI来处理这种复杂度，创建元模型来捕捉这个特定优化问题的本质，然后快速探索这个广阔的设计空间。”

AI的胃口与HBM的宿命

AI/ML最密集的计算部分固然引人注目，但没有强大的内存架构，这一切都是空谈。存储和检索万亿次计算，离不开内存。事实上，单纯增加CPU核数并不能提升系统性能，因为内存带宽根本喂不饱这些CPU，这就是臭名昭著的“内存墙”瓶颈。

Quadric首席营销官Steve Roddy用一个生动的比喻揭示了本质：“从最广泛的角度看，机器学习本质上就是曲线拟合。每次训练迭代，你都在努力让曲线更贴近最佳拟合。就像高中几何里的X-Y图。大语言模型本质上也是同一回事，只是从2维变成了100亿维。” 所以，计算本身相对简单，真正令人难以置信的是背后那套庞大的内存架构。

“一些模型拥有1000亿字节的数据。每次重新训练迭代，都必须通过数据中心的背板，把1000亿字节的数据从磁盘拉进计算箱。在长达两个月的训练过程中，这组巨大的内存值要在机箱内外来回移动数百万次。真正的限制因子，就是数据的移入和移出。这就是为什么人们对HBM或光学互连这类从内存到计算结构的连接技术如此痴迷。” Roddy解释道。这也解释了为什么那么多风投资本涌入这个领域——只要能缩短数据传输的距离或时间，就能大幅简化和加速训练过程，无论是降低功耗还是提升速度。

所有这些原因，让HBM成为了AI/ML无可争议的首选内存。“它提供了某些训练算法所需的最大带宽，从可配置多个内存堆栈的角度来看，它非常灵活，能给你极高的带宽，” Rambus的Ferro总结道。这也解释了为何HBM如此炙手可热。“我们大多数客户都是人工智能客户，”Synopsys的Murdock说。“他们正在LPDDR5X和HBM接口之间做一个重大的基本权衡，唯一的障碍就是成本。” 然而，AI的需求实在太猛了，以至于HBM一向引以为傲的低延迟，现在反而显得有些过时和不足。这反过来又推动着下一代HBM的研发。

“延迟现在成了真正的问题，”Ferro感叹。“在HBM的前两代，我从没听人抱怨过延迟。但现在，我们经常收到关于延迟的咨询。”Ferro建议，在当前限制下，理解数据特征尤为重要。“数据可能是连续的视频或语音识别，也可能是非常随机的金融交易数据。如果知道数据是随机的，设置内存接口的方式就和流式传输视频完全不同。更深层的问题是：我将使用多大的字长？内存块大小是多少？对这些了解得越清楚，系统设计效率就越高。可以定制处理器来最大限度提升计算能力和内存带宽。我们看到越来越多的ASIC式SoC正在瞄准特定市场细分，以实现更高效的处理。”

降低成本：一场没有终点的博弈

既然经典的硅中介层方案成本高昂，寻找更便宜的替代方案就成了行业共识。“有些方法可以在标准封装里嵌入一小块硅，而不是铺一整块硅中介层延伸到所有东西下面，”Greenberg介绍。“CPU和HBM之间只有一座‘桥’连接。此外，标准封装技术上更细引脚间距的进展，也会大幅降低成本。还有一些专有解决方案，人们试图通过高速SerDes或UCIe类型连接来连接存储器。目前这些方案还是专有的，但我希望它们能标准化。”

Greenberg认为，未来可能并行发展两条技术路线：“硅中介层确实能提供最精细的引脚间距或线间距——基本上就是用最少的能量实现最大的带宽——所以它会一直存在。但如果行业能聚在一起，制定一个适用于标准封装的内存标准，就有可能用低得多的成本，提供类似的带宽。”

降本的努力从未停止。“台积电已经宣布他们有三种不同类型的中介层，”Ferro说。“有RDL中介层、硅中介层，还有一些混合体。当然，也有完全摆脱中介层的探索。未来12到18个月内，可能会看到一些直接在顶部堆叠3D内存的原型，理论上就能省掉中介层。” 另一种思路是使用更便宜的基板材料。“正在研究非常细间距的有机材料，看它是否能处理所有这些走线。UCIe也是一种通过更标准材料连接芯片、从而节省成本的方式。但同样，必须解决通过这些基材的数千条走线的问题。”

Murdock则寄希望于规模效应：“随着HBM越来越受欢迎，成本会有所缓解。HBM和任何DRAM一样，归根结底是个商品市场。不过中介层那边，成本下降速度可能没那么快，这仍然是个挑战。” 但成本远不止原材料的账单。“还取决于SoC需要多少带宽，以及电路板空间等成本，”Murdock补充。“对于那些想要高速接口且带宽需求大的应用，LPDDR5X是受欢迎的替代方案。但要匹配HBM堆栈的通道数量，需要的LPDDR5X通道数量相当惊人。这会带来巨大的设备成本和电路板空间成本，可能高得吓人。仅仅从美元角度，或是一些物理限制，都可能促使人们最终转向HBM，尽管它单价更贵。”

也有人对未来成本削减持比较保守的态度。Objective Analysis首席分析师Jim Handy直言：“降低HBM成本将是巨大挑战。因为硅通孔工艺成本很高，它的加工成本本来就明显高于标准DRAM。这让它无法拥有像标准DRAM那么大的市场。市场规模小，规模经济效应就弱，成本在自循环中更高。用量少，成本就高；成本高，用量就更少。这是个无解的难题。”

尽管如此，Handy对HBM的未来依然乐观，至少相比SRAM，它优势明显。“HBM已经是成熟的JEDEC标准产品。它是一种独特的DRAM技术，能以远低于SRAM的成本提供极高的带宽，还能在封装内提供比SRAM更高的密度。它会像DRAM一样持续改进。随着接口的成熟，我预计会看到更多巧妙的技巧来提升其速度。”

事实上，尽管面临种种挑战，HBM的步伐从未停下。“标准正在飞速发展，”Ferro总结道。“如果你看看HBM现在的迭代速度，大约每两年一个周期，这真的是惊人的速度。”