被韩媒誉为“HBM(高带宽内存)之父”的韩国科学技术院(KAIST)教授金正浩,近日接受了《东亚日报》视频专访。在深入探讨HBM技术演进与AI硬件性能瓶颈时,他直言不讳地指出:“AI的本质就是内存。”
过去,人们习惯将AI的能力归功于模型算法与GPU算力,这固然没错。但金正浩提醒了一个常被忽略的关键:当大模型真正运行时,注意力机制、上下文缓存、推理生成等每一步骤,都离不开内存系统的支撑。换句话说,没有足够快、足够大的内存,再强的计算核心也只能处于等待状态。

HBM的核心原理,是将多层DRAM垂直堆叠——既提升容量,又通过大量并行通道大幅提高数据传输效率。金正浩打了一个形象的比方:传统内存好比8车道高速公路,而HBM则像是1024车道、2048车道,未来甚至可能扩展到100万条车道。
他进一步解释了内存成为瓶颈的原因:大模型每次输出,都需要先从HBM或HBF(高带宽闪存)读取数据,完成计算后再写回。整个过程中,读写操作占据了大部分时间,GPU常常处于空闲等待。据他估算,即使部署100万块GPU,真正用于计算的时间可能只有10%左右,大量时间消耗在等待内存数据到位。即便通过算法和调度不断优化,这个比例也很难超过30%。
因此,金正浩认为,未来AI计算机的进化方向应当是让计算更贴近内存,避免数据长距离搬运。他形象地描述:“就像在公寓一楼安装GPU,数据坐电梯下来计算,整栋楼解决所有事务,省去往返奔波的时间。”从HBM4开始,HBM已经呈现出“以内存为中心计算”的趋势,部分GPU功能和通信功能被集成到内存结构中。
沿着这一思路,他描绘了HBM、HBF、HBS三阶段演进路线。HBM基于DRAM堆叠,速度快但容量有限;HBF基于NAND Flash堆叠,速度较慢但容量更大,适合承载AI的长期记忆与冷数据;而HBS是他提出的高带宽SRAM构想,目标是实现更低延迟、更高速度,以支撑未来的AI计算需求。
在他设想的未来中,AI计算机将演变为约100层的三维复合架构:HBM如同百货商店,负责高速热数据;HBF像公寓楼群,承载大容量冷数据;HBS承担超低延迟缓存;而GPU/CPU则位于顶层,负责散热管理。
过去英伟达的强势地位,建立在GPU对AI训练的完美适配之上。但进入推理时代后,内存的重要性迅速提升。更关键的是,GPU发热量大、需要外部散热方案,很难像DRAM或NAND那样继续大规模垂直堆叠。金正浩特别提到,英伟达CEO黄仁勋近期频繁出入韩国,背后原因正是GPU正面临技术瓶颈——成长几乎停滞,而未来3D AI计算机的供电与散热能力,将成为决定企业生死存亡的核心竞争力。

当然,也需要理解金正浩的立场。韩国是存储产业的重要参与者,他强调HBM、HBF乃至更远期的HBS,主观上也是在提升韩国存储产业相对于GPU厂商的地位。他认为,韩国两大存储厂商既有DRAM堆叠基础,又具备NAND技术积累,更有可能在未来3D AI计算架构中占据核心位置。
不过,未来的AI硬件竞赛不会简单地由“GPU时代”切换到“内存时代”,而是进入更复杂的系统工程阶段。GPU、HBM、先进封装、网络互连、电力供应与散热能力,最终将共同决定AI基础设施的真实实力。
金正浩在访谈中也谈到了来自中国企业的追赶压力。他指出,中国企业可以覆盖三星、SK海力士等现有国际供应商产能不足以填补的市场空白。同时,随着本土企业自研GPU、NPU或AI芯片,中国的内存产业也会被同步带动。尽管金正浩认为目前韩国企业仍保持领先,但他明确表示,总有一天,中国乃至美国企业都会在HBM、HBF领域追赶上来。
“对韩国厂商而言,这是一场关乎生存的长期竞争,只能努力活到最后。”金正浩总结道。
