1月29日消息,随着代理式AI应用迅速扩张,AI系统对内存的需求正经历结构性转变。
据报道,AMD和高通正在评估,是否在下一代AI产品与机架架构中引入SOCAMM内存模块。
SOCAMM最初被视为专为NVIDIA设计的内存标准。与传统焊接在主板上的LPDDR不同,SOCAMM采用模块化设计,具备可更换、可升级的特性,能在容量、功耗与系统弹性间取得平衡。
在代理式AI架构中,模型需要长时间维持上下文、状态与任务记忆,这使得系统对短期但大容量的内存需求显著增加。
与单纯依赖HBM相比,业界逐渐认识到,需要引入另一层在成本、功耗和容量之间取得平衡的内存设计。因此,SOCAMM受到了广泛关注。
