最近一则消息挺有意思:AI芯片领域的巨头英伟达,正和一家叫d-Matrix的ASIC初创公司合作,打算把两家的硬件凑一起,搞个混合算力基础设施来跑AI模型。

具体来说,这个叫Parasail的云计算服务商,把英伟达的Hopper/Blackwell GPU和d-Matrix的Corsair ASIC组合到一起——结果呢?Token生成速率直接飙了10倍。
d-Matrix的Corsair走的是D-IMC(数字存内计算)路线,一颗台积电N6工艺的SoC,把计算单元和足够的SRAM塞在同一块芯片上,数据传输的开销就小多了,再用片外LPDDR5扩充一下容量,整体思路很清晰。
分工也很有意思:英伟达GPU负责AI推理前端的预填充任务——这部分计算密集,GPU的强项;d-Matrix的Corsair则专攻推理后端的解码任务,延迟敏感,大容量SRAM正好派上用场。
d-Matrix的创始人兼CEO Sid Sheth在新闻稿里说得挺直白:
Parasail正在印证我们从一开始就坚信的观点:推理的未来是异构的。GPU和专用推理翻跟斗并非竞争对手,而是相辅相成。通过将Corsair与其NVIDIA产品线结合使用,Parasail正在采用一种异构推理方法,旨在优化工作负载的每个阶段。
