AI推理芯片初创公司SambaNova近日完成一笔高达10亿美元的重磅融资，公司投后估值随之攀升至110亿美元。

本轮F轮融资由General Atlantic领投，Intel Capital、Vista Equity Partners以及摩根大通等十余家机构共同跟投。值得注意的是，今年2月，SambaNova刚完成了一轮3.5亿美元的融资。

2月融资的同时，SambaNova推出了旗舰产品——推理芯片SN50。据公司介绍，这款加速芯片的吞吐量可达英伟达B200显卡的三倍以上，峰值速度更是后者的五倍。这一性能提升并非小打小闹。

要理解SN50为何如此强劲，首先需要了解AI模型的工作机制。模型生成响应是一个反复迭代的过程：一组人工神经元先分析用户输入，生成初步结果并暂存到内存；接着另一组神经元接手，取出结果优化后再次写回内存。这个流程不断循环，直到输出最终答案。

不难发现，数据在内存之间的频繁流转，恰恰成为生成响应时间的主要瓶颈。SambaNova表示，SN50的高性能源于其专为提升片上数据传输速度而设计的独特架构——这正是关键所在。

SN50由数十个称为“Tile”的模块构成。每个Tile都将处理电路和高速SRAM内存紧密集成在一起。内存与处理电路的距离越近，数据传输时延就越短，推理速度也越快。当一个Tile完成计算后，结果会直接传递给下一个Tile继续处理，整个流程行云流水。

SN50总共动用了三种内存类型。Tile内部的SRAM只是其中之一，此外还配备了HBM内存池，用于存放AI模型的活跃权重和KV缓存——这些部件承担了处理用户请求的主要算力。芯片还集成了DRAM模块，可储存多个非活跃神经网络。当应用需要切换AI模型时，芯片能在几毫秒内将神经网络从DRAM加载到HBM，切换速度相当惊人。

SambaNova以16块芯片集成的机架形式销售SN50，产品名为SambaRack SN50。整机功耗大约仅为20瓦，发热量相对较低，因此采用标准风冷散热即可满足需求，完全无需高端GPU服务器通常配备的液冷系统。这在部署和运维成本方面，优势不言而喻。

作为本轮融资的参与方，摩根大通今日同时宣布，计划采用SN50芯片，同时引入上一代SN40芯片，并将这两款处理器整合到其本地推理基础设施中。这无疑是对SambaNova产品实力的重量级背书。

SambaNova表示，本轮融资所得资金将用于扩展芯片产品线、优化机架设计及软件能力，并加快市场推广步伐。

Q&A

Q1：SambaNova推理芯片SN50与英伟达B200相比，性能表现如何？

A：据SambaNova官方介绍，SN50的吞吐量达到英伟达B200显卡的三倍以上，峰值速度更是B200的五倍。SN50采用将处理电路与高速SRAM内存紧密集成的Tile模块架构，显著缩短了数据传输时延，从而提升了整体推理性能。

Q2：SambaRack SN50机架系统具备哪些优势？

A：SambaRack SN50是由16块SN50芯片组成的集成机架系统，整机功耗仅约20瓦，发热量较低，因此采用标准风冷散热即可，无需像高端GPU服务器那样配备液冷系统，有效降低了部署与运维成本。

Q3：摩根大通计划如何使用SambaNova芯片？

A：摩根大通宣布计划采用SambaNova的SN50芯片及上一代SN40芯片，将这两款处理器整合至其本地推理基础设施中，用于在自有数据中心内部署和运行AI推理任务。