谷歌刚刚扔出了一颗重磅冲击波?面向AI推理时代,一款专为深度思考模型打造的TPU芯片正式亮相。
这次的核心内容其实就三件事:第一,性能爆炸式增长;第二,集群规模史无前例;第三,强调从响应式到主动生成的推理范式转变。
核心卖点:性能与扩展性
新芯片代号Ironwood,也就是第七代TPU(TPU v7)。FP8峰值算力达到了4614 TFlops,这比2017年第二代TPU强了整整3600倍。对比2023年的第五代,也有10倍的提升。为什么不和第六代比?只能说未知,但无疑这一代的目标很明确。
第七代TPU的另一个爆点是高扩展性。最高配集群可容纳9216片液冷芯片,峰值算力达到42.5 ExaFlops——也就是每秒运算42.5亿亿次,是目前全球最强超级计算机EL Capitan的24倍。
谷歌对此的解读是:AI正在从被动响应(提供实时信息供人类解读),转变为能够主动生成洞察和结论的推理阶段。在推理时代,Agent会主动检索和生成数据,以协作的方式提供答案,而不仅仅是呈现数据。
实现这一目标,需要芯片同时满足巨大的计算和通信需求——以及软硬协同的设计。
软硬协同的设计思路
像DeepSeek-R1和谷歌自家的Gemini Thinking这类深度思考推理模型,目前都采用MoE(混合专家)架构。激活参数量虽然相对少,但总参数量巨大,这要求大规模并行处理和高效的内存访问,计算需求远超任何单芯片的容量。至于o1,外界普遍猜测也是MoE,但OpenAI不公开,并不好下定论。
谷歌TPU v7的设计思路,就是在执行大规模张量操作时,最大限度地减少芯片内部的数据移动和延迟。与上一代相比,高带宽内存(HBM)容量提升至192GB——是上一代的6倍;单芯片内存带宽提升到7.2 TBps,达到4.5倍之多。
系统层面也下了功夫:TPU v7的芯片间通信(ICI)网络具备低延迟、高带宽特性,支持全集群规模的协调同步通信。双向带宽提升至1.2 Tbps,是上一代的1.5倍。
能效方面,TPU v7每瓦性能是上一代的两倍。
硬件说完了,软硬协同的部分同样重要。TPU v7配备了增强版SparseCore——一种专门处理高级排序和推荐工作负载中常见超大嵌入数据流处理的处理器。它还支持Google DeepMind开发的机器学习运行时Pathways,能跨多个TPU芯片实现高效的分布式计算。
谷歌计划在不久的将来,将TPU v7整合到谷歌云AI超算中,支持包括推荐算法、Gemini模型以及AlphaFold等业务。
市场反响:英伟达压力山大
看完发布,评论区网友纷纷开始@英伟达。有人直言,如果谷歌能以更低价格提供AI模型推理服务,英伟达的利润将受到严重威胁。
还有人直接问AI机器人,这款芯片对比英伟达B200结果如何。
简单对比一下:TPU v7的FP8算力4614 TFlops,高于B200标称的4.5 PFlops(4500 TFlops);内存带宽7.2TBps,略低于B200的8TBps。两者基本是对标产品。
实际上,除了谷歌,还有两个云计算大厂也在布局自己的推理芯片。亚马逊的Trainium、Inferentia和Gra viton大家已经很熟悉,微软的MAIA 100芯片也能通过Azure云访问。
AI芯片的竞争,越来越激烈了。
