2023年3月3日，Graphcore正式推出了新一代IPU处理器，性能相较上一代提升了40%，电源效率则提高了16%。最引人瞩目的是，这款芯片成为全球首款采用台积电3D Wafer-on-Wafer技术的处理器。从上一代IPU升级至新品，开发者无需修改任何代码，价格也保持不变，目前该产品已全面上市。
全球首颗基于台积电3D Wafer-on-Wafer工艺的处理器
Graphcore大中华区总裁兼全球首席营收官卢涛向媒体详细介绍了新一代IPU的细节。这款名为Bow IPU的芯片采用3D封装技术，单个封装内集成了超过600亿个晶体管，人工智能计算性能达到了350 TeraFLOPS，而上一代MK2 IPU仅为250 TeraFLOPS。
在供电方面，Bow IPU进行了大量优化。片内存储容量维持在0.9 GB，但吞吐量从47.5 TB/s提升至65 TB/s。处理器内核数量、独立线程数量以及外部接口等，与上一代产品保持一致。核心变化体现在3D封装带来的晶体管数量增加，以及算力和吞吐量的提升。
Bow IPU由两颗裸片堆叠而成，采用了台积电的SoIC-WoW技术。下方是一颗IPU裸片，上方则是另一颗负责供电与辅助节能的裸片。卢涛指出，这种设计使得新产品在提升实际运算算力的同时，能效也得到了同步增强。从某种意义上说，这是Graphcore与台积电联合创新所取得的成果。
基于Bow IPU的Bow系统实现性能大幅跃升
除了Bow IPU，Graphcore还发布了基于Bow IPU的Bow系列系统，包括Bow Pod16、Bow Pod32、Bow Pod64、Bow Pod256以及Bow Pod1024。以Bow Pod16为例，它由4台1U的Bow-2000和一台CPU服务器组成，可提供5.6 PetaFLOPS的算力。
在纵向扩展方面，Bow Pod32和Bow Pod64分别包含8台和16台Bow-2000。基于Bow Pod64可以继续横向扩展到Bow Pod256和Bow Pod1024。其中，Bow Pod1024由256台Bow-2000组成，能够提供358.4 PetaFLOPS的AI计算能力。目前除Bow Pod1024仍处于早期访问阶段外，其余型号均已实现量产。
性能扩展数据同样颇具亮点：以IPU-POD16的性能为基准，Bow Pod16性能提升至1.4倍，而Bow Pod256则可提升18倍。
Bow-2000 IPU Machine使用了4颗Bow IPU。此前在1U刀片机箱中，Graphcore可提供1 PetaFLOPS的算力，现在已提升至1.4 PetaFLOPS。Bow-2000拥有3.6 GB处理器内存储，吞吐量达260 TB/s，IPU流存储最高256 GB，IPU-Fabric带宽为2.8 Tbps。
100%软件兼容，开箱即用无需更改代码
卢涛强调，新一代产品与前一代实现了100%的软件兼容性，基本可以做到开箱即用。用户在获得性能提升的同时，无需修改任何代码——不仅应用软件无需调整，底层软件、驱动等也不需要任何改动，能够无缝集成到不断扩大的IPU软件合作伙伴生态中。
这一点尤为关键。许多产品在迭代时，尽管性能有所提升，但往往需要大量的软件适配工作。100%的软件兼容意味着，已经使用上一代IPU的用户，未来购买Bow IPU后，无需进行任何适配即可直接享受性能提升。
提供完整软件栈生态系统
Graphcore中国工程副总裁、AI算法科学家金琛对媒体表示，上述性能提升不仅得益于硬件新架构的功劳，也归功于Graphcore的软件栈和生态系统，其核心就是Poplar SDK。
金琛介绍，Poplar SDK包含driver、上层的XLA backend，以及Graphcore自研的PopART等。这些软件协同工作，使Graphcore能够为不同应用提供广泛且通用的性能提升。
此外，Graphcore还提供了相当丰富的生态系统。在AI软件框架层面，支持PyTorch、TensorFlow、HALO、PaddlePaddle以及Keras等。在用户侧，支持Jupyter Notebook和Inference Deployment Toolkit，帮助客户实现推理与部署一体化。在开发者社区方面，Graphcore提供了大量代码用例、文档和视频示范，尤其在机器学习应用上给出了覆盖图像识别、物体检测、语音模型、语言模型等不同AI垂直领域的模型范例，并且这个模型库还在不断迭代扩充。
在云端，Graphcore也进行了广泛部署。PopVision工具可以帮助用户和Poplar编程者更有效地优化应用在Graphcore平台上的性能。
提供10倍的总体拥有成本优势
Graphcore不仅追求高效性能，在性价比方面也展现出显著优势。上图中左侧是Bow Pod的一种形态，右侧是DGX-A100。在DGX-A100上训练EfficientNet-B4的backbone需要70个小时，而在Bow Pod16上仅需约14个小时——快了近5倍。再结合性价比优势，整体TCO增益可以达到接近10倍左右。
Graphcore未来还要做什么？
人脑大约有860亿个神经元、100万亿个突触，突触可以类比为AI模型中的参数数量。也就是说，目前最大的AI模型参数与真正的人脑相比，仍有约100倍的差距。
卢涛谈到，Graphcore正在开发一款能够超越人脑处理能力的超级智能机器——Good Computer，即古德计算机。这个命名有两层含义：一层是“好的计算机”，希望计算机能带来正面影响；另一层是向前辈Jack Good致敬，他是一位非常知名的计算机科学家。
Good Computer预计将集成8192颗未来的IPU，提供超过10 Exa-Flops的AI算力，未来或许会继续向3D Wafer-on-Wafer技术演进。它能实现4 PB的存储，可以支持超过500万亿参数规模的人工智能模型，Poplar SDK完全兼容。预计价格取决于不同配置，大约在100万美元到1.5亿美元之间。卢涛表示，从Bow IPU出发，这就是Graphcore正在推进的产品路线。