导读

AI大模型的热潮持续高涨，距离AGI时代似乎只剩下十年左右的距离。但一个现实的问题是，支撑AI发展的GPU和各类专用芯片，各有各的“短板”。那么，有没有一种可能——在仔细梳理这些痛点的基础上，重新定义一种能够支撑未来十年大模型迭代、足够灵活、效率成倍提升，并且单位算力成本极低的新型AI处理器？这篇文章会尽量把思路讲清楚。

01. 首先分析场景特点，做好软硬件划分

1.1 一方面，AI处理器存在问题

大约从2015年开始，专用AI芯片的浪潮逐渐兴起。谷歌TPU作为代表，带动了一大批不同架构的AI专用处理器涌现。但从落地情况来看，效果并不算理想。

问题出在哪？最核心的一点是：专用AI芯片把大量业务逻辑固化到了硬件中，与业务耦合得过紧。而算法却在快速迭代——人脸识别、车牌识别、物品识别……细分场景千变万化，算法种类多达上千，再加上各种变体，总数甚至能到数万。业务场景就像是一桌宴席，AI芯片是那道主菜，可芯片公司只擅长做这一道菜，并不擅长配齐一桌荤素均衡、营养全面的席面。用户真正需要的，是整套的解决方案，而不是一道孤零零的“硬菜”。

1.2 另一方面，GPU也存在问题

NVIDIA的GPU是通用并行处理器，但它也有自己的困境：性能效率不算高，而且逐渐逼近天花板。要提升算力，只能靠增加集群规模（Scale Out），也就是堆更多的GPU卡。但集群规模的扩展，很快会受限于I/O的带宽和延迟。

一方面，集群内的网络连接数量是O(n²)的增长，随着GPU数量增加，互联的复杂度急剧上升；另一方面，AI任务中节点间的数据交互量本来就大。受阿姆达尔定律的制约，I/O的带宽和延迟最终会成为瓶颈。目前来看，能保证效率的集群规模，大约在1500台左右。

还有一个更现实的约束：成本。据估算，训练GPT-5需要约5万张GPU卡，单卡成本约5万美元。加上其他硬件、基础设施和运营开销，仅硬件投入就接近50亿美元——折合软妹币约350亿。这对绝大多数企业来说，无疑是天文数字。

1.3 问题的核心：芯片的灵活性要匹配场景的灵活性

还是从那个经典的“从软件到硬件的处理器划分图”说起。

指令是处理器软件和硬件的分界线。有的指令很简单，就是加减乘除这种标量计算；有的非常复杂，是向量、矩阵甚至多维张量计算的混合。AI专用处理器本质上是一种DSA（领域专用架构），在ASIC的基础上加入了有限的可编程能力。它性能效率很高，但不够灵活——面对快速迭代的算法和业务场景，往往跟不上节奏。GPU则相反，灵活，但性能效率不够，且正在接近性能上限。

不过，从大模型的发展趋势来看，情况在发生变化：

• Transformer正逐渐成为核心算法，在大模型领域已显露威力。未来，底层算法和算子可能逐步收敛到Transformer或类似结构的框架，这意味着业务逻辑的灵活性将在一定程度上降低。
• AI计算框架也走过了百家争鸣的阶段。目前，PyTorch已经占据了绝大多数份额，生态在收敛，系统的迭代也在放慢。

这两个趋势意味着，未来“专用”AI芯片的潜力会更明显。但作为芯片公司，不能干等趋势的到来，而是应该主动相向而行——定义一款性能灵活性介于GPU和传统AI-DSA之间的新型通用AI处理器。最终目标是：“比GPU更高效，比AI芯片更通用。”

这里的通用性体现在两个层面：

• 处理器本身的通用性——能够适应更多算法差异和算法迭代，覆盖更广的场景和更长的生命周期。
• 面向AGI的通用性——不再是“场景千千万，处理器千千万”的碎片化格局，而是用一个通用的强智能平台去适配各种场景。

02. 大核少核，还是小核众核？

CPU是大核结构，但通常一个芯片里只有不到100个核心。GPU则是小核众核的路线，目前通常有上万个核心。传统AI芯片则往往是大的定制核搭配相对少量的并行核（100个以内）。

一个值得注意的变化是：GPU核不再仅仅是标量计算单元，如今加入了大量Tensor核这类“协处理器”功能。新款的GPU不再在核心数量上盲目堆砌，而是把晶体管用在了单个核的能力强化上。

所以，新型通用AI芯片的方向可能是：单芯片内并行的核心数（GA，即通用AI处理器核心）控制在500到1000之间比较合理。每一个GA核心，采用通用高效能CPU核（比如定制化的RISC-V CPU）搭配强大的Tensor协处理器——这样的组合，既保证了灵活性，也兼顾了效率。

03. 极致扩展性，多层次强化内联交互

要实现极致的扩展性，就需要在多个层次上做好资源切分与整合：

• 单核心内部：支持虚拟资源的切分和整合，类似于CPU的分时共享和vCPU机制，实现1到m个虚拟核心的扩展。
• 单芯片内部：支持1到n个核的灵活划分，虚拟核心的数量可达1×m×n。
• 芯片集群：多个芯片组成一台服务器，服务器组成机柜，机柜组成POD集群。通过集群互联，可以实现1到k个芯片的扩展，最终达到1×m×n×k个虚拟核心的极致扩展。

每个层次的数据交互都要求极高。芯片内部需要强劲的NOC总线，外部则需要带宽数量级提升的高性能网络来支撑。

04. AI芯片案例

4.1 Tenstorrent的案例

Tenstorrent的AI核称为Tensix。第一代Tensix核心包含五个标量RISC CPU，单个计算引擎的性能为3 TOPS。

芯片代号为Wormhole，共80个Tensix核心，并集成了ARC架构的Host CPU。此外，Wormhole支持16个100Gbps的以太网接口。

基于Wormhole，Tenstorrent设计了nebula（星云）服务器——一个4U服务器内集成32个Wormhole芯片。

一个机柜可容纳8台nebula服务器。上图展示的是两个机柜互联的架构示意。而Wormhole的横向扩展能力并不止于此——在机架级连接方面，理论上可以达到几乎无限制的扩展能力。

4.2 Tenstorrent Roadmap

Tenstorrent推出了自研的RISC-V处理器IP，覆盖从AI-DSA的小型CPU核、IoT级别的MCU核，到笔记本、边缘、服务器乃至HPC场景的高性能CPU核。

目前，Tenstorrent的量产芯片包括Grayskull和Wormhole，BlackHole还在内部调试中。2024年，他们计划推出基于Chiplet的AI芯片，集成自研的RISC-V CPU和AI处理器。

4.3 Tenstorrent Wormhole的不足

从软硬件融合的理念出发对Wormhole进行分析，仍有一些值得优化的方向：

• 单核能力仍需强化。控制用的CPU核的功能分配有待进一步优化——哪些应该硬件卸载，哪些需要在协处理器端增强？内部的缓存设计同样有改进空间。
• 核数偏少。在优化单核资源消耗的基础上，通过更先进的工艺和Chiplet封装，将核心数再增加4到8倍，会更符合未来2-3年大模型的需求（从最新路线图来看，确实已经在规划中）。
• 核间通信有待改进。许多核间通信需要CPU参与。一方面，集成更高效的CPU已提上日程；另一方面，应进一步将任务从CPU卸载到硬件加速。
• 片间通信需加强。支撑极致扩展性的网络端口，对高性能网络技术提出了极高要求，这里还需要持续投入。
• 软硬件耦合设计。软件和硬件必须解耦，而不是绑死。只有充分解耦，各自才能“放飞自我”，实现更多创新。
• 软件定义。做AI大模型的客户大多是大型企业，他们的业务系统已经存在。客户需要的只是性能提升和成本下降，而不是大范围修改业务逻辑或形成平台依赖。这一点必须解决。