芯片行业正站在一个关键的转折点上。过去，提升性能主要靠制程工艺的迭代，也就是所谓的“制造驱动设计”。但现在，风向变了。随着计算任务的爆炸式增长，尤其是在大模型和AI的驱动下，单纯依赖工艺进步已经不够用了。性能的提升，越来越依赖于芯片架构师们在设计层面的精妙构思。这标志着，半导体产业正从“制造驱动”全面转向“架构师驱动”。

计算任务改变，倒逼计算架构革新

回想一下，以前的芯片设计相对简单，主要跟随工艺节点的演进路线图，追求的是可预期的、稳步的性能提升。但现在的局面完全不同了。

大型语言模型和传感器数据的爆发，系统公司开始自研芯片，再加上AI领域的激烈竞争，所有这一切都让芯片设计的“游戏规则”被彻底改写。不再只是渐进式的改良，而是需要性能上的巨大飞跃。这意味着，我们必须做出全新的权衡和取舍。

这场变革的核心，是高度定制的芯片架构。这些芯片通常采用最先进的工艺，并行处理几乎成了标配，各种专门的翻跟斗被用来处理特定类型的数据和操作。有意思的是，其中一些微型系统可能并不会在市场上公开销售，因为它们能为数据中心所有者带来难以复制的竞争壁垒。当然，其中也包含一些大家熟悉的商用技术，比如各种处理核心、翻跟斗、能降低延迟的内存内或近内存计算技术，还有不同的缓存策略、共同封装的光学器件和更快速的互连。很多这些技术其实已经研究或搁置了多年，如今终于到了全面落地的时刻。

在最近的Hot Chips 2023会议上，谷歌的Amin Vahdat指出，现在的芯片能解决十年前想都不敢想的问题，机器学习正承担起越来越多的任务。我们必须彻底改变对系统设计的看法。过去五六年里，计算需求的增长是惊人的。尽管在算法稀疏性方面有不少创新，但大模型的参数数量仍在以每年10倍的速度增长，而计算成本的增长速度比参数增长还要快。要应对这场挑战，必须构建一套截然不同的计算基础设施。如果试图在通用计算平台上做到这一点，根本不可能。可以说，过去五六十年间发展的传统计算智慧，在这里已经被抛在一边了。

当然，老问题并没有消失。功耗和散热依然是设计团队最头疼的事，而且随着处理速度和数量的提升，问题只会越来越棘手。大约在3GHz之后，单纯提高时钟频率的策略就走到了尽头——热密度太高，芯片根本散不了热。虽然稀疏数据模型和软硬件协同设计提升了软件在各式处理元件上的效率，让每个计算周期能处理更多数据，但解决功耗问题已经不能只靠“单点突破”了。随着数据量激增和架构创新，整个经济学逻辑都变了，这一点在今年的Hot Chips会议上体现得淋漓尽致。

解决之道，包括内存内/近内存处理，以及让计算尽可能靠近数据源。移动大量数据是需要消耗巨大系统资源的——带宽、电力和时间，这些都是直接的经济成本。更关键的是，收集和处理的数据中，大部分是无用的。比如在汽车或安防系统中，视频输入里真正有用的数据可能只有一两秒，而我们需要从数小时的数据中把它筛选出来。如果在靠近数据源头的地方进行预处理，用AI先识别出感兴趣的数据，那就只需要把一小部分数据送去进一步处理和存储，效率会高得多。

三星的Jin Hyun Kim说得很直白：“大部分能源消耗都来自移动数据。”他指出了三种提高能效和性能的方案：用HBM做内存处理，实现超高带宽和能效；用LPDDR处理那些需要高容量的低功耗设备；以及用CXL实现近内存处理，以适中的成本获得超高的容量。

内存处理这个概念其实已经酝酿了很多年，但一直没什么太大进展。直到大语言模型的出现，才真正推动了这项技术的落地。大量数据处理其实都是稀疏的，也就是说，很多数值是零。要利用这个特性，就需要另一种类型的处理单元，比通用计算单元更快、更省电。当然，没人会完全放弃通用处理器，毕竟在很多应用场景里，硬件的多样性需求是客观存在的。

内存加速对于AI/ML中的乘法累加（MAC）函数尤其有用，因为需要处理的数据量呈爆炸式增长。以GPT-3和GPT4为例，光是加载数据就需要巨大的带宽。这带来了很多挑战：如何高效地做到这一点，同时最大化性能和吞吐量？如何扩展系统以应对大模型参数数量的激增？又如何保证足够的灵活性以适应未来的变化？

SK hynix的Yonkwee Kwon在Hot Chips 2023上分享了他的观点：“最初的想法是把内存当成翻跟斗，第一个目标就是高效扩展，同时保持高性能。设计的系统架构要易于编程，在最小化系统结构开销的同时，还要让软件栈有足够的灵活性。”

CPU的改进：不止是堆核心

计算本身的成本问题不容忽视。计算需要消耗大量能量，随着数据量增加，处理单元的数量也越来越多。要把这些计算单元连接起来，就需要大量的互连，而这要么增加成本，要么增加功耗，或者两者兼有。从计算工作负载的一个核心向另一个核心移动数据，不仅需要互连，还需要一种高度可扩展、能低功耗传输大量数据的技术。这要求更复杂的网络拓扑结构，并且要在整个系统层面进行管理，确保能处理海量数据。

接下来一个核心挑战，就是如何提高主要CPU处理单元的速度。

一种方法叫分支预测，就像搜索引擎预测你下一个搜索词一样。但和任何并行架构一样，关键在于确保各个处理单元都充分运转起来，以最大化性能和效率。

Arm通过其Neoverse V2设计对分支预测进行了改良，将分支预测和指令获取分离开来。这样做的好处是减少了流水线停顿，并且能从错误预测中更快恢复。Arm的首席CPU架构师Magnus Bruce解释说：“动态馈送机制让内核可以调节‘攻击性’，主动防止系统拥塞。这些基本概念让我们能推动机器的宽度和深度，同时保持流水线长度较短，以便快速从错误预测中恢复。”

这些改进并非大刀阔斧的改革，而是通过在多个架构点进行细微调整实现的。例如，分离分支预测和获取后，可以将分支目标缓冲区分成两级，使其能够处理的条目数增加50%。同时，预测器中存储的历史记录增加了三倍，获取队列中的条目数也翻了一番，这显著提升了实际性能。综合来看，Neoverse V2的性能是V1的两倍，具体取决于其在系统中的角色。

AMD的下一代Zen 4核心则通过微架构改进，使每周期指令数提升了约14%。加上工艺升级到5nm，频率提升了16%。综合微架构和工艺改进，功耗降低了约60%。物理设计也同步得到了优化。

和Arm一样，AMD也在改进分支预测和获取。AMD的Kai Troester指出，通过支持更多的分支，每周期进行更多预测，并使用更大的操作缓存来容纳更多条目和操作，分支预测的准确性得到了提高。此外，Zen 4增加了3D V-cache，将每核L3缓存提升到最高96MB，并通过256位数据路径上的两个连续周期来实现对512位操作的支持。这些设计扩大了数据管道的规模，并尽可能缩短了数据传输距离。

平台系统架构：走向领域定制化

平台架构方面的大趋势，是领域特定性越来越强，这显然碘伏了通用处理器传统的开发模式。现在的挑战是，如何提供大规模的定制能力？主要有两条路：

1. 通过添加硬件或可编程逻辑来实现可编程性。

2. 开发可互换的平台组件。

英特尔引入了一个框架，将小芯片集成到先进封装中，利用其嵌入式多芯片互连桥来连接高速I/O、处理器内核和内存。英特尔的思路是，在满足客户定制化和性能需求的同时，交付速度比完全定制架构快得多，且结果可预测。

英特尔的Chris Gianos表示：“这将是一个多芯片架构，我们可以用这些小芯片构建结构，灵活性很高，它们之间可以互操作。这给了我们一个专门优化产品核心的维度。我们会创建E核（超高效）的小芯片和P核（高性能）的小芯片。” 英特尔还创建了一个模块化网状结构来连接各种组件，以及一个通用控制器，可以支持DDR或MCR内存，以及通过CXL连接的内存。

新方向：神经处理器与光学互连

这是一个重要的研究方向，新方法和新技术的清单也是前所未有的。整个行业都在积极寻找提升性能、降低功耗的新途径，同时始终关注面积和成本。对于AI/ML应用来说，精度也至关重要。光子学在机架内的服务器之间已经开始发挥作用，但能否将其应用到芯片层面，目前仍不确定。这个领域的工作还在继续，光子学吸引了很多公司的关注。

整个行业正在积极寻找全新的方法，在提升性能、降低功耗的同时，关注成本和芯片尺寸。PPAC（性能、功耗、面积、成本）仍然是关注的核心，但不同应用和场景对这些方面的权衡要求各不相同。IBM的Dharmendra Modha指出：“AI的运营支出和资本支出正变得难以维持。” 他进一步说：“架构胜过摩尔定律。” 这句话点明了架构创新在应对当前挑战中的核心地位。

对于AI/ML应用，精度至关重要。IBM的设计包括支持混合精度的向量矩阵乘法器、具有FP16精度的向量计算单元和激活函数单元。处理是在距离内存仅几微米的范围内完成的，这避免了依赖数据的条件分支、缓存未命中、停顿和推测执行等问题。

复杂芯片面临的一个关键挑战，不仅是内存和处理器之间的数据传输，还有芯片内部的数据流转。片上网络和其他互连结构让这个过程简化了不少。尽管硅光子学在高速网络芯片中已有应用，但光子学在芯片层面的使用仍不确定。不过，它在许多公司中引起了广泛关注，尤其是在服务器之间的机架内。

Lightelligence的Maurice Steinman表示，他们已经开发出基于光子学的专用翻跟斗，速度是GPU的100倍，同时功耗显著降低。该公司还研发了片上光学网络，使用硅介质层作为连接小芯片的媒介，而不是传统的电子连接。

可持续性与可靠性：不容忽视的挑战

伴随着所有这些变化，有两个尚未解决的问题浮出水面。

首先是可持续性。芯片处理的数据越来越多，能源消耗成为一个日益严峻的挑战，而制造这些设备本身也需要大量能源。虽然数据中心方面已经取得了一些进展，但能源问题依然存在。芯片制造商都在积极寻找可持续的解决方案。

第二个未解决的问题是可靠性。现代芯片设计更加复杂，因此确保结果的准确性和一致性变得更困难。这涉及到数据的分区、处理、重新聚合和分析，尤其是当设备老化程度不同并以意想不到的方式交互时。这是一个需要深入研究和解决的根本性问题。

关于AI训练和二氧化碳排放的数据，有时可能具有误导性。正确的数据分析对于理解问题的严重性至关重要。与此同时，模型正从单一模态转向多模态（图像、文本、声音、视频），因此动力、可持续性和可靠性仍然是至关重要的关注点。