先抛出一个核心判断：芯片行业正在经历一场根本性的转型——从过去那种“靠制造工艺迭代驱动设计”的模式，转向了“由架构师重新定义芯片”的新时代。说白了，过去大家拼的是谁能先把晶体管做得更小，现在比的则是谁的架构更聪明，能在功耗不变甚至更低的前提下，把性能推到新高度。

计算任务变了，架构逻辑也得跟着变

放在几年前，一颗芯片里塞一两种先进技术就足够了，大家跟着工艺节点的路线图走，每隔几年等光刻技术升级，就能拿到可预期的、虽然不算惊艳的性能提升。但现在不一样了。大语言模型爆发，传感器数据海量增长，系统公司自己下场设计芯片，再加上国际间在AI领域的激烈竞争——这些因素叠加在一起，彻底改写了芯片设计的游戏规则。

于是我们看到了一幅混合画面：一边是渐进式的修修补补，另一边是性能的指数级跃升。这些进步确实把计算能力推到了十年前难以想象的高度，但同时也带来了全新的权衡难题。这背后的关键，是极度定制化的芯片架构，而且必须基于最先进的工艺节点来开发。并行处理几乎成了标配，各种翻跟斗被塞进去处理特定类型的数据和运算。有意思的是，这类微观系统有时候根本不会公开销售——因为它们本身就是数据中心的核心竞争力所在。

翻看这些芯片的组成部分，你可能会看到商业化的处理核心、专用的翻跟斗、用于降低延迟的内存内或近内存计算技术、五花八门的缓存策略、共封装的光学器件，还有速度越来越快的互连接口。其中不少技术其实已经躺在实验室里好多年了，现在终于被大规模推上前线。

在今年的Hot Chips 2023大会上，谷歌研究院的工程研究员兼机器学习系统副总裁Amin Vahdat说了一句很到位的话：现在的芯片能解决十年前根本不敢想的问题，机器学习正在接手越来越多的任务。他对整个行业喊话，必须彻底改变对系统设计的认知。过去五到七年间计算需求的增长是惊人的——虽然算法层面出现了大量关于稀疏性的创新，但每个模型的参数数量仍然在按每年10倍的速度增长。更麻烦的是，计算成本会随着参数数量超线性地往上窜。这意味着，必须构建一套完全不同的计算基础设施来应对。Vahdat说得更直白：如果还想着用通用计算来扛，根本不可能有今天的成就——过去五六十年积累的那套传统计算智慧，已经被扔进历史了。

不过，老问题并没有消失。功耗和散热一直是设计团队的噩梦，而且随着处理速度和数量的提升，这个噩梦只会越来越深。大约在3GHz之后，单纯靠提高时钟频率这条路就走不通了——热密度太高，芯片根本散不了热。虽然稀疏数据模型和软硬件协同设计让软件在各种处理单元上跑得更高效，每个计算周期能处理的数据量也更大了，但不再有一个简单的“旋钮”可以直接提高每瓦性能。随着数据量的暴增和架构创新的转向，整个经济账都变了——这一点，在今年的Hot Chips会议上表现得非常明显。

解决方案之一，是把计算搬到离数据更近的地方——不管是内存内处理、近内存处理，还是直接在数据源附近做处理。因为移动大量数据需要消耗巨额的系统资源——带宽、电力和时间——这直接影响了计算的经济性。而且，大多数被收集和处理的数据实际上是垃圾。举个例子，在汽车或安防系统的视频输入里，真正有用的数据可能只有一两秒，但你可能需要花好几个小时去翻找。如果能在源头附近做预处理，用AI来识别感兴趣的内容，那就只需要把一小部分数据送去进一步处理和存储。

三星首席工程师Jin Hyun Kim一针见血地指出：“大部分能源消耗其实都花在移动数据上。”他提出了三个提高效率的方向：一是用HBM做内存内处理，实现超高带宽和低功耗；二是用LPDDR处理那些需要大容量但功耗敏感的场景；三是借助CXL做近内存处理，以适中的成本实现极高的容量。

内存内处理这个概念已经酝酿了很多年，但一直没太大进展。直到大语言模型的出现，才真正把它推到了台前。大部分数据处理中的计算其实是稀疏的——很多数值是零。利用这个特性需要另一种类型的处理单元，它比通用计算单元更快、也更省电。当然，没人会完全丢掉通用处理器——在很多应用中，多元化的硬件需求仍然是刚需。

内存加速对于AI/ML中的乘法累加（MAC）函数特別有优势，因为需要快速处理的数据量正在爆炸式增长。拿GPT-3和GPT-4来说，光是加载数据就需要巨大的带宽。与之相关的挑战一大堆：怎么在最大化性能和吞吐量的同时做到高效？怎么扩展到能应对大语言模型中参数数量的快速增加？怎么保持灵活性，以便适应未来的变化？

SK hynix America高级技术经理Yonkwee Kwon在Hot Chips 2023的演讲中说得也很直白：“一开始的想法是把内存当成翻跟斗，第一个目标是实现高效扩展，同时还要有高性能。设计的系统架构要易于编程，同时尽量减少系统结构开销，但不能妨碍软件堆栈的灵活性。”

CPU的改进还有多少空间？

计算的开销本身也是一个不容忽视的大问题。计算本身就需要大量能量，而且随着数据量增加，处理单元的数量只会越来越多。要把这些计算单元连起来，就需要大量的互连接口，而这些接口要么增加成本，要么增加功耗——很多时候两者都占了。从计算工作负载的一个核心向另一个核心移动数据，不仅需要互连，还需要一种能高度可扩展、同时用低功耗传输大量数据的技术。这背后需要更复杂的网络拓扑，并且要在整个系统层面进行统一管理，才能确保扛得住海量数据的冲击。

这部分内容我们会在下半部分继续深入讨论。

小结

芯片企业和设计者正站在一个既充满挑战又蕴含巨大机会的关口。随着数据和计算需求的不断膨胀，创新者正在寻找全新的方式来提升性能、降低功耗、改善能效，同时优化数据处理和分析的方法。这要求我们彻底跳出传统计算模型和设计方法的框架，去拥抱更定制化、更具创新性的解决方案——因为未来的需求，已经不允许我们只做加法了。