01 大算力下低成本的解决方案
国产芯片的发展,眼下正站在两个重要机遇的风口上。
第一个是缺芯困局下,国产化替代的呼声越来越高,这给国内芯片创业者提供了一个宝贵的缓冲期。对2020年入局做大算力芯片的后摩智能创始人兼CEO吴强来说,这个条件在早期成长阶段简直是国内独有的——「我在美国是不敢做芯片创业的。」
第二个机遇来自人工智能的快速演进,尤其是自动驾驶领域对算力的胃口越来越大。传统汽车以控制为主,对算力要求极小,而L4级自动驾驶一上来就需要1000T以上的算力。不仅如此,汽车端的供电和散热条件也给芯片的低功耗能力提出了新挑战。虽然英伟达刚推出了算力高达2000T的DRIVE Thor,但显然不是每款车型都承受得起这样的芯片。
对于被「卡脖子」的国产芯片厂商来说,想要参与这场「算力大战」,不可能指望靠制程工艺的简单升级来实现突破。
在吴强看来,存算一体芯片可能是国产芯片实现算力弯道超车的机会。与传统冯·诺依曼架构不同,存算一体将计算单元和存储单元整合,优化数据传输路径,从而提升芯片算力的天花板。它不仅能缩短系统响应时间,还在能效比上实现了数量级的提升,尤其适合自动驾驶、泛机器人等边缘端算力需求场景。
存算一体的成本优势从何而来?如今哪些行业已经落地?国内芯片创业的机遇和差异化又在哪?在9月28日极客公园的Rebuild 2022上,极客公园创始人兼总裁张鹏和吴强聊了聊存算一体大算力AI芯片的发展与前景。
张鹏:存算一体到底是什么?会带来哪些改变?
吴强:简单来说,存算一体是一种创新的计算芯片架构。传统架构是计算和存储分离(冯·诺依曼架构),而存算一体则把存储和计算尽可能靠近,甚至完全融合——比如直接在存储中进行计算。这就是它的基本概念。
这种架构特别适合数据量大的计算场景,比如当下火热的AI计算。很多人误解它是一门专用的AI芯片,其实不然。存算一体本质上是乘加运算的翻跟斗,处理矩阵运算非常高效,而矩阵运算占AI计算中百分之八九十的负载。基于它,我们可以做出系列化指令,甚至允许客户自定义算子,从而打造出类似英伟达产品的通用AI芯片。
张鹏:存算一体的技术关键点是什么?
吴强:存算一体在学术界已有十多年历史,一直在演进。近几年,技术突破到一定程度,可以应用于更大算力的场景——比如智能驾驶或主流AI应用,这才有了商业化的尝试。
从产业链角度,它依赖于存储介质工艺。后摩智能目前基于SRAM,下一代产品会采用MRAM、RRAM等。存储工艺依赖上游厂商(如台积电)在工艺或硬件层面的创新。目前RRAM在台积电还处于风险等级,距离量产大约两年。但SRAM是完全成熟的存储介质,可以用于商业量产。
另外,存算一体是一种全新的设计方式,属于架构创新。过去学术界做了很多研究,但从学术到商业量产还有距离。后摩和其他创业公司正按照商业量产的标准,在过去两年探索如何做好量产、DFT、冗余和自修复等问题,同时解决与AI芯片、架构设计、编译器以及算法之间的融合。

存算一体架构与传统冯·诺依曼架构 | 来源:电子工程专辑网站
张鹏:存算一体的架构能带来成本优势吗?
吴强:算力越大,成本越高。存算一体的优势在于,不必依赖先进的存储工艺或封装技术(比如HBM的2.5D内存封装),也能把算力做上去,满足智能化需求。这样成本就能降下来——比如降到一半,也许十多万的车就能用上几百T算力的芯片。所以我们的思路不是靠堆工艺提升算力,而是通过底层架构创新,算力上去,成本却不增加,让更多平价车也用得起智能驾驶。
另外,功耗低了,散热也简单,不需要大量资金或增加系统复杂性。从这些角度,我们希望给智能驾驶用户提供一个不一样的芯片。
张鹏:存算一体的大芯片对芯片工艺的要求更高吗?
吴强:存算一体是架构创新,工艺是另一回事。好的工艺当然是好事,我们现在也会用先进工艺,因为它们是叠加的。但如果有一天必须退回到28纳米,存算一体对先进工艺的依赖度其实是更低的。相比常规设计,这是我们的一个优势。
张鹏:最近「感存算一体」讨论很多,你们怎么看?
吴强:感存算一体是把传感器、内存更紧密结合,以便更好计算。这是个比较新的概念,近几年学术界研究较多。目前它的算力和存储量都较小,数据处理方式有限,更适合AR、IoT等场景,暂时还不适合大算力。我们不会往这个方向走,但会密切关注。
02 国产化替代的需求催生了芯片创业
张鹏:为什么在2020年决定创业?有什么新的技术突破吗?
吴强:第一点是技术突破。传统的存算一体基于Nor Flash等介质,只适合小算力(比如语音)。2017-2018年开始,以台积电张孟凡老师为代表的学术界,在电路设计上做了突破,让做大算力的存算一体成为可能。
第二点是需求到了关键点。无论是智能驾驶还是云端,对算力要求越来越大,行业遇到了瓶颈。我之前做过CPU、GPU、AI芯片,发现很多时候算力上不去,不是计算部分不行,而是带宽成了瓶颈——计算经常在等待数据传输。提升算力就得优化带宽,这是痛点,我们一直在思考怎么解决。
创业之初,创始团队有两拨人:一拨是存算一体的大牛,专注大算力存算一体技术;另一拨像我一样,一直做大芯片——CPU、GPU、AI芯片等。经过头脑风暴,我们判断存算一体已经到了可以商业落地的节点,能解决现实痛点。2020年后摩智能创立时,是国内第一个用存算一体做大算力的企业。现在这个赛道越来越火,我们很高兴看到更多公司加入。
张鹏:创业做芯片公司,当时怎么评估可行性?
吴强:我在硅谷生活了很多年,见证过国际芯片巨头的发展。做芯片非常难——需要高级人才、大量资本,且落地时间长。国外纯商业环境下,很难做芯片创业。这也是为什么2010年以后,美国真正的芯片创业公司屈指可数,即便有吉姆·凯勒这样的大牛,也还没跑出来。
中国有个天生优势:国产替代的诉求和国家重视,给了芯片创业企业足够的成长空间。在芯片早期阶段,这个条件是国内独有的,我在美国是不敢做芯片创业的。但在国内,特别是2020年左右这个契机,虽然不能保证成功,但至少给了机会。最终还是要回归商业本质,做出差异化的产品。
张鹏:你们公司的技术人员构成是什么样的?
吴强:我们和其他芯片公司不太一样。因为我们用创新架构,首先需要学术背景、做过存算一体研究的人才,要熟悉存算一体的电路和工艺层面。这是其他芯片公司不需要的。
其次,我们做大芯片处理器,应用于AI。存算只是其中一个环节,还需要设计复杂芯片的能力,以及对AI算法有深刻理解,这样才能做出符合应用场景的AI芯片。
最后,还需要芯片之外的软件设计人员。有文章分析,国内芯片公司硬件差距不大,关键是软件系统(如编译器)差距较大。硅谷有大量编译器人才,国内却很缺。好的芯片要配好编译器和系统软件,客户才会觉得好用。很多创业公司最终无法落地,就是编译器人才匮乏。
张鹏:理想状态下,存算一体架构在成本和功耗方面能带来什么级别优势?
吴强:英伟达能做2000T,是因为有很强的工程积累——最新工艺、最好HBM。但创业公司工程能力不如巨头,通过架构创新(比如存算一体),可以用更低成本去做。成本上,我们希望做到英伟达的一半;功耗上,理论上可以实现一个数量级的提升,能效比至少2-5倍。
张鹏:以前存算一体多用于小算力低功耗的可穿戴,后摩直接做大算力,难度是不是很大?
吴强:难度更大。有两层:第一,存算一体要解决数据精度(大算力需支持INT8)和电路容量问题——模型越大,精度和容量要求越高。第二,大芯片本身很复杂,除了存算,还有CPU设计、vector支持、编程内存、编译器和算法配合等。这些跟存算无关,但属于大芯片的复杂度。中国做大芯片是近几年起步的,这部分人才比较缺。
张鹏:为什么不做云端算力提升,而是直接做边缘计算?
吴强:云端应用场景广,但做训练芯片时,英伟达的软件生态壁垒很厚,这是很多国内同行要面对的挑战。另外数据中心功耗不是绝对敏感(有空调),低功耗在边缘端才是真正的优势。
03 芯片公司的竞争壁垒是软件生态
张鹏:如何理解你们宣传的软硬解耦?
吴强:这是我们设计芯片的理念。我们希望定位为芯片公司,把芯片做得有差异化,同时打造自己的工具链和编译器,支持更多客户,客户可以有不同算法——这就是软硬解耦。应用层和芯片层尽可能解耦,重点打磨芯片和编辑器。
因此对芯片的通用性要求很高,这是一个挑战。从创业第一天我们就希望不仅提供算力,还提供底层接口,让客户自定义算子,这样他们在算法上有更大自由度。各种客户都能用上我们的芯片,应用场景会更广阔。这是我们一直坚持的方向。
张鹏:软硬解耦在商业模式上是很大的挑战吗?
吴强:在中国做芯片,除了国产化,还要提供贴身服务。但贴身服务要有度。前面几个客户我们可以帮助一起做方案,但后面的客户我们希望标准化,用我们好用的工具链让客户自己完成。只有这样,芯片公司才能做大——不需要每个客户都投入一堆人。所以软硬解耦是必须的,我们一直在朝这个方向努力。最终希望供应链变得标准化,用最少支持服务更多客户,同时不断打磨工具链。
张鹏:还有哪些场景是存算一体未来能发挥优势的?
吴强:存算一体的特点是:用更低成本做大算力,且能效比高、功耗低。很多场景对智能化要求高、算力大,同时对功耗敏感——比如电池驱动的边缘设备。说白了,是市场需求和产品特性匹配。
比如无人机需要避障、智能飞行、自动返航,又希望小巧(大疆很多无人机小于500g),电池不大,要保证续航。算力要求很大,功耗敏感——这就是天生的矛盾。我们能不能做出能效比极致高的大算力芯片,让很小的无人机也智能?哪怕是大无人机(比如美团货运无人机),低功耗可以让电池多承载货物,而不是用来计算。
还有酒店和家庭用的机器人,智能化需求越来越多,也是电池驱动。甚至VR设备作为边缘设备,也需要算力支持。这些都是可能的应用场景。
张鹏:你们的差异化竞争优势是什么?
吴强:大芯片领域竞争激烈,有英伟达、高通这样的国际巨头,也有国内创业公司走在我们前面。我们要生存,经营策略不太一样——有点像「农村包围城市」。
第一,选择合适环节,避开巨头最强的部分。产品定位上,选择赛道(云端、边缘端、乘用车、无人车、无人机、机器人、安防等),每个人都会找自己最舒适的赛道。我们要选择巨头相对薄弱的环节,比如无人车,先切入,逐渐形成包围圈。
第二是差异化。英伟达推2000T芯片,我们没必要去比算力,而是找英伟达还没解决的客户痛点。比如很多车企希望在中端车上用大算力芯片,但对功耗和散热敏感——这种需求英伟达暂时没满足,而我们可以提供。找到差异化,局部做到极致,这也是很多互联网巨头崛起的原因。
张鹏:如果英伟达这样的巨头未来也要做存算一体,你们怎么应对?
吴强:创业之初很多人问过这个问题。存算一体目前还比较新,尤其是大算力基于SRAM,我们有技术积累,带来了先发优势。对英伟达来说,进入新领域有自身壁垒——它之前的积累都在传统方式上(GPU),架构和软件积累都在另一个方向。转到存算一体,需要抛弃很多旧东西。后摩没有这样的包袱,我们从零开始,本来一无所有。
英伟达进入这个赛道还需要一段时间,除非发现存算一体已大规模商业化或构成威胁。这给了创业公司一段先发优势。
如果有一天英伟达真要进来怎么办?基于SRAM或RRAM的储存是不是壁垒?我一直认为,任何技术本身都不是壁垒,只能给你一定先发优势。我们在这方面有最长的技术积累,是国内第一个做这些的。我们希望尽快把技术优势转化为产品优势——拿出好产品,不是改良款,而是性能比别人好很多倍(最好2-5倍),别人才愿意尝试。
我们希望能有更好的芯片,解决确实的痛点,让人愿意尝试,逐渐用软件生态作为护城河。真正的护城河不是技术本身,而是软件生态——工具链、合作伙伴,这才是真正的壁垒。当英伟达这样的巨头进来,我们可以用这个壁垒去阻挡它。
