AI智能体越来越能聊，长上下文对话带来的Token消耗简直是个天文数字，而且随之而来的是高昂的算力成本。这可是下游AI服务厂商的一个核心痛点。问题怎么破？关键还得看算力硬件本身。
最近，中昊芯英发布了第二代自研TPU芯片“须臾”和配套的泰则2.0智算平台。官方数据很直接：综合性能比上一代提升了3倍，而这个提升的背后，一个直接的好处就是——算力调用的成本有望大幅下降。
中昊芯英创始人兼CEO杨龚轶凡在接受采访时提到一个关键点：TPU架构天生就是为大模型的高并发张量计算优化定制的。这意味着，随着AI从实验室走向大规模应用，TPU的行业价值会越来越凸显，而它和GPU之间的差异化壁垒也会持续被放大。
算力成本怎么才能降下来
说到这，先看看他们之前的产品。中昊芯英的初代TPU芯片“刹那”在2024年就已经流片、量产，并且落地到了深圳联通、天津移动、太极股份这些运营商和政府项目里，覆盖了不少行业。经过三年的市场验证，这次推出的第二代“须臾”算是水到渠成。
性能提升3倍，这里面至少有1.5倍是来自底层架构的升级。杨龚轶凡解释得很清楚：因为TPU架构本身就比通用的GPU能耗低，所以这次迭代的核心放在性能和芯片面积的平衡上，而不是单纯追求更低功耗。即便如此，须臾和同算力性能的传统芯片比，功耗还是低了50%。
但现在的市场逻辑其实很简单：大家最关心的是硬件采购成本。优先把算力堆上去，让处理百万Token的硬件开销降下来，这个急迫性比单纯省电要更高。
具体来看数据：单芯片混合精度浮点算力达到896 TFLOPS，8-bit推理算力是1792 TOPS，这完全是为了适配百万词元级别的高并发推理而设计的。显存和片间互联速率也都做了全面升级，目的就是减少多轮对话中上下文重复搬运带来的损耗。
“现在最突出的痛点就是超长上下文推理需求爆发，市面上很多算力设备都撑不起百万Token级别的上下文窗口。”杨龚轶凡这句话直接点出了行业困境。须臾的应对方式是：重构脉动阵列数据流调度，大幅提升KV Cache的命中率，减少历史上下文的重复计算，并且在底层原生支持PD分离推理架构，目的就是拉高Token处理的性价比。
客户那边的内测反馈显示，搭载须臾的泰则2.0整机，综合性能确实实现了三倍以上提升。但更关键的是，芯片的售价只是小幅上调，这么一算，百万Token推理的性价比提升了两倍以上。
TPU的差异化壁垒到底在哪里
中昊芯英从2018年归国创业起，就锁定了TPU赛道，打的这张牌从一开始就是差异化。
杨龚轶凡分析得很透彻：通用GPU在国内当然也有落地价值，但从全球产业格局看，这条路已经很难再诞生碘伏性的技术玩家了。英伟达、AMD深耕GPU三十年，每年砸进去几十亿美元研发，硬件架构和CUDA软件栈的优化空间基本被榨干了。后面想迭代，只能靠更先进的制程或者存储器件来做小幅调整，底层根本没法革新。更不用说成熟的软件生态这个护城河了，后来者想弯道超车，几乎不可能。
相比之下，TPU是天生的“专才”。它专门为大模型的高并发张量计算定制，更贴合大模型底层的计算核心。在Attention算子这块做数据流优化，数据复用率远高于通用GPU，而重复的内存读写开销则大大减少。泰则2.0整机就是基于这个原生张量计算架构打造的，不只是简单迭代架构，还在计算单元、片间通信、存储三个模块叠加了多层微架构创新。
更值得关注的是，随着AI推理算力向专业化发展，Prefill-Decode（PD）分离正在成为新趋势。简单说，就是专门负责预填充计算的芯片和专门负责解码计算的芯片各司其职。而通用GPU为了兼顾全场景能力，在这种细分场景下优势自然会打折扣。这时候，TPU性价比的优势就会被进一步放大。看看全球市场，谷歌在持续扩产自研TPU，英伟达也收购了同类型的张量架构团队，方向已经很明确了。
“TPU还有很多无人区等着我们去探索。”杨龚轶凡认为，和成熟的GPU相比，TPU赛道的发展周期还比较短——谷歌2015年才开始研发初代TPU。这意味着，在微架构层面还有大量的创新空间。中昊芯英的初代“刹那”已经落地了高复杂度的Chiplet芯粒分层集成方案，集成难度高于行业同类产品，并且完整打通了从流片、量产到规模化交付的全链路，为国内TPU产业积累了一套自主的工程化知识体系。
软件生态这块硬骨头怎么啃
当前国产芯片面临的最大挑战，其实不是单一的性能问题，而是软件生态的构建和完善。这需要时间沉淀。杨龚轶凡也坦承，英伟达花了数十年重金深耕生态，而他们仅用一年半就完成了基础软件栈搭建，后续的优化周期还很长。
中昊芯英的策略是全面拥抱开源生态。他们适配了PyTorch等主流底层框架，开发者可以继续用原有的业务代码，不需要大规模地重写底层。团队会聚焦于国内头部大模型的专属算子调优；当企业迁移算力平台时，也会提供配套的定制算子优化，提升推理吞吐。
目前，须臾已经完成了对MiniMax、智谱等国产主流大模型的适配。在很多落地场景里，单位Token的产出性价比已经超过了海外头部GPU。后续他们还会持续推进芯模联动调优，进一步放大成本优势。在集群层面，泰则2.0的单个超节点最高可以实现2048片须臾芯片直联，支持搭建万卡规模的算力池，并且原生兼容OCS（光电路交换）方案。批量部署后，集群多年综合运营成本的降幅会超过20%。
对于产品研发和迭代方向，短期核心是攻坚大模型和智能体赛道，中长期的瞄准点是超大模型计算、视频算力、万卡超大规模集群。芯片侧会继续完善PD分离专用架构、优化超大模型的分布式集群互联、硬件原生加速低精度推理，以及扩容超大片上存储。
面对国内算力软件碎片化的现状，杨龚轶凡判断，长期来看，国内底层软件框架会走向兼容互通。而中昊芯英的目标，是成为AI界的“x86”——对标CPU领域的X86架构，打造全行业通用的AI计算标准。用他的话来说就是：“未来即使涌现出更多TPU或者专用算力的创业企业，我们也不会搞恶性竞争，而是开放协同，共建TPU的软硬件标准，联合全产业链完善技术体系，做TPU架构普及和标准化的核心推动者。”
