回溯2016年谷歌首次公开TPU之时，外界对这一芯片的认知颇为简单——"这不过是一颗专为深度学习打造的专用芯片。"彼时，AI算力需求主要集中在训练环节，GPU凭借其通用性与成熟生态，牢牢占据着市场主导地位。

十年弹指一挥间，格局已截然不同。如今大模型大规模迈入推理密集阶段，智能体频繁调用模型，长上下文显著增加了输入负载。算力的评估标准也从过去的"峰值算力"转向了单位Token的性价比。

这一变化迅速传导至国内市场。国产大模型迭代速度令人瞩目，DeepSeek、Qwen、GLM等模型持续演进，多家国产芯片厂商也在积极寻找更精准的落地场景：芯片能否适配模型？集群能否稳定运行？调用成本能否被客户接受？

在近期举办的WAIC大会上，中昊芯英正式发布了第二代自研TPU芯片"须臾"，并宣布华东地区首个国产TPU智算千卡集群在杭州建成落地。

TPU再次成为焦点，根本原因在于推理成本

大模型训练依然成本高昂，但训练属于阶段性集中投入，而推理则是持续产生的成本支出。用户每一次与AI的交互，背后都在消耗Token。智能体的出现进一步放大了这一消耗——一个任务可能包含多轮检索、多次模型调用与连续生成，输入Token与输出Token的比例也可能相差悬殊。

中昊芯英创始人兼CEO杨龚轶凡指出了关键趋势：当前大模型推理正走向PD分离。所谓PD分离，即将模型处理输入内容的Prefill阶段与逐Token输出内容的Decode阶段分开调度。前者需要迅速处理大量上下文，后者更注重持续输出与低延迟。若将两种任务混合在同一资源池中运行，容易导致资源闲置或排队。分离后，集群可针对不同负载进行更精细的配置。

这正是TPU重新获得关注的根本原因。GPU最初为图形渲染而设计，后凭借强大并行计算能力成为AI训练核心硬件。而TPU自诞生起便瞄准深度学习中的张量计算，牺牲部分通用性，换取了在特定任务中的计算密度与能效优势。谷歌将TPU部署于自家数据中心和云服务，已证明专用架构在大规模AI负载中能够占据一席之地。

然而，国内情况更为复杂。GPU生态长期占据主导，CUDA工具链与开发习惯构成了较高的迁移门槛。国产TPU若想进入市场，不仅需解决芯片自身性能问题，还要回答一系列现实挑战：开发者如何迁移？模型如何适配？客户如何调用？

须臾是中昊芯英的第二代产品。据官方数据，该芯片混合精度浮点算力达896TFLOPS，8-bit推理算力达1792TOPS，整体性能约为上一代的三倍，单芯片额定功耗600W。中昊芯英联合创始人兼CTO郑瀚寻将性能提升归结为多项硬件优化：计算流水线重构、双芯粒同基板封装，以及片上存储容量与带宽的提升。中昊芯英表示，目前已完成Qwen、DeepSeek、GLM等主流开源模型的基础适配，并能在新模型发布后较快地完成流程跑通。

但话说回来，基础适配与商业化效果之间仍有较大差距。要将模型的吞吐量、延迟和成本调至可用水平，往往需要围绕算子、编译工具与调度策略持续优化。国产AI芯片行业常说的"从可用到好用"，正是对这一漫长打磨过程的写照。

千卡集群在杭州落地，国产TPU迎来实战检验

此次落成的杭州国产TPU千卡集群，由杭州电信、中兴通讯与中昊芯英联合建设，面向大模型训练、推理及科学计算等场景提供算力服务。这也是中国电信体系内首个大规模国产TPU集群部署项目。

运营商的角色也在悄然转变。过去，客户租用的是服务器、存储与带宽；如今，越来越多的企业希望直接获得模型调用能力，或按Token购买服务。杭州电信并未将TPU视为唯一选项，其现有布局中同时包含GPU算力池，并积极探索其他国产芯片路线。未来的智算中心很可能长期保持异构状态——不同芯片架构各自承担擅长任务，运营商负责将底层资源组织成面向用户的服务。

这种模式对集群调度提出了更高要求。杭州电信方面透露，经过数月软硬件调优，TPU集群的Token输出效率较年初提升了超过10倍。这一数字是系统优化综合作用的结果——模型版本、算子实现、服务器配置、网络带宽与调度方式，都会影响最终能交付的有效Token数量。

中兴通讯负责网络与系统集成能力。千卡集群向万卡规模扩展时，芯片间的连接将迅速成为瓶颈。计算能力提升越快，通信、存储与散热就越容易拖累整体效率。这些都是智算中心走向规模化后必须面对的挑战。

谷歌TPU的经验已表明，专用芯片的价值往往建立在完整的软硬件体系之上。对于国内厂商而言，芯片研发、量产交付与软件生态，仍需同步推进。