华为云Tokens服务升级：384超节点加持，性能提升至2400TPS

8月27日消息，在今日开幕的第四届828 B2B企业节上，华为云正式宣布其Tokens服务全面接入CloudMatrix384超节点。这一举措将充分发挥“大杂烩”架构优势，通过系统级创新弥补单点性能局限，实现整体性能的持续提升。

华为云介绍，依托xDeepServe架构的创新突破，单芯片最高可实现2400TPS的吞吐量和50msTPOT的超低时延，这一表现显著超越了行业现有水平。

华为云指出，过去18个月内，中国AI算力需求呈现指数级增长。数据显示，2024年初全国日均Token消耗量约为1000亿，而到今年6月底，这一数字已突破30万亿。在一年半的时间里，日均消耗量增长超过300倍，反映出我国人工智能应用规模正在快速扩张，同时也对算力基础设施提出了更高要求。

据了解，华为云于今年3月在原有按卡时计费模式基础上，推出了基于MaaS的Tokens服务。为满足不同应用场景对性能和时延的差异化需求，该服务提供在线版、进线版、离线版和尊享版等多种规格选择。

华为云强调，Tokens服务在正式接入CloudMatrix384后，通过384原生的xDeepServe框架实现了吞吐量的再次突破——从年初的1920TPS提升至2400TPS，同时保持50ms的TPOT时延。

目前，华为云MaaS服务已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型，以及versatile、Dify、扣子等主流Agent平台，为用户提供更全面的AI算力支持。