据通信产业网12月12日消息,中国电信研究院联合中国科学院计算技术研究所、华为升腾、沐曦等机构与企业,依托中国电信云网融合技术中试验证平台,成功完成了业界首个面向国产算力的跨架构大模型推理技术验证。
中国电信研究院率先牵头启动了“Triton 统一跨架构推理框架”技术攻关,通过自研的Triton跨架构编译器与统一大模型算子库,实现了同一套算子源码在英伟达、升腾、沐曦三类芯片上的无缝运行。
本次技术验证已成功完成10余款主流开源模型在三类芯片上的端到端推理测试,其核心性能指标表现优异:
平均迁移时间不超过3天,较传统适配模式效率提升了80%以上;精度误差小于0.5%,有力保障了模型推理的可靠性;在同等延迟约束下,系统吞吐达到各芯片原生算子库的90%以上,实现了性能与适配效率的双重优化。
此外,框架内置的benchmark与Profiling工具可一键生成跨芯片性能对比报告,为业务方提供选型决策支持。
据了解,中国电信研究院是中国电信集团下属研发机构,致力于6G、光网络、卫星通信等领域的核心技术攻关。
