近年来，昇腾不断加强与第三方开源生态的合作，深度嵌入全球AI开源生态。目前，vLLM已经成为最受开发者欢迎的推理引擎之一。
当DeepSeek被广泛部署，AI竞争焦点已从“有没有AI”转向“AI用得好不好”
当前，相比能否用上DeepSeek，能否用得好DeepSeek成为企业更关心的话题。
通过大幅降低大模型部署成本，DeepSeek催生了千行万业AI应用的爆发。根据国家数据局透露的数据，2024年初中国日均Token消耗量为1千亿，今年3月中国日均Token消耗量已经达到10万亿级，1年时间增长了100倍。
当越来越多企业把DeepSeek等深度推理模型部署到生产环境，算法层面的差距迅速收窄，各行业AI竞争焦点从“有没有AI”转向“AI用得好不好”。2025年，模型优化技术已经从模型层面算法优化，下探到底层硬件资源的极致利用。一场关乎底层软硬件协同效能的深水区竞赛悄然启幕。
在AI基础设施中，连接底层硬件和上层AI框架的计算架构，成为下一阶段AI落地的关键。深度开放的昇腾计算架构CANN，正成为撬动产业AI高效落地的新支点。
01 趋势之变：AI竞争已下沉至“系统效能”深水区
DeepSeek模型领先的背后，是一系列模型结构优化技术，包括MoE、动态稀疏计算、自适应参数优化、多头潜在注意力机制（MLA）、无辅助损失的负载均衡技术、多词元预测训练方法等。正是这些技术创新打破了AI训练烧钱的魔咒，以GPT-4 百分之一的成本实现相近性能，同时进一步降低了AI应用门槛。
所有接入DeepSeek的企业都可以直接承接这些最先进的模型结构优化技术，获得同样的加持。但是，想要让这些技术的价值发挥到最大，更进一步提升推理效率，就必须依赖底层资源的系统性优化。这就不得不提到计算产业的护城河——计算架构。
如果把AI技术栈比作一块多层蛋糕，自下而上分别是：XPU硬件层——驱动层——计算架构层——AI框架层——AI模型层——AI应用层。计算架构起到承上启下的关键作用。向下，兼容GPU、NPU、XPU等异构处理器；向上，对接主流AI框架，计算架构是发挥底层硬件计算效率、使能前沿开发的关键平台。
底层的计算架构与上层的AI应用之间看似遥远，其实计算架构是下一节点千行万业比拼AI应用效率的关键。计算架构就像建筑地基，只有地基挖的够深，才能支撑起更高更稳的摩天大楼。
在全球计算产业，有实力做计算架构、并逐步发展出生态的企业屈指可数。计算架构往往涵盖编程语言、算子库、编译器等核心组件，以及围绕这些组件的大量底层优化技术，每一项都需要巨量的研发投入才能持续保持技术领先性。
在全球AI版图中，昇腾早已成为不可忽视的AI创新力量。昇腾异构计算架构CANN（Compute Architecture for Neural Networks）就是昇腾AI的核心软件平台。
一方面，CANN可以将底层昇腾全系列硬件的性能发挥到极致，大幅优化顶尖模型的性能，加速千行万业AI落地效率。
另一方面，通过深度开放战略，CANN也为深度AI开发者提供前沿创新的空间，联合伙伴勇闯模型性能的无人区，成为聚合AI产业创新的引擎。通过与全球AI产业链的深度嵌入，CANN深度开放战略的价值还在不断放大。
昇腾AI基础软硬件平台
02软硬协同+分层开放攻坚千行万业AI落地痛点
面对千行万业的AI应用场景，当基于上层算法优化的模型性能摸高已经做到极致，想进一步提升推理效能，计算架构可以发挥的创新空间非常大。目前，昇腾CANN已经探索出一整套底层资源优化策略和方法论，能够大幅提升算力利用效率和模型效率，并且已经在互联网、运营商、教育科研、制造等众多行业得到成功验证。
第一，针对极致性能、超低时延等场景的底层资源整体优化
在AI应用过程中，企业对于更高性能、更低时延的需求是无止境的，尤其是拥有海量用户、业务呈现高吞吐高并发的互联网、运营商等行业。透过硬件资源三大件：计算、通信、内存，CANN能够大幅提升底层资源优化利用率。
在计算层面，多头潜在注意力（MLA）的前处理阶段涉及20次数据搬入搬出以及13个算子串行计算。CANN创新提出MLAPO融合算子技术，将众多小算子融合成一个大算子，能够将计算耗时从109微秒降到45微秒。该技术已经在头部互联网和运营商客户落地，并带来20%的性能提升。
在通信层面，MoE模型涉及专家间大量通信，CANN通过NPU Direct通信算法创新，让通信时间消耗相比传统RDMA异步通信降低90%。该技术已经帮助科大讯飞星火大模型的跨机通信时延骤降90%，中国移动的千卡集群通信效率提升50%。
在内存层面，CANN自研的多重地址映射技术，通过重组碎片内存，实现内存利用率提升20%。
第二，针对AI前沿开发领域，CANN通过分层开放，解决开发效率和适配难题
教育/科研行业是AI前沿开发的主力军，但往往面临开发效率低、异构资源适配难等痛点。普通开发者只需简单调用算子库即可满足一般开发需求，但是更前沿更深度的开发需求，就需要计算架构不断开源开放来实现。
分层开放是CANN最重要的技术策略之一。在开源了Ascend C编程语言，AOL算子加速库、HCCL集合通信库之后，今年CANN进一步开源GE图引擎，开放毕昇编译器和Runtime运行时，满足发烧友极致开发的需求。清华大学计图团队基于CANN构建起了MoE专用的算子体系，率先实现了基于昇腾单台服务器布局DeepSeek R1模型的突破。
此外，提供成熟的工具提升开发效率也一直是CANN迭代的重点。今年CANN新推出了CATLASS算子模板库，提供了丰富的算子样例。华南理工大学团队借助CATLASS算子模板库开发Matmul算子，开发周期从传统4人周压缩至2人周。
CANN分层开放
第三，针对本地化部署AI困难的传统行业，CANN联合伙伴加速行业解决方案落地
对于制造、医疗等传统行业，DeepSeek落地仍有一定门槛。以DeepSeek一体机、垂直行业大模型等为代表的落地方案，能简化部署流程，加速AI在传统行业应用。昇腾联合伙伴推出了丰富的DeepSeek解决方案，目前已经在500+行业客户落地。
比如在家纺行业，传统的画稿设计流程过长，是影响新品研发效率的瓶颈。过去，从设计师手绘、面料选择、样本制作、样品拍摄，耗时20+天，还要反复修改。昇腾伙伴纺知云科技基于CANN深度开放能力和DeepSeek底层能力，研发出国内首个家纺大模型。设计师只需输入简单图片和描述，家纺大模型会自动生成兼具美学价值和商业价值的样品设计，将设计成本从数万元降到几十元，设计周期从20天减少到5天。
03生态开放聚合AI全产业链创新引擎
随着AI技术不断加速迭代，AI产业链上下游日趋庞大与复杂，决非一家或几家科技巨头可以覆盖。开放的深度和广度也正是计算架构的核心竞争力。对于CANN，深度开放既是技术策略，也是生态战略。借助深度开放，CANN正逐渐成为聚合AI全产业链创新力量的引擎。
首先，与伙伴携手打造覆盖AI落地全生命周期的、更加开放易用AI基础设施生态
比如，在算子开发层面，基于CANN的深度开放能力，高性能算子库已使能30余家客户/伙伴开发了260+核心算子。这些核心算子适配更广泛的行业场景，进一步降低企业AI应用门槛。
在操作系统层面，CANN联合伙伴打通与鸿蒙、欧拉、麒麟等五大国产系统的深度兼容。
在模型训练/部署层面，CANN使能腾讯、硅基流动、无问芯穹等10余家AI基础设施企业，打造智能调度引擎、分布式训练框架等创新套件，让AI落地更高效。
其次，与伙伴联合研发，共同推进基础模型前沿创新
近年来，基础模型的性能突破与底层资源优化，呈现出双向驱动的发展趋势。
以昇腾与科大讯飞的深度合作为例，一方面，计算架构加速了对模型性能的极致探索。比如，基于深度开放的CANN，科大讯飞率先实现了基于昇腾的MoE模型训练推理的落地应用，在昇腾集群上实现MoE模型的大规模专家并行推理的首次规模化验证，达成整体吞吐提升3.2倍，端到端时延降低50%。
另一方面，模型性能突破过程中也提升了底层软硬件协同。比如科大讯飞也深入参与到了昇腾的软件生态建设中，推动了昇腾开发工具集特性不断丰富。
第三，持续加强与Pytorch、vLLM等全球主流AI开源生态合作
近年来，昇腾不断加强与第三方开源生态的合作，深度嵌入全球AI开源生态。目前，vLLM已经成为最受开发者欢迎的推理引擎之一。2024年下半年，昇腾开始与vLLM开展技术和生态合作。vLLM社区新版本发布即支持昇腾，为开发者提供更多选择。昇腾团队还协助vLLM社区开发了硬件后端的插件化特性，降低社区对后端支持的维护成本。
结语
当模型性能突破与底层资源优化日益融合，计算架构已经从技术幕后走到产业台前。
从架构师脑中不断迭代的代码，到真实业务场景中的降本增效，CANN已经在千行万业的AI竞速中发挥着举足轻重的价值。
当企业AI应用步入深水区，开放创新的CANN，正在成为自主可控AI产业链的中流砥柱。
文章来源：智能进化论
