5月底的上海张江，端侧AI峰会如约举行。安谋科技的张冰在会上系统分享了对端侧AI发展趋势的判断，将端侧人工智能的现状、挑战与未来路径讲得十分清晰。先看几个核心结论：端侧AI并不是云端大模型的简单压缩版本，而是一种全新的系统级架构；小模型技术的持续成熟，正在推动端侧AI从概念验证迈向大规模落地；与此同时，安谋科技正通过NPU、CPU、VPU以及安全IP的全栈布局，抢占端侧AI赛道的关键位置。

AI产业重心转向推理 端侧成算力新战场

AI技术演进的速度，确实超出了很多行业人士的预期。2026年的AI Index报告显示，在图像分类、多模态推理等关键任务中，AI整体能力已经全面超过人类水平。OpenRouter公布的数据同样引人关注——截至今年3月，全球每周AI Token消耗量已突破20万亿，过去12个月同比增长1280%。中国市场的增长势头更为迅猛，3月日均Token调用量达到140万亿，相比2024年初增长超过千倍。 Token消耗曲线持续陡增的背后，本质上反映出AI产业正在从训练阶段加速转向推理阶段。当AI从“新鲜工具”逐步演变为“核心生产力工具”，单一依赖云端的架构，在成本控制、响应时延和数据隐私等方面的局限也愈发明显。而小模型能力的突破，恰好为端侧推理和端侧部署的大规模普及打开了空间。 借助蒸馏、量化和模型架构优化等技术路径，3B、7B参数规模的小模型性能已经实现明显跃升。当前主流小模型的MMLU得分普遍迈过60分这一“可用”门槛，部分模型已经接近75分的“好用”标准。这意味着，许多过去必须依靠云端大模型完成的AI任务，如今已经可以在手机、PC、汽车等终端设备上实现本地运行和本地推理。 张冰特别纠正了行业内一个常见认知误区：端侧AI绝不是把云侧模型简单做小那么简单。它的本质，是在设备功耗、芯片算力、散热能力等严格约束条件下，完成从硬件到软件再到模型的全栈系统级创新。 他还给出了一个非常直观的定义：端侧AI的核心架构是“本地大模型 + 智能路由 + 云边协同”。简单来说，AI Agent常驻在终端设备上，首先理解用户意图，再根据任务类型智能调度计算资源。比如总结、翻译、提醒等轻量任务，个人文档、健康数据等涉及隐私的数据处理任务，以及实时语音、车载交互等对低延迟要求极高的应用场景，都可以直接在本地完成。而高复杂度代码生成、科研分析、超长上下文推理等更高难度任务，则可无缝切换并路由到云端处理。这种端云协同的混合模式，既发挥了端侧AI在低时延、强隐私、低成本、离线可用等方面的优势，又弥补了本地算力的不足，最终为用户提供更加流畅、安全且高度个性化的AI体验。 张冰强调了一个核心问题：云侧AI可以通过不断“堆算力”来获得性能提升，但端侧AI没有这样的条件。应用场景碎片化、功耗与散热限制、芯片成本压力，每一层都是现实约束。因此，真正可行的路径只能是硬件架构、软件工具链和算法模型三者协同优化。

全栈IP矩阵亮相 安谋科技卡位端侧AI核心赛道

安谋科技在端侧计算和端侧AI场景方面已经积累了超过三十年的经验，这种长期沉淀是很多厂商短时间内难以复制的。目前，安谋科技已构建起一套覆盖不同算力需求、面向全品类终端的端侧AI计算IP矩阵，从芯片设计到应用落地，能够提供较为完整的系统级解决方案。 在核心AI加速IP方面，安谋科技形成了两条主要产品布局路线。其一，是面向中大算力场景的“周易”系列NPU，适用于手机、AI PC、智能汽车和加速卡等应用，算力范围覆盖8到80 TOPS，并原生支持Transformer和CNN。最新发布的周易X3 NPU专门针对大模型推理进行优化，采用DSP+DSA架构，在相同算力条件下，AIGC大模型处理能力提升10倍，CNN模型性能提升30%到50%。同时，它全面支持W4A8、W4A16量化以及GPTQ等多种量化方案，并通过权重解压缩技术将等效带宽提升约15%。在软件生态层面，目前已适配超过160个Hugging Face主流模型，使得云端AI应用向端侧迁移能够更高效地完成。 另一条布局路线，则是面向AIoT和小算力场景的Ethos系列NPU，最高可提供4 TOPS算力，在功耗效率和面积效率方面表现突出。从64 GOPS的Ethos-U55到4 TOPS的Ethos-U85，产品可覆盖人脸识别、语音唤醒、工业视觉检测、智能家居等多类典型端侧AI应用。值得关注的是，Tiny Llama2模型已经能够在Ethos-U85上实现流畅运行，这也进一步验证了小模型在端侧设备上的实际落地能力。 除了NPU产品之外，过去一年安谋科技还密集推出了三款核心IP新品，进一步补强了AI视频处理、AI安全以及AIoT通用计算等关键能力。 “玲珑”V560/V760 VPU被称为VPU领域的“六边形战士”，支持包括H.266在内的主流视频编解码标准，单核即可实现4K60FPS编码和8K30FPS解码。该产品采用创新的内容感知编码技术，在相同画质下可降低20%码率，在相同码率下可提升20%编码质量。再加上超低延时编解码能力和多OS虚拟化支持，使其在AI视频生成、实时会议等场景中具备明显优势。 “山海”S30FP/S30P SPU则面向高性能计算芯片提供全栈安全解决方案，从硬件底层保障端侧AI应用中的信息安全、数据安全和用户隐私保护能力。 “星辰”STAR-MC3 CPU支持Helium矢量扩展，是目前面积最小的V8.1-M内核，可为AIoT设备提供高效率的通用计算能力，进一步增强端侧智能设备的基础处理性能。 最后，张冰还提到一个经常被市场忽视、但对端侧AI发展至关重要的因素——生态。端侧AI的规模化商业落地，绝不是单一企业独立完成的事情。Arm架构目前仍是全球应用最广泛的端侧计算架构，全球前30大半导体公司全部都是Arm技术授权合作伙伴，基于Arm架构的芯片累计出货量已超过3500亿颗，全球99%的智能手机和100%的联网人群都运行在Arm技术生态之上。与此同时，Arm生态在全球拥有超过1000家技术合作伙伴和2200万开发者。 端侧AI从来不是单打独斗，而是整个产业链协同推进的系统工程。安谋科技将自身定位为“赋能者”与“连接器”，通过开放技术、平台和生态资源，联合产业链上下游共同攻克技术难题、拓展应用场景，加快端侧AI在智能手机、AI PC、智能汽车、工业互联网等领域的规模化落地。这不仅将为中国数字经济高质量发展注入更强的“芯”动力，也是端侧人工智能产业持续向前必须走通的一条关键路径。