先分享一个关键看点：Arm KleidiAI 与 ONNX Runtime 的组合方案，在 Windows 和安卓设备上落地后，AI 推理速度最高可提升至原来的 2.6 倍。这意味着什么？用户在聊天或使用各类应用时，等待反馈的时间显著缩短——这对终端体验而言是实实在在的改善。
如今，从聊天机器人到生产力工具，AI 几乎已成为 PC 和手机里“隐形的水电煤”。这类应用要想运行流畅、不掉队，CPU 就必须在推理方面兼具高效性与可扩展性。正是在这个关键节点上，Arm 与微软决定携手拓宽道路——这次是将 Arm KleidiAI 进一步内嵌到 ONNX Runtime 中。
KleidiAI 本身是一套专为 AI 框架开发者打造的轻量级内核库，其核心优势在于：能在极广泛的规模下，无缝优化基于 Arm 架构的设备上的 AI 模型与工作负载。此前它已成功整合进其他主流 AI 框架，而此次与 ONNX Runtime 的合作，是在既有成功基础上再向前迈出的一大步。
加速边缘设备上的 AI 体验回顾来看，Windows on Arm 生态近几年的发展确实迅速。Adobe Photoshop、Google Chrome、Spotify、Zoom 等常见应用均已推出 Arm 原生版本。此次将 KleidiAI 集成到 ONNX Runtime 中，最大的价值在于：开发者无需额外投入工程时间去调整底层架构或重写代码，AI 性能的提升便会自动到来。而 ONNX Runtime 本身支撑着微软许多产品的 AI 工作负载——包括 Microsoft 365 套件和 Microsoft Copilot。
举个例子：Phi-3 Mini 这个仅有 38 亿参数的小语言模型，专为边缘设备体验量身打造。从实时聊天机器人、虚拟助手，到智能文本补全、生产力工具的辅助功能，一切都可以在本地完成。KleidiAI 与 Phi-3 Mini 的紧凑结构相结合，开发者完全无需依赖云端连接，就能在设备上快速实现上述智能能力。
提升 PC 和移动设备上的实际 AI 性能在 PC 和移动端，收益是立竿见影的。根据 Arm 的基准测试，集成 KleidiAI 后的 ONNX Runtime 表现十分亮眼：在基于 Armv9 平台的 Windows 设备上运行 Phi-3 模型，提示处理吞吐量提升了 2.4 倍，而词元生成速度也加快了 12%。这些数字落到用户体验上，就是聊天机器人能够给出更自然、更流畅的答复，而不是犹豫不决。同样，在搭载最新 Armv9 CPU 的 vivo X200 Pro 旗舰手机上，同样的 Phi-3 模型在参考安卓应用中，提示处理速度直接翻倍——达到 2.6 倍。
此外，由于 KleidiAI 运行在目前全球应用最广泛的 Arm CPU 架构上，AI 应用与工作负载可以在不同生态系统和芯片组之间无缝迁移。从内部设计来看，KleidiAI 与 Arm 的 Neon、可伸缩矢量扩展（SVE2）以及可伸缩矩阵扩展（SME）紧密配合。这意味着，开发者今天构建的 AI 增强体验，未来随着硬件演进，也能自然地随之扩展升级。
推动 AI 规模化落地这次 Arm 与微软的合作，在降低 AI 优化门槛方面迈出了极具分量的一步。OEM 厂商、应用开发者、操作系统提供方都不需要额外增加开发成本或人力，就能在各类 PC 和移动设备上更轻松、更高效地部署智能功能。作为终端用户，直接获得的是更快的 AI 体验。展望未来，随着 AI 持续演化，这些底层优化工作将不断为开发者、OEM 厂商和操作系统提供方带来更好的性能、更大的灵活性以及更广泛的覆盖范围——最终受益的，依旧是使用这些设备的人。
