苹果在端侧AI领域的最新布局迎来关键进展。近期，针对其全新推出的CoreAI引擎与现有MLX框架的性能对比测试结果正式发布，揭示了不同应用场景下的性能表现差异，为开发者和用户在本地部署AI模型提供了极具价值的参考依据。
本次测试重点聚焦于解码速度这一核心性能指标。解码速度直接决定了模型生成文本的响应时间，数值越高，用户体验通常越流畅。在搭载M4芯片的Mac设备上，运行参数规模较小的Qwen3 0.6B模型时，CoreAI引擎展现出了显著的性能优势。
小尺寸模型性能优势突出
具体数据显示，在M4 Mac平台上，CoreAI运行Qwen3 0.6B模型的解码速度达到了MLX框架的2.47倍。这意味着在文本生成过程中，CoreAI能够提供远更快速的响应。这一优势在iPhone 17 Pro上同样得到了验证，CoreAI的速度约为MLX的1.6倍。这些数据清晰表明，对于参数量较小的模型，CoreAI在推理效率方面进行了针对性的深度优化。
大规格模型性能趋于持平
然而，随着模型规模的增大，CoreAI的性能优势逐渐收窄。当测试模型升级至拥有80亿参数的Qwen3 8B，并在M4 Max设备上运行时，CoreAI的解码速度仅比MLX快约5%，两者性能几乎处于同一水平。这表明CoreAI的性能提升可能更侧重于中小型模型的推理优化场景。
持续负载与内存占用对比
测试还关注了长时间运行的稳定性表现。在iPhone 17 Pro上进行持续负载测试时，GPU路线在长时间运行后容易触发温控降频机制，从而影响持续吞吐性能。相比之下，传统的CoreML框架配合苹果神经引擎（ANE）在性能保持率方面表现更为优异。此外，在内存占用方面，横向对比显示优化空间依然存在。例如，谷歌的LiteRT-LM引擎运行Gemma模型时，在iPhone 17 Pro上内存占用仅为641 MB，而苹果MLX框架运行同类任务的内存占用高达2900 MB，约为前者的4.5倍。
综合来看，CoreAI引擎在端侧小模型推理上展现了明确的效率优势，非常适合追求快速响应的轻量级应用场景。而对于需要运行更大参数模型或更关注持续稳定输出及内存效率的任务，开发者可能需要根据具体需求，在CoreAI、MLX乃至结合ANE的其他方案之间进行综合权衡。