备受关注的开源本地AI服务器方案迎来了重要版本升级。近日，其主导开发的Lemonade项目正式发布10.7版本，首次原生集成NVIDIA CUDA后端，实现了对NVIDIA GPU的完整本地AI推理适配。这一更新意味着，无论开发者使用的是AMD还是NVIDIA硬件，现在都能在该框架下获得更统一、更流畅的本地AI开发与部署体验。

在此之前，该方案已广泛支持AMD自家的Ryzen AI NPU、Radeon/Instinct GPU、x86_64 CPU以及Apple Metal GPU，唯独对NVIDIA产品的专门优化存在空白。此次更新精准填补了这一关键缺口，为更广泛的开发者群体和多样化硬件环境扫清了障碍，显著降低了跨平台AI部署的门槛。

跨平台CUDA支持与性能对比工具上线

具体来看，10.7版本在Windows和Linux双平台上同步集成了Llama.cpp的CUDA后端，并配备NVIDIA GPU自动检测功能。这使得用户能够直接在NVIDIA显卡上高效进行本地大语言模型推理。同时，项目首次在Linux平台加入stable-diffusion.cpp的CUDA后端，并带来跨厂商的Vulkan扩展支持，进一步拓宽了GPU适配范围，大幅提升了框架的灵活性与通用性。

本次更新的另一亮点是引入了名为lemonade bench的性能对比工具。该工具专为开发者和研究人员设计，支持在Llama.cpp、FastFlowLM、vLLM、Ryzen AI等多种后端之间开展端到端的大语言模型推理性能基准测试，显著降低了在不同硬件和软件栈上进行评估与对比的技术门槛。

生态开放与功能增强

值得注意的是，此次CUDA后端的合并并非由项目方直接开发，而是由外部开发者提交贡献，最终由官方审核并合并进主线代码库。这一过程标志着该项目在构建开放、跨厂商的AI开发生态方面迈出了实质性的一步，体现了社区驱动的协作力量。

除了核心的CUDA支持，10.7版本还同步带来了LMX-Omni模型支持、原生Prometheus实时监控端点等多项增强功能。这些更新共同推动该解决方案朝着全场景本地AI引擎的目标稳步演进。目前，10.7版本已在其开源项目主页正式发布，开发者可根据自身硬件配置与业务需求，灵活选择后端组合，实现从云端API依赖到高效本地部署的平滑过渡。