Ollama v0.6.6版本的更新,确实带来了不少实实在在的优化。这次发布的看点相当扎实——推理能力、下载体验、稳定性,几个最让开发者头疼的地方都动了刀。具体来看,核心变化集中在四个方面:引入Granite 3.3和DeepCoder两大新模型、下载速度大幅提升、内存泄漏问题被修复,以及API和兼容性的完善。

Ollama v0.6.6 重磅更新:更强推理能力、更快下载速度、更稳定内存管理
对于AI开发者来说,这次更新有几个关键点值得重点关注。
核心更新亮点
1. 两个全新模型正式上线
首先是Granite 3.3,提供2B和8B两种参数规模,支持128K超长上下文。该模型在指令跟随与逻辑推理能力上经过专门优化,处理复杂任务时表现更加可靠。
另一个是DeepCoder,14B和1.5B两个版本完全开源。它在代码生成方面的性能对标O3-mini,开发者能够以更低的成本部署高质量的代码生成AI。
2. 下载速度显著提升
本次引入了一个实验性新下载器,通过 OLLAMA_EXPERIMENT=client2 ollama serve 来启用。实测显示,下载更快且更稳定。同时,Safetensors的导入性能也做了优化,使用 ollama create 导入模型时能明显感受到效率提升。
3. 关键BUG已修复
Gemma 3和Mistral Small 3.1的内存泄漏问题终于得到解决,运行稳定性大幅提高。此外,OOM(内存不足)问题也做了优化,启动时会预留更多内存,避免中途崩溃。另外,Safetensors导入时可能出现的数据损坏问题已被修复,模型完整性有了保障。
4. API与兼容性改进
工具函数现在支持参数类型数组,例如 string | number[],API变得更加灵活。同时,新增了对OpenAI-Beta CORS头的支持,前端集成的门槛进一步降低。
Ollama vs. vLLM vs. LMDeploy:谁才是本地部署王者?
那么,Ollama经过这次升级之后,与vLLM、LMDeploy这些主流方案相比,究竟处于什么位置?下方表格可以更清晰地对比。
| 对比维度 | Ollama v0.6.6 | vLLM | LMDeploy |
| 易用性 | ⭐⭐⭐⭐⭐(一键安装,适合个人开发者) | ⭐⭐⭐(需Docker/复杂配置) | ⭐⭐⭐⭐(零一万物优化,适合企业) |
| 推理速度 | ⭐⭐⭐(适合中小型模型) | ⭐⭐⭐⭐⭐(PagedAttention优化,高吞吐量) | ⭐⭐⭐⭐(Turbomind引擎,低延迟) |
| 内存优化 | ⭐⭐⭐(自动CPU/GPU切换) | ⭐⭐⭐⭐⭐(连续批处理,显存利用率高) | ⭐⭐⭐⭐(W4A16量化,节省显存) |
| 模型支持 | ⭐⭐⭐⭐(支持GGUF量化,社区丰富) | ⭐⭐⭐(需手动转换模型格式) | ⭐⭐⭐(主要适配InternLM生态) |
| 适用场景 | 个人开发/轻量级应用 | 高并发生产环境 | 企业级实时对话/边缘计算 |
从这张表可以清楚看出:三者定位不同,并没有谁能完全取代谁,而是各有各自的擅长领域。Ollama的优势在于极低的入门门槛和丰富的社区模型生态,对于个人开发者或轻量级应用来说,它依然是最直接的选择。vLLM在高并发和极致吞吐量上占据绝对优势,适合生产环境的大规模部署。LMDeploy在低延迟和显存优化上做得比较极致,尤其适合企业级实时对话和边缘计算场景。
因此,选择哪个方案,最终还是要看你的具体场景——无论是单机开发测试、高并发在线服务,还是资源受限的终端部署,这些工具之间并非非此即彼的关系。
