说到在本地跑大模型，Ollama 这个名字你肯定不陌生。它是个开源的本地大语言模型运行框架，专为让普通机器也能轻松部署和运行 LLM 而设计。支持 macOS、Windows、Linux，还能通过 Docker 容器运行。最关键的是，它支持模型量化，能大幅降低显存需求——这意味着，你家那台普通电脑，说不定就能跑起几十亿参数的大模型。
Ollama 简介
Ollama 本质上是一个开源的 LLM 平台，让你能在本地运行、管理和与各种语言模型交互。它提供的是一整套“傻瓜式”的加载和使用方案，覆盖文本生成、翻译、代码编写、问答等常见任务。
它的设计哲学很明确：降低门槛。你不需要懂底层的深度学习框架，也不需要折腾复杂的环境配置。通过简单的命令行或图形界面，就能快速上手。而且它支持多种硬件加速——纯 CPU 推理没问题，Apple Silicon 也能完美利用，甚至老款 GPU 也能发挥余热。
主要特点和功能概述
1. 简化部署
目标就是让非专业用户也能在 Docker 容器里轻松管理、运行大模型，省去繁琐的配置步骤。
2. 轻量级与可扩展
资源占用小，同时允许按需调整配置，适配不同规模的项目和硬件环境。
3. API 支持
提供简洁的 API，开发者可以像调用在线服务一样，在本地创建、运行和管理模型实例。
4. 预构建模型库
内置了多款预先训练好的模型（如 Llama、Mistral、Gemma 等），开箱即用，不用自己找模型源。
5. 模型导入与定制
从 GGUF 导入：支持从特定平台直接导入已有模型。
从 PyTorch 或 Safetensors 导入：兼容主流深度学习框架，方便把你的训练成果集成进来。
自定义提示：支持修改 Prompt，引导模型生成特定风格或内容的输出。
6. 跨平台支持
macOS、Windows（预览版）、Linux 以及 Docker，覆盖面很广。
7. 命令行工具与环境变量
通过命令 ollama serve 启动服务，环境变量 OLLAMA_HOST 可指定绑定地址和端口（默认 127.0.0.1:11434）。
总的来说，Ollama 是一个专注本地的 LLM 运行工具，把模型管理、丰富的模型库、跨平台支持、灵活自定义这些功能打包成一套顺手的工作流。开发者和研究人员可以借此在本地高效处理各种 NLP 任务，既不用依赖云服务，也省去了搭建基础设施的麻烦。
Ai整理
- 多种预训练语言模型支持：Ollama 提供开箱即用的模型库，包括 GPT、BERT 等，可轻松用于文本生成、情感分析、问答等任务。
- 易于集成和使用：提供 CLI 和 Python SDK，简化了与其他项目或服务的集成，开发者无需担心依赖或配置问题。
- 本地部署与离线使用：所有计算在本地完成，数据隐私有保障；离线部署还能降低延迟，提升响应可控性。
- 支持模型微调与自定义：不仅能用预训练模型，还能在基础上进行微调，用你自己的数据优化模型效果。
- 性能优化：高效推理机制，支持批量处理，能有效管理内存和计算资源，应对大规模数据也不慌。
- 跨平台支持：Windows、macOS、Linux 都兼容，开发环境到生产环境体验一致。
- 开放源码与社区支持：开源项目，代码可随意查看、修改、贡献，而且社区活跃，遇到问题不愁没地方问。
核心定位和优势
| 特性维度 | 具体说明 |
|---|---|
| 核心定位 | 一个开源的、轻量级的本地大语言模型运行和管理平台。 |
| 主要优势 | 简单易用：告别繁琐配置，一条命令搞定模型下载、安装和运行。 数据隐私：所有计算在本地完成，敏感数据不上云，安全性极高。 免费使用：一次性硬件投入后，无需为模型调用付费，长期成本低。 跨平台支持：完美支持 Windows、macOS 和 Linux。 模型丰富：支持 Llama、Mistral、Gemma、DeepSeek、Phi 等绝大多数主流开源模型。 |
| 主要作用 | 就像一个本地的 AI 模型“应用商店”。你可以从中“下载”并“运行”各种开源模型，在命令行里直接聊天，或者通过 API 接口集成到自己的应用中。 |
它能为你做什么？
Ollama 的实用价值不止于概念，它确实能帮你省下大量精力：
- 一键运行模型：输入
ollama run llama3，Ollama 自动下载模型并启动对话界面，立刻就能开聊。 - 灵活的模型管理：像管软件一样列出现有模型（
ollama list）、下载新模型（ollama pull）、删除旧模型（ollama rm），甚至创建基于特定参数的定制模型（ollama create）。 - 提供标准 API 接口：后台运行时会开放本地 API 端口，开发者用任何编程语言（比如 Python）就能像调在线 API 一样调本地模型，构建智能文档总结、本地知识库问答等应用。
- 硬件要求友好：既可利用高性能 NVIDIA GPU 加速，也能在无独显电脑上靠 CPU 运行。一台 8GB 内存的机器就能跑 70 亿参数左右的模型。
- 新手上路无障碍：除了命令行，最近还推出了 桌面版应用程序，带图形界面。鼠标点击、拖拽文件就能跟 AI 互动，零编程基础也能玩。
应用场景
内容创作：帮作家、记者、营销人员快速生成博客文章、广告文案等高质量内容。
编程辅助：帮开发者生成代码、调试程序、优化代码结构。
教育和研究：辅助学生和研究人员学习、写作、研究，比如生成论文摘要或解答问题。
跨语言交流：提供高质量翻译，打破语言障碍。
个人助手：作为智能助手，帮你写邮件、生成待办事项等日常任务。
Ollama 与其他 LLM 的区别
| 区别维度 | Ollama 的特点 | 说明 |
|---|---|---|
| 本地化 | 更注重本地运行 | 与 ChatGPT 等依赖云服务的 LLM 不同，适合对数据隐私要求较高的用户 |
| 灵活性 | 可加载不同模型 | 用户可以根据需要加载不同的模型，而非局限于单一模型 |
| 开源 | 开源项目 | 用户可以自由修改和扩展功能 |
谁适合阅读本教程？
开发者、研究人员，以及对数据隐私有较高要求的用户——Ollama 能帮你快速在本地部署和运行 LLM，同时提供灵活的定制选项。用 Ollama，你可以在本地跑 Llama 3.3、DeepSeek-R1、Phi-4、Mistral、Gemma 2 等主流模型。
学习本教程前你需要了解
有 Python 基础会更好（如果不熟悉，可以先看看 Python 3.x 基础教程）。理解 Docker 镜像和容器的区别，知道如何从 Docker Hub 拉取镜像并运行容器（相关教程可参考 Docker 教程）。另外，熟悉命令行基本操作（创建、删除文件目录，运行脚本等）是必备的。
创建新的模型
使用 ollama create 命令从 Modelfile 创建模型：
实例
ollama create model -f ./Modelfile
相关链接
Ollama 官方地址：https://ollama.com/
GitHub 开源地址：https://github.com/ollama/ollama
