此前我们探讨了如何借助Ollama在本地部署模型，当时模型来源主要集中在Ollama官方库。本期我们将拓展视野，介绍如何从更广泛的大模型社区中“跨平台”导入模型，并实现“客制化”配置。

把大模型装进笔记本：Ollama + Open Web UI 本地部署实战

先梳理几个关键环节。要在笔记本上运行大模型，首选部署工具仍是Ollama——它当前将模型部署与配置一体化做得最为顺手。模型来源主要有两个：Hugging Face（全球最大的自然语言模型社区）和ModelScope（国内版HF社区）。我们需要寻找一种特定格式的文件——GGUF。

GGUF（GPT-Generated Unified Format）是一种二进制文件格式，专为提高模型加载与保存效率而设计，尤其适用于推理场景。它高度兼容llama.cpp等推理框架，堪称推理量身定制的“集装箱”：既集成了张量数据，又内置完整的元数据清单，推理框架拿到手即可直接使用，省去繁琐的配置步骤。

一、GGUF文件部署步骤

实际操作第一步，可先用ollama show --help查看支持指令。这里有个核心文件叫Modelfile，可将其理解为模型的“配置文件”，其中记录了模型路径、提示词模板等关键信息。从外部导入模型，关键在于为它编写好这份配置文件。

下图展示的是qwen:7b的配置信息：From后面跟着路径，即模型地址；template里是提示词模板，不同模型的默认模板各不相同。

接下来，打开Hugging Face社区（或ModelScope），在搜索框里输入gguf，就能找到海量的GGUF模型。为便于演示，我们挑选一个体积较小的模型进行下载。

在模型的下载清单中，量化级别越高（数字越大），文件体积越小，运行时占用的内存也越少，但可能在精度或响应速度上略有牺牲。最下方的通常是完整版，不过这里我们选择最上面的轻量版作为演示。

二、大模型客制化操作

所谓“客制化”，核心在于修改模型的配置文件。模型下载完成后，接下来需要在模型文件同目录下创建一个Modelfile文件。格式可参照上述qwen:7b的范例。提示词模板可以从模型官网获取示例，也可完全根据自身需求编写。例如，我们可以设置一些个性化参数，如temperature（控制输出随机性），以下是一个基本模板：

FROM: qwen:7b
PARAMETER:
  - temperature: 0.1
  - num_ctx: 4096
TEMPLATE: "提示词模板"
SYSTEM:
  message: "把英文翻译成中文"

举一个更具体的例子，我们尝试将这个新模型打造成一个“马斯克聊天机器人”：

配置编写保存后，运行两条命令即可。第一条是将新模型加载到Ollama中，第二条是启动运行：

# myModel是你为新模型命名的名称，-f 后面的Modelfile包含地址和提示词
ollama create myModel -f Modelfile
# 运行这个客制化模型
ollama run MyModel

坦白说，实际效果可能没有想象中惊艳，或许是提示词编写不够到位，也可能是受限于模型本身的规模和知识库。但无论如何，这确实是大模型跨平台载入Ollama并实现本地客制化的核心方法。

本次演示就到这里。掌握了这一流程后，你现在可以自由地在Hugging Face社区中挑选、部署任何你喜欢的GGUF模型，毕竟那里更新资源的速度是最快的。