最近有朋友问到 Ollama 的具体用法，借这个机会整理一份使用指南，顺便聊聊近期与大模型互动时发现的有趣现象——尤其是那种“一本正经胡说八道”的能力，真是让人哭笑不得。
安装 Ollama 主程序。下载安装包时，国内网络访问官方服务器可能会稍慢。如果本地网络不理想，可以尝试从网盘获取——不过更推荐走官方渠道，确保版本及时更新。安装过程本身非常常规，Windows 和 Mac 都有对应版本。
模型下载。这一步反而比想象中顺利，直接通过
ollama pull <模型名称>或ollama run <模型名称>，下载速度相当可观。即使偶尔遇到“服务器响应超时”的提示，重试几次通常就能成功。目前我常用的两个模型：llama2:7b用于大语言对话，nomic-embed-text负责解析笔记内容——它们分工明确。Windows 下的 GPU 调用。Ollama 的 Windows 版本默认就会启用 GPU，无需额外配置。想了解具体细节，可以查阅官方博客中的 Windows 预览说明。
基本命令。在终端中输入
ollama并回车，即可查看所有可用子命令。常用的几个：ollama serve—— 启动后台服务ollama list—— 列出已下载的模型（这些模型默认存储在C:\Users\%username%\.ollama\models中）ollama run <模型名称>—— 在终端中运行指定模型ollama rm <模型名称>—— 删除不需要的模型
最近在使用过程中，有几个发现值得记录，或许会影响未来的笔记习惯。
关于“胡编乱造”。大模型编造内容的能力依然很强。一旦发现回答开始脱离上下文，最直接的办法就是开启新对话——虽然粗暴，但确实有效。
精简笔记 vs 提供更多上下文。过去记笔记总习惯省略、追求速度。比如下面这个例子：人一眼就能看出“Training”相关内容存在 I 盘，但把这一页笔记丢给 Llama2 后，它无法回答“Training 相关的内容在哪”。可能是模型规模太小，也可能是笔记信息量不足。但换个角度想，既然大模型理解速度远超人类，那为它提供更完整的信息会不会反而更好？当然，这又可能撞上 Token 限制，而且笔记本身也不能太啰嗦——平衡点需要自己把握。
可能的优化方向。提升问答准确性需要一点工程思维。最近在体验字节的扣子（Coze），里面有个工作流功能挺有意思——先用传统编程逻辑处理一些信息（比如筛选出所有带“#渲染”标签的文章），再把这些预处理后的内容交给大模型总结。效果比一股脑把所有笔记扔给 LLM 要好很多。Obsidian Copilot 已经用 LangChain 做了一定优化，或许还可以挖掘更深层的组合。另外 Coze 的工作流是低代码形式，低代码确实便捷。前两天看到一篇文章说“ComfyUI for everything”，ComfyUI、Obsidian 和 LLM 的组合想想就觉得可行，哈哈。
希望这些内容能给你一些启发，欢迎随时交流～