本地大模型+知识库的组合，听起来很硬核，但实际操作起来，并没有那么复杂。前面聊了如何用Ollama一键部署本地大模型，以及搭建本地聊天工具，今天就把剩下几个关键步骤补全。说实话，整个过程更像是在玩积木——把几个成熟的开源项目拼在一起，就能组装出一套属于自己的AI工作流。
先快速回顾一下，我们主要要完成这些事：如何用Ollama一键部署本地大模型；通过搭建本地聊天工具，搞清楚ChatGPT的信息流转方式；理解RAG的概念及其核心技术；最后，用AnythingLLM构建一个完全本地化的知识库。
三、安装Docker Desktop
这一步是整个基础设施的基石，过程并不复杂，但有个地方容易踩坑。
1、下载安装包
官方下载地址：https://docs.docker.com/desktop/install/windows-install/
2、安装过程中的关键提醒
下载完成后，界面会出现“close and restart”按钮——这里要特别注意，先别急着点它。如果点了，电脑会直接重启，导致之前部署的llama3模型下载中断。正确的做法是：先放着，等终端那边的模型下载完毕，再来处理这个重启操作。
3、重启后的配置
重启完成后，依次点击“Accept”和“Finish”。接着会要求注册Docker账号，如果注册页面打不开，就需要科学上网了。按正常流程注册并登录即可，登录后会自动进入Docker Desktop，这一步就算完成了。
四、下载Open WebUI
接下来，我们要给本地大模型装一个好看又好用的界面。
1、打开终端
Windows用户：按Win+R，输入cmd，回车。
Mac用户：按Command（⌘）+ Space打开Spotlight，搜索“终端”。
2、执行拉取命令
在终端中输入以下命令，等待下载完成：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
3、注册与登录
命令执行完成后，访问 http://localhost:3000/auth/，按提示输入昵称、邮箱、密码注册即可。登录后，在顶部的Model选项中选择你本地已部署的模型——我这边部署了两个，所以能看到两个选项。
到这一步，你已经拥有了一个完全属于自己的本地大语言模型，可以自由对话了。如果只是玩玩、要求不高，到这里已经够用。
五、本地知识库进阶
但如果想要更灵活地控制知识库，就需要引入另一个工具：AnythingLLM。它覆盖了Open WebUI的所有能力，还额外支持选择文本嵌入模型和向量数据库，意味着你可以定制自己的知识检索流程。
AnythingLLM安装和配置
安装地址：https://useanything.com/download
安装完成后进入配置页面，主要分三步走：
- 第一步：选择大模型
- 第二步：选择文本嵌入模型
- 第三步：选择向量数据库
构建本地知识库
AnythingLLM引入了“工作空间”（Workspace）概念，你可以为不同项目创建独立的隔离空间。操作流程如下：
- 创建一个工作空间
- 上传文档并进行文本嵌入（我测试时上传了一份“2023年最新450个搞钱玩法合集”）
- 测试对话——配置完成后，就可以直接和大模型对话了
整个过程到这里就结束了。回看下来，从部署模型到搭建界面，再到接入知识库，每一步都有现成的工具和清晰的路径，只要按部就班操作，就能拥有一套完全本地化、且可定制的AI助手系统。