前言
不管你是技术发烧友还是内容创作者,在本地跑一个大模型,结合自己的私有文档来打造一个专属知识库,都是件相当有吸引力的事。这篇指南从零开始,会详细拆解整个流程:从Ollama的安装配置到Open WebUI的环境搭建,再到把私人文件丢进去构建专属知识库。当然,如果你想玩一些非官方模型的“进阶操作”,这里也准备了创建自定义Ollama模型的具体方法。
安装与设置Ollama
下载与初始配置
首先,从Ollama官网(https://ollama.com/)下载并安装。默认情况下,安装完成后它会跟随系统自启动,而且模型会默认下载到系统盘。对于很多人来说,这两点都不太友好。一个更灵活的做法是:去掉自启动,并手动指定模型的存放路径。
取消自启动
取消自启动的方法相当简单。找到路径 C:Users\你的用户名\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup,把这个目录下的Ollama快捷方式直接删掉即可。这样一来,想什么时候启动就什么时候启动,资源控制权重新回到自己手里。
修改模型存储路径
接下来是修改模型存放位置。打开系统环境变量,新建一个变量,变量名填写 OLLAMA_MODELS,变量值则填上你希望用来存放模型文件的文件夹路径。完成之后,记得重启一下Ollama,让新配置生效。
安装Open WebUI
Ollama搞定了,还需要一个更友好的图形化界面来操作——Open WebUI。这套组合拳打起来,才算真正拥有了本地大模型的“控制面板”。
第一步:准备Python环境
建议使用miniconda来管理Python环境,它轻量又好用,可以从官网(https://docs.anaconda.com/miniconda/install/)下载安装。
第二步:搭建Open WebUI
对应仓库地址是 https://github.com/open-webui/open-webui。执行以下几步:
- 在你要放置Open WebUI程序的目录下,创建虚拟环境:
python -m venv openwebui - 激活这个环境:
openwebui\Scripts\activate - 安装Open WebUI,推荐使用清华源加速:
pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui - 启动服务:
open-webui serve
启动完成后,在浏览器里输入 http://localhost:8080,就能看到登录页面了。
管理员账号与基础设置
首次访问会让你创建管理员账号。别担心,这个账号完全存在本地,不会联网上传,隐私安全有保障。
有个小细节:如果你不打算使用OpenAI的API,建议在设置里把它关掉。虽然不关也不影响运行,但启动时总会弹出一个错误提示,看着不太舒服。
到了这一步,你就可以去Ollama的模型库(https://ollama.com/search)下载各种开源大模型,在本地玩起来了。上传自己的私人文件,构建专属知识库,也只是点几下鼠标的事。
创建自定义Ollama模型
官方模型库虽然丰富,但总有一些“特别”的模型(比如未经审查的、或者特定需求的NSFW模型)没有收录。遇到这种情况怎么办?答案是:自己动手创建Ollama模型。
官方教程给出了详细方法(https://github.com/ollama/ollama/blob/main/docs/import.md)。这里以gguf格式的模型为例,操作起来非常直接:
先去模型镜像站(https://hf-mirror.com/models)下载你中意的gguf模型文件,然后把它放到前面设置的Ollama模型安装目录下。
在同一目录下,新建一个
Modelfile.txt文件。内容只需要一句话:FROM ./模型文件名.gguf,把模型文件名替换成实际的就行。在当前目录下打开cmd,执行命令:
ollama create my_model -f Modelfile.txt,等待命令执行完毕即可。创建完成后,新模型
my_model就会出现在Open WebUI的模型列表里,直接选中就能体验了。
快捷启动:告别繁琐操作
每次开启Open WebUI都需要激活环境再输入命令,有点繁琐。可以做一个批处理文件来实现“一键启动”。
在之前创建的 openwebui 虚拟环境目录下,新建一个 run.bat 文件,填入以下内容:
chcp 65001
@echo off
echo " ___ ___ ___ ";
echo " / / /__ ___ ";
echo " |:: _: /:/ _/_ /__ ";
echo " |:|: / : /:/ / /:/__/ ";
echo " __|:|: _: : /:/ /:: /:: ";
echo " /::::|_:__ / : :__ /:/_/:/:__ /: ";
echo " :~~ /__/ : :/:/ / :/:/ /:/ / ~~: ";
echo " : : ::/ / ::/ /:/ / :__";
echo " : :/:/ / /_/:/ / /:/ /";
echo " :__ ::/ / /:/ / /:/ / ";
echo " /__/ /__/ /__/ /__/ ";
REM 1. 激活环境
call "%~dp0Scriptsactivate"
REM 2. 启动
open-webui serve
REM 3. 可选:保持窗口
pause
以后想启动Open WebUI,双击这个 run.bat 文件,一切就自动完成了,省时省力。
至此,从零到一的本地AI知识库搭建就全部完成了。从Ollama的设置,到WebUI的部署,再到自定义模型的创建,这条技术路线已经非常成熟,剩下的就是靠想象力去挖掘它的应用价值了。
end
