游乐游手机版
首页/AI热点日报/热点详情

Ollama+Open WebUI部署本地大模型知识库与自定义Ollama模型

类型:热点整理2026-06-29
前言 不管你是技术发烧友还是内容创作者,在本地跑一个大模型,结合自己的私有文档来打造一个专属知识库,都是件相当有吸引力的事。这篇指南从零开始,会详细拆解整个流程:从Ollama的安装配置到Open WebUI的环境搭建,再到把私人文件丢进去构建专属知识库。当然,如果你想玩一些非官方模型的“进阶操作”

前言

不管你是技术发烧友还是内容创作者,在本地跑一个大模型,结合自己的私有文档来打造一个专属知识库,都是件相当有吸引力的事。这篇指南从零开始,会详细拆解整个流程:从Ollama的安装配置到Open WebUI的环境搭建,再到把私人文件丢进去构建专属知识库。当然,如果你想玩一些非官方模型的“进阶操作”,这里也准备了创建自定义Ollama模型的具体方法。

安装与设置Ollama

下载与初始配置

首先,从Ollama官网(https://ollama.com/)下载并安装。默认情况下,安装完成后它会跟随系统自启动,而且模型会默认下载到系统盘。对于很多人来说,这两点都不太友好。一个更灵活的做法是:去掉自启动,并手动指定模型的存放路径。

取消自启动

取消自启动的方法相当简单。找到路径 C:Users\你的用户名\AppData\Roaming\Microsoft\Windows\Start Menu\Programs\Startup,把这个目录下的Ollama快捷方式直接删掉即可。这样一来,想什么时候启动就什么时候启动,资源控制权重新回到自己手里。

修改模型存储路径

接下来是修改模型存放位置。打开系统环境变量,新建一个变量,变量名填写 OLLAMA_MODELS,变量值则填上你希望用来存放模型文件的文件夹路径。完成之后,记得重启一下Ollama,让新配置生效。

安装Open WebUI

Ollama搞定了,还需要一个更友好的图形化界面来操作——Open WebUI。这套组合拳打起来,才算真正拥有了本地大模型的“控制面板”。

第一步:准备Python环境

建议使用miniconda来管理Python环境,它轻量又好用,可以从官网(https://docs.anaconda.com/miniconda/install/)下载安装。

第二步:搭建Open WebUI

对应仓库地址是 https://github.com/open-webui/open-webui。执行以下几步:

  1. 在你要放置Open WebUI程序的目录下,创建虚拟环境:python -m venv openwebui
  2. 激活这个环境:openwebui\Scripts\activate
  3. 安装Open WebUI,推荐使用清华源加速:pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple open-webui
  4. 启动服务:open-webui serve

启动完成后,在浏览器里输入 http://localhost:8080,就能看到登录页面了。

管理员账号与基础设置

首次访问会让你创建管理员账号。别担心,这个账号完全存在本地,不会联网上传,隐私安全有保障。

有个小细节:如果你不打算使用OpenAI的API,建议在设置里把它关掉。虽然不关也不影响运行,但启动时总会弹出一个错误提示,看着不太舒服。

到了这一步,你就可以去Ollama的模型库(https://ollama.com/search)下载各种开源大模型,在本地玩起来了。上传自己的私人文件,构建专属知识库,也只是点几下鼠标的事。

创建自定义Ollama模型

官方模型库虽然丰富,但总有一些“特别”的模型(比如未经审查的、或者特定需求的NSFW模型)没有收录。遇到这种情况怎么办?答案是:自己动手创建Ollama模型。

官方教程给出了详细方法(https://github.com/ollama/ollama/blob/main/docs/import.md)。这里以gguf格式的模型为例,操作起来非常直接:

  1. 先去模型镜像站(https://hf-mirror.com/models)下载你中意的gguf模型文件,然后把它放到前面设置的Ollama模型安装目录下。

  2. 在同一目录下,新建一个 Modelfile.txt 文件。内容只需要一句话:FROM ./模型文件名.gguf,把模型文件名替换成实际的就行。

  3. 在当前目录下打开cmd,执行命令:ollama create my_model -f Modelfile.txt,等待命令执行完毕即可。

  4. 创建完成后,新模型 my_model 就会出现在Open WebUI的模型列表里,直接选中就能体验了。

快捷启动:告别繁琐操作

每次开启Open WebUI都需要激活环境再输入命令,有点繁琐。可以做一个批处理文件来实现“一键启动”。

在之前创建的 openwebui 虚拟环境目录下,新建一个 run.bat 文件,填入以下内容:

chcp 65001

@echo off
echo "      ___           ___           ___                ";
echo "     /           /           /__        ___    ";
echo "    |::         _:         /:/ _/_      /__   ";
echo "    |:|:       / :       /:/ /      /:/__/   ";
echo "  __|:|:     _: :     /:/ /::    /::     ";
echo " /::::|_:__ / : :__ /:/_/:/:__ /:    ";
echo " :~~  /__/ : :/:/  / :/:/ /:/  /  ~~:   ";
echo "  :          : ::/  /   ::/ /:/  /      :__";
echo "   :          :/:/  /     /_/:/  /       /:/  /";
echo "    :__        ::/  /        /:/  /       /:/  / ";
echo "     /__/         /__/         /__/        /__/  ";

REM 1. 激活环境
call "%~dp0Scriptsactivate"

REM 2. 启动
open-webui serve

REM 3. 可选:保持窗口
pause

以后想启动Open WebUI,双击这个 run.bat 文件,一切就自动完成了,省时省力。

至此,从零到一的本地AI知识库搭建就全部完成了。从Ollama的设置,到WebUI的部署,再到自定义模型的创建,这条技术路线已经非常成熟,剩下的就是靠想象力去挖掘它的应用价值了。

end

来源:https://www.53ai.com/news/OpenSourceLLM/2025020536829.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。