在本地部署大语言模型,早已不再是极客们的专属游戏。随着ChatGPT的爆火,各种开源LLM如雨后春笋般涌现,但数据和隐私安全问题也成了绕不开的坎。今天,我们就来聊聊一个核心理念:如何优雅地、无痛地,在你自己的Windows电脑上,用Ollama把那些动辄几十上百亿参数的模型请回家,再配上一个漂亮的聊天界面(Open WebUI),最后用内网穿透技术,让你出门在外也能随时召唤它。这套组合拳下来,你拥有的不仅是一个AI工具,更是一个完全受你掌控、无惧断网、不用付费的私人智囊团。
先说说Ollama这个工具,它对小白极其友好,真正做到了“一键部署”。它几乎支持所有主流开源模型,比如Llama 2、千问、Mistral等,跨了Windows、Linux、Mac三大平台。好处是显而易见的:隐私安全、零成本、畅游无阻。下面,我们就直接上手,看看在Windows 10上具体该怎么玩。
1. 先让Ollama跑起来
首先,去Ollama官网(ollama.com/download)找到Windows版本下载。下载完,双击安装程序,点一路 “Install” 就好,没有多余的动作。安装完成后,打开一个PowerShell(或者CMD也行)。
现在,我们来验证一下。在终端里输入以下命令,我们选一个中文能力不错的千问(Qwen)模型来试试水:
ollama run qwen
你会发现,系统开始自动下载模型文件了。这里有个小细节要提醒一下:模型默认会下载到C盘,如果你的C盘空间紧张,建议提前通过环境变量改个路径。具体操作是在终端里提前输入这行命令,设置一个你希望的盘符和文件夹:
setx OLLAMA_MODELS "D:\ollama_model"
(设置完后,记得关闭终端再重新打开,让配置生效)。
模型下载完成后,你就能直接在终端里跟它对话了。

就这么简单,Ollama就装好了。但这只是开始,在终端里打字体验实在谈不上好。
2. 给它配个漂亮脸蛋:Open WebUI
终端操作对于大多数用户来说毕竟是反人类的,我们需要一个像ChatGPT那样的Web界面来交互。最好的选择就是Open WebUI(原名Ollama WebUI),它几乎就是为Ollama量身定做的界面。
2.1 装个Docker环境
要装Open WebUI,得先有Docker。装Docker本身没什么难度,但有几个前提步骤需要走一遍:
第一步:开启Hyper-V
打开控制面板 -> 程序和功能 -> 启用或关闭Windows功能。勾选上“Hyper-V”、“虚拟机平台”和“适用于Linux的Windows子系统”,然后重启电脑。


第二步:安装WSL
重启后,以管理员身份打开PowerShell,输入以下命令更新并安装WSL:
wsl --update
wsl --install

然后再次重启电脑。
第三步:安装Docker Desktop
去Docker官网下载Windows版本并安装。安装完成后,直接打开Docker Desktop,会提示你登录。可以选择“先不注册”,直接进入。当你看到Docker图标左下角变成绿色“Running”,就说明它准备好了。


2.2 Docker部署Open WebUI
既然Docker已经Ready,接下来就一行命令的事儿。在Open WebUI的GitHub页面上,你能找到这行代码。如果你的Ollama和Open WebUI装在同一个Windows机器上,直接在PowerShell里运行它:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
命令跑完后,打开浏览器,访问 https://localhost:3000,你就会看到一个登录页面。先注册一个账号,然后就能进入那熟悉的、媲美ChatGPT的聊天界面了。在界面的右上角设置里,可以直接把语言切换成简体中文。
至此,一个完整的本地大模型环境已经搭建完成。但仅限于局域网内访问。
3. 把它“发”到公网上去
想出门在外,掏出手机也能连上家里的这个大模型?那就得靠内网穿透工具,比如cpolar。它最大的好处是,你不需要有自己的公网IP,也不需要云服务器,就能把你的本地服务暴露到公网上。
去cpolar官网注册一个账号,下载Windows版本并安装。安装后,在浏览器打开 http://localhost:9200,用你的账号登录cpolar的内网管理后台。
在后台的“隧道管理”里创建一条新隧道,重点参数如下:
- 隧道名称:随便起,比如 ollama1
- 协议:选择 http
- 本地地址:3000(这是你Open WebUI服务的端口)
- 域名类型:免费用户先选“随机域名”
- 地区:选择 China Top
创建成功后,在“在线隧道列表”里,你就能看到一个公网地址了,可以直接通过它从外网访问家里的Open WebUI。
小结一下: 随机域名有个硬伤——24小时内会变化,而且那串字符长得根本记不住。这显然不适合长期远程使用。
4. 搞定永久不变的访问地址
想要一个固定不变的公网地址?这需要把cpolar升级到专业版套餐。然后回到官网的“预留”菜单,设置一个你喜欢的二级子域名,比如“myollama”。
回到cpolar后台管理界面,找到刚才创建的隧道(ollama1),点击“编辑”,把“域名类型”改成“二级子域名”,并在“Sub Domain”里填上你刚才保留的“myollama”。保存更新。
现在,你再看“在线隧道列表”里的公网地址,已经变成一个固定的、包含“myollama”字样的永久地址了。无论你身在何处,只要在浏览器里输入这个地址,就能连回你家里那台运行着大模型的电脑,继续你上次的对话。
以上就是从零开始在Windows上搭建一套私有、可控、可远程访问的大语言模型环境全流程。希望这个过程能让你对AI工具有更深的掌控感。
