近期,国产AI大模型DeepSeek强势崛起,吸引了越来越多用户尝试在本地部署大型语言模型——既能保护隐私,又能节省云服务成本。然而,许多新手在使用Ollama时,常会遇到默认安装路径占满C盘、不知如何加载本地模型文件等问题。本文将手把手教你如何自定义安装路径、快速切换本地模型,让AI真正成为你的私人算力助手。
什么是 Ollama?
Ollama 是一个开源项目,旨在帮助用户在本地轻松运行大型语言模型。它极大简化了LLM的部署与使用流程,让用户无需依赖云服务或高性能服务器,即可在自有设备上直接运行模型。
核心特性
本地执行:支持在个人电脑或服务器上运行LLMs,确保数据隐私与安全。
模型兼容性:支持多种开源LLMs,如LLaMA、GPT-J等。
操作简便:提供直观接口,便于快速部署与使用模型。
跨平台支持:兼容macOS、Linux和Windows等操作系统。
资源优化:通过量化等技术提升模型在本地设备上的运行流畅度。
适用场景
隐私保护:处理敏感数据时,本地运行可避免数据外泄风险。
离线使用:无网络环境下也能正常调用模型。
定制开发:开发者可基于Ollama构建个性化应用。
学习研究:学生与研究人员可借助Ollama进行实验与项目开发,非常便捷。
如何自定义Ollama安装路径?
Ollama默认会安装在C盘,且exe安装程序并未提供路径选择选项。别担心,接下来三步即可轻松搞定自定义安装——C盘告急的用户有救了。
第一步:打开安装包所在文件夹,输入cmd进入命令行
输入cmd后按下回车,终端窗口便会打开。
第二步:创建安装路径文件夹Ollama
假设你想安装在H盘,则新建一个文件夹 H:\Ollama。
第三步:输入安装命令完成安装
OllamaSetup.exe /DIR=H:\Ollama
自定义大语言模型安装路径
模型文件默认也会被存入C盘,需要手动调整。创建系统环境变量 OLLAMA_MODELS,将变量值设为你期望的模型存放位置,例如 H:\Ollama\models。
重新启动Ollama后,设置即可生效。
如何迁移先前下载的模型?
模型默认存放在用户主目录下的 .ollama 文件夹中,例如 C:\Users\TAOjay\.ollama\models。将该文件夹内的所有内容完整复制到 OLLAMA_MODELS 指定的文件夹中即可。
运行以下命令验证迁移是否成功:
ollama list # 输出示例 NAME ID SIZE MODIFIED deepseek-r1:7b 0a8c26691023 4.7 GB 13 hours ago deepseek-r1:1.5b a42b25d8c10a 1.1 GB 38 hours ago
加载本地下载的GGUF模型
假设你已下载了一个DeepSeek模型文件,名为 DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf:
在该文件所在目录下创建一个名为 Modelfile 的文件,文件内容仅需一行:
FROM DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
Ollama通过模型文件创建大模型的命令格式为:
ollama create choose-a-model-name -f
具体执行示例:
ollama create deepSeek-r1:7b -f H:/LLM_MODELS/Modelfile
创建完成后即可直接运行:
ollama run deepSeek-r1:7b
如需查看某个模型的Modelfile内容,可使用 ollama show --modelfile 命令。
