第一步:认识Ollama并完成本地安装
简单来说,Ollama 是一个开源的本地大模型运行框架。过去,若想在个人电脑上运行一个几十亿参数的大语言模型,通常需要掌握 Python、配置复杂的开发环境,并处理各种令人头疼的报错。而如今,Ollama 将底层技术细节封装好,普通用户只需像安装常规软件一样,就能轻松下载和运行各类顶级开源大模型(例如 deepseek、Qwen、GLM 等)。
因此,要在本地部署一个大语言模型,首要步骤就是安装 Ollama 这个软件。
1. 下载 Ollama
首先访问 Ollama 官方网站:https://ollama.com/
点击右上角的 Download 按钮,根据自己电脑的操作系统选择对应版本下载(本文以 Windows 系统为例进行演示)。

下载完成后,双击 .exe 文件开始安装。程序默认会安装到 C 盘,安装过程中无法更改路径。建议不要强行修改安装目录,以免后续出现错误。
安装后打开 Ollama 应用程序,点击 Settings 按钮。

然后将 Model location 改为 C 盘以外的固态硬盘分区,否则后续下载的大模型都会占用 C 盘空间,可能导致 C 盘爆满(当然,如果 C 盘空间足够大,比如 1TB,则无需修改)。

第二步:下载开源大模型至本地
回到 Ollama 官网,点击顶部导航栏的 Models,即可浏览海量开源大语言模型,例如 DeepSeek、Qwen(通义千问)、GLM 等。我们以 DeepSeek-R1 模型为例进行演示。



点击进入模型页面,可以看到 DeepSeek R1 的不同版本,以及对应的下载安装命令代码。

为什么同一个模型会提供 7b、14b 等多个版本?该如何选择?
很多新手对此感到困惑,其实理解起来很简单:字母“b”代表英文 Billion(十亿)。7b 表示模型包含 70 亿个参数,14b 表示 140 亿个参数。可以把“参数量”理解为 AI 的“脑细胞数量”。参数量越大(如 32b、70b),模型越聪明,逻辑推理能力越强,能够处理更复杂的长文本和专业问题。但代价是它对电脑硬件资源(主要是运行内存和显卡显存)的要求非常高,配置不足时要么无法运行,要么一个简单对话需要几分钟才能回复。参数量越小(如 1.5b、7b),模型越轻量,虽然处理复杂逻辑问题的能力不如大参数版本,但对普通电脑十分友好,运行速度快,用于日常文本润色、简单代码辅助或闲聊完全足够。
这里给出一些选择建议:
7b 版本(入门首选):如果你的电脑内存为 8-16GB,显存为 4-8GB,建议选择 7b(或更小参数)版本。
14b - 32b 版本(进阶体验):如果你的电脑内存达到 16GB 到 32GB,显存在 12-16GB 之间,可以尝试下载 14b-32b 区间段的版本。根据我的个人经验,32GB 内存 + 16GB 显存勉强能带动 32b 版本,但体验并不理想,更多时候还是使用 14b 或 27b 版本。
那么如何查看自己电脑的配置呢?
点击 Windows 开始按钮,搜索“设置”,进入设置页面。

然后点击“系统”。

接着点击“系统信息”。

在显卡信息中“16GB”即为显存容量,“机带 RAM 32GB”即为内存容量。

现在清楚了自己的电脑配置,就可以选择适合的模型进行下载安装。
执行下载与运行命令
首先同时按下键盘上的 Win + R 键,输入 cmd 后按回车,调出黑色控制台窗口。


然后复制“ollama run deepseek-r1”这条命令到控制台,接着在命令后面加上“:模型参数”来指定具体版本。例如要下载 7b 版本,则输入 ollama run deepseek-r1:7b,按回车后即可看到模型开始下载。


接下来耐心等待模型下载完成,当屏幕上出现 success 字样时,即表示下载成功。

然后重新打开 Ollama 客户端,点击模型选择区域,找到刚才下载的模型并选中,在旁边的输入框中即可开始使用本地模型。


看到这里,相信你已经完整掌握了下载并安装开源大模型的方法。那么回到文章标题:如何解决AI模型的各种限制呢?
安装“破限版本”的AI大语言模型
需要明确一点:即使是各大科技公司免费开源的大语言模型,在出厂训练时也进行了严格的安全对齐和输出限制,主要是为了避免模型被不法分子滥用。你可能会问:“前面你吹了半天本地部署破限版本的AI,最后不还是做不到吗?”
朋友,我理解你的急切,但请先别急。
虽然官方原版有限制,但开源社区中有一大批技术极客。他们为了学术研究或追求更自由的AI体验,会专门对这些官方大模型进行“解除限制”的技术处理(常被称为“破限”),并将处理后的版本重新发布到开源社区供大家交流。
我们只需要下载这种“破限版本”即可。
那么如何寻找破限版本的模型呢?
1. 首先依旧前往 Ollama 官网的 Models 搜索界面。输入你想要找的模型名称,这里以 Qwen 为例。

2. 然后找到后缀带有“abliterated”字样的模型,这就是破限后的版本。

3. 找到后,同样复制它的下载命令(例如 ollama run ...),在 cmd 控制台中运行下载。
至此,大功告成!现在,一个完全属于你、且去除了各种限制的私人本地 AI,就已经部署好了。
虽然通过本地部署获得了极大的自由,破除了很多不必要的束缚,但在这里还是要特别提醒大家:即便是本地部署的模型,也绝对不要用来从事任何违法乱纪或违背社会公序良俗的事情。“本地部署”绝不是法外之地。技术本身是中立的,但使用技术的人必须有底线。AI 的安全、健康与合理使用,需要我们每一个人的共同维护。希望大家都能让 AI 成为提升自己工作和学习效率的利器,而不是用来做坏事的工具。
