游乐游手机版
首页/AI热点日报/热点详情

Ubuntu 24.04 + RTX 3060 + Ollama 快速部署 DeepSeek 教程

类型:热点整理2026-07-05
快速部署DeepSeek,实现高性能深度学习环境搭建,这事最近挺热。很多人想自己搭一套本地推理环境,但卡在驱动、模型下载这些环节上。下面直接把完整流程拆开讲,从系统准备到最终跑通对话,一步不落。 核心流程分这几块:环境准备、显卡驱动安装、Ollama部署、DeepSeek蒸馏模型部署、WebUI配置

快速部署DeepSeek,实现高性能深度学习环境搭建,这事最近挺热。很多人想自己搭一套本地推理环境,但卡在驱动、模型下载这些环节上。下面直接把完整流程拆开讲,从系统准备到最终跑通对话,一步不落。

核心流程分这几块:环境准备、显卡驱动安装、Ollama部署、DeepSeek蒸馏模型部署、WebUI配置、常见问题排雷。每一块都有实测数据,照着做基本不会翻车。

一、环境准备:系统与硬件配置

先看看你需要什么底子。

系统要求

  • Ubuntu 24.04 LTS(内核 ≥6.8.0)
  • 显卡驱动 ≥535(支持CUDA 12.3,自动安装默认是550版本)
  • 内存 ≥32GB(推荐64GB,多任务处理更从容,实测64G足够)

硬件适配

  • RTX 3060(12GB显存,能跑7B/14B蒸馏模型,实际拉取14B时显存占用约10GB)
  • SSD ≥100GB(建议PCIe 4.0 NVMe,加速模型加载,配了500G的M.2固态)

二、显卡驱动安装

Ubuntu 24.04装驱动其实不麻烦,直接用系统自带的工具就行,比去官网下驱动省事多了。

# 查看支持的驱动版本
ubuntu-drivers devices

# 自动安装推荐驱动
ubuntu-drivers autoinstall

自动安装成功后会装550版本。执行 nvidia-smi 能看到显卡信息,说明驱动就绪。

三、Ollama 部署

Ollama 是跑模型的轻量工具,部署起来很简单。

Ollama 安装

官方一键安装命令:curl -fsSL https://ollama.com/install.sh | sh

但国内直连下载特别慢,经常卡住。这时候需要换加速镜像。

参考换源方法:下载安装脚本后,替换下载地址为镜像源。比如用以下命令替换两处URL:

sed -i 's|https://ollama.com/download/ollama-linux-${ARCH}${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64|g' install.sh
sed -i 's|https://ollama.com/download/ollama-linux-amd64-rocm.tgz${VER_PARAM}|https://github.moeyy.xyz/https://github.com/ollama/ollama/releases/download/v0.3.4/ollama-linux-amd64-rocm.tgz|g' install.sh

换源后下载速度飙升,原来等半天才1.2%,换完半小时左右就装好了。

四、DeepSeek 蒸馏模型部署

模型选择与下载

  • 推荐版本:deepseek-r1:8b(4.9GB,性能保留约65%)
  • 使用镜像源拉取:ollama pull deepseek-r1:7b --registry-mirror(实测拉取速度很快,到90%后稍慢)

启动模型服务

直接运行模型:

  • ollama run deepseek-r1:8b —— 显存占用约6GB
  • ollama run deepseek-r1:14b —— 显存占用约10GB

GPU加速模式(如果需指定):OLLAMA_GPU_LAYER=metal ollama run deepseek-r1:7b

模型部署完成,但命令行交互不够友好,这时候需要装一个WebUI来图形化操作。

五、验证与调试

基础功能测试

  • 命令行问答验证:ollama run deepseek-r1:8b "对比3.06和3.2大小" —— 实测模型正确回答,没出现大小混淆的问题
  • WebUI 访问:http://localhost:8080(需先部署 Open WebUI)

安装Open WebUI很简单,用 Docker 一键搞定(Docker 安装步骤略,自行准备)。

docker run -d -p 8080:8080 -e OLLAMA_BASE_URL=http://192.168.10.110:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

浏览器打开 http://localhost:8080 就能看到登录界面。

登录后就可以在浏览器里和 DeepSeek 对话了。

六、常见问题与解决方案

模型下载失败

  • 用迅雷替代 curl 下载安装包,速度更稳定
  • 手动导入模型文件:ollama create deepseek-r1 -f Modelfile

GPU 未被调用

  • 检查 Docker 是否安装了 nvidia-container-toolkit
  • 显存分配策略:限制单任务显存例如 --num-gpu 50%
来源:https://www.53ai.com/news/zhinengyingjian/2025032716054.html

相关热点

继续查看同栏目近期热点。

延伸阅读

补充最近整理过的热点入口。