DeepSeek-单机多卡折腾记
在前面的文章中，我们已经探讨了从单机到集群，从windows到linux的各种环境设置，但还没有涉及到单机多卡的问题。本文将详细介绍在单机多卡环境中遇到的问题和解决方法。
免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈
本次使用的环境是配备4张Tesla V100显卡的系统。
1.只能使用1张卡
我们使用官方脚本安装了ollama，并通过systemctl方式启动，使用的是deepseek-r1:32b模型。启动后发现只使用了22G的显存，实际上只使用了一张卡，其他卡未被利用。
要使用4张卡，需要调整配置，或者运行更大的模型。如果模型大小超过了单张卡的GPU显存限制，系统会自动将任务分配到所有显卡上，无需进行特殊配置。
vi /etc/systemd/system/ollama.service#增加下面2个参数Environment="CUDA_VISIBLE_DEVICES=0,1,2,3"Environment="OLLAMA_SCHED_SPREAD=1"#重新加载ollamasystemctl daemon-reloadsystemctl restart ollama#然后重启模型ollama run deepseek-r1:32b登录后复制
2.模型自动退出
模型启动后，如果自动退出（默认时间为5分钟），但当你提问时，模型会自动重新启动（这会导致响应速度降低）。
#日志中可能会出现类似以下的记录"new model will fit in available VRAM, loading" model=/usr/share/ollama/.ollama/models/blobs/sha256-4cd576d9aa16961244012223abf01445567b061f1814b57dfef699e4cf8df339 library=cuda parallel=4 required="49.9 GiB"登录后复制
#设置为-1则永不退出，也可以设置其他具体时间，比如1小时#参考刚才的步骤，重启服务即可常驻Environment="OLLAMA_KEEP_ALIVE=-1"登录后复制
3.单机运行多模型
在机器上下载了多个模型后，运行其中一个模型后，再启动另一个模型。
root@localhost:~# ollama lsNAME ID SIZE MODIFIED deepseek-r1:32b 38056bbcbb2d 19 GB 3 hours ago deepseek-r1:32b-qwen-distill-fp16 141ef25faf00 65 GB 19 hours ago deepseek-r1:70b 0c1615a8ca32 42 GB 20 hours ago登录后复制
4.Open WebUI 提问拉起模型
在部署ollama后，它会自动开机启动；随后部署了容器化的Open WebUI（也配置了开机自启动）。重启机器（模型未启动）后，通过Open WebUI访问模型并提问，模型会自动启动，并在启动完成后自动回答问题（需要等待模型启动的时间）。
相关攻略
参考指南与学习资料 若您希望在本地快速搭建并部署一个个人智能助手，OpenClaw 框架是一个理想的入门选择。为了帮助开发者更高效地上手，社区中已有丰富的学习资源与讨论可供参考，主要包括：OpenClaw 新手入门教程、核心命令行工具使用指南（openclaw -h 查看帮助）、配置文件的参数详解，
1 openclaw 工具权限报错解决方案：无法使用 exec read write webfetch 等工具的修复方法 当您在配置 openclaw 时遇到工具权限报错，提示缺少 exec、read、write、webfetch 等关键工具的使用权限，通常无需深入排查复杂的系统环境。此问题在多数
本次部署指南的核心目标非常明确：在 Linux 环境中，无论是云服务器还是本地物理机，我们都需要完整地完成 OpenClaw 智能体框架的安装与部署，并通过基础的健康检查与功能验证，确保整个系统能够成功启动并稳定运行。 一、环境要求 在开始动手安装之前，我们首先需要确认系统满足所有的基础运行环境要求
场景一：npm install 安装失败问题详解与解决方案 在进行前端开发或是安装Node js工具时，你是否经常遇到令人困扰的“npm install failed”报错？这个问题通常表现为命令行输出一串红色错误信息，最终停止在安装失败的提示上。深入分析这些报错日志，你会发现一个关键提示：缺少C+
Framework笔记本携手KDE社区：共同推进Linux桌面深度优化方案 近期，模块化笔记本领域的领导者Framework公司宣布与全球知名的开源社区KDE达成战略合作，正式成为KDE的重要赞助伙伴。这一举措不仅象征着Framework在推动开源生态发展上迈出关键一步，也标志着硬件创新厂商与顶级L
热门专题
热门推荐
《无限轮回》新手入门指南：高效开局与核心机制解析 你是否渴望在《无限轮回》中快速成长，成为团队中可靠的伙伴？对于新手而言，正确的开局思路至关重要。切忌盲目拾取未知物品，一个不当操作——例如过早将关键法器“葫芦”交给队友——就可能打乱核心输出的成长节奏，导致团队覆灭。作为团队辅助，你的首要目标并非打出
Fami通最新销量榜出炉：日本实体游戏软件销量数据解读（2026年3月16日-22日） 日本游戏市场每周的风向变幻，总是由那些长青的头部作品与新晋热作共同书写。根据权威媒体《Fami通》最新发布的实体销量估算数据，在2026年3月16日至3月22日这一周，市场格局呈现出清晰的趋势：任天堂Switch
王者荣耀S43赛季射手梯度排行榜单 新赛季的射手格局已基本定型，可以用一句话概括核心趋势：敖隐与蚩妩两位英雄构成双星闪耀的T0阵营，综合强度堪称断层领先。紧随其后的T1梯队中，公孙离、艾琳、孙权、元流之子（射手）等英雄各怀绝技，或凭借极致的灵活拉扯掌控战局，或依赖无解的持续输出主宰团战。而处于T2梯
长生：天机降世怎么玩：从入门到精通的全面攻略 《长生：天机降世》是一款深度策略卡牌手游。其核心玩法在于通过策略性的卡牌组合与角色搭配，在限定回合内，最大化自身伤害输出并在竞技排行榜上取得优势。想要玩好这款游戏，深入理解其底层机制是关键第一步。 《长生：天机降世》新手入门与高阶玩法解析： 一、游戏核心
在本来生活平台下单购物后，及时查询并跟踪物流信息，可以帮助我们准确掌握包裹的预计送达时间，提前做好收货安排。那么，在本来生活应该如何高效地查询快递物流状态呢？下面为您详细介绍几种常用方法。 进行网络购物之后，用户最关心的问题通常是“我的包裹现在运送到哪里了？”实时了解物流进度，不仅能减少等待期间的焦