不少用户在使用AMD显卡运行Ollama时,都会遇到一个常见问题:默认情况下,Ollama并不会调用你的独立显卡,而是老老实实地在CPU和内存上运行。没错,事实就是如此——即便你插着一块RX 6750 GRE,打开任务管理器一看,GPU纹丝不动,CPU却飙到100%。
之前一直用N卡,装完Ollama或Stable Diffusion就能直接调用GPU,换成A卡后才意识到这个差异。所以今天专门整理一下,如何让AMD显卡在Ollama里真正实现GPU加速。
检查Ollama当前使用的是GPU还是CPU
如何判断?以下两个最直接的方法:
1. 查看日志
在系统托盘中点击Ollama图标,选择“View Logs”,打开server.log文件。如果看到类似“amdgpu不支持,gpu类型为:gfx1031”的提示,说明显卡确实没有被识别。
2. 监控任务管理器
打开任务管理器→性能→GPU,然后运行一个本地大模型,向它提问。观察“专用GPU内存使用率”——如果这个数值基本没有变化,而CPU和内存却在飙升,那基本可以确定:模型运行在CPU上。
解锁AMD显卡运行大模型
一、先确认你的显卡是否支持官方ROCm
访问下面这个地址,查看列表中是否有你的显卡型号:
https://rocm.docs.amd.com/projects/install-on-windows/en/develop/reference/system-requirements.html
列表中除了显卡型号,还要看后面的“HIP SDK”一栏是否打了勾。两者都满足的话,直接下载安装AMD官方的ROCm和Ollama官方版即可正常使用。
比如我用的RX 6750 GRE,列表里找不到,只有兄弟款RX 6750 XT。而RX 6750 XT也不在官方支持列表里——这种情况就需要走第二条路。
二、如果不在官方列表,或者HIP SDK显示叉号,需要安装Ollama-for-amd版本
1. 打开项目地址:
https://github.com/likelovewant/ollama-for-amd
页面里可以看到版本信息。
2. 翻到页面最下方,下载安装程序。注意:安装前先退出Ollama,然后覆盖安装。
3. 回到页面顶部,注意有一段英文说明:这个Ollama安装程序是基于hipsdk 6.1.2版本制作的。因此需要下载相同版本的ROCmlibs文件(就是下图红框标出的那个)。如果使用其他版本的ROCmlibs替换,会导致运行失败——这个坑我已经踩过了。
4. 同样翻到页面最下方,根据之前日志中看到的显卡GPU类型(比如gfx1031),找到对应的hipsdk,点击下载。
5. 解压后,里面有一个rocblas.dll文件和一个library文件夹。按以下路径替换:
打开Ollama安装目录(默认路径类似 C:\Users\你的用户名\AppData\Local\Programs\Ollama\lib\ollama) 将压缩包中的 rocblas.dll 替换到上面路径下的 rocblas.dll 将压缩包中的 library 文件夹替换到上面路径下的 rocblas\library
6. 重新运行Ollama,再次查看日志。如果成功,你会看到类似这样的信息(不同显卡显示的类型会有所不同):
比如显存总量12GB,最大可用11.8GB。这时候再去跑大模型,观察“专用GPU内存使用率”——你会发现它直接占满,CPU和内存的使用率也明显下降。大功告成。
