探索DeepSeek模型量化技术，解锁高性价比AI部署方案。

先给出几个核心判断：在算力资源受限的环境下，量化技术是大模型落地的关键桥梁。Ollama默认采用INT4量化模型，背后蕴含一套清晰的性价比逻辑——要理解这一选择，首先得弄清楚量化到底在做什么。

模型中的参数本质上是一串数字，默认精度通常为BF16或FP16。以FP16为例，每个参数是16位半精度浮点数，占用2字节。一个7B（70亿参数）的模型，理论文件大小约14GB，实际大小确为15,237,852,832字节（14.1GB）。运行时的显存占用也接近这个数值，约14623 MB（14.28 GB）。BF16同样是16位，但数据范围比FP16更广，在相同存储空间下表现更优。

而INT8与INT4量化，通过引入缩放因子，将16位数据压缩至8bit（1字节）甚至4bit（半字节），使模型文件大幅缩小。例如，7B模型经INT8量化后，文件缩减至8,098,524,832字节（7.54 GB），仅为原始大小的一半多——这并非简单压缩，而是伴随精度损失的缩放。加载到GPU时，受框架开销及KV缓存（Key-Value Cache）影响，实际显存占用会超过文件大小，实测达8300 MB（8.1 GB）。

Ollama默认的7B模型使用INT4量化，文件仅有4,683,073,184字节（4.36 GB），略大于INT8的一半。加载后显存占用5303 MB（5.18 GB），对于16GB显存的Tesla T4而言，堪称友好。

通常，人们对比模型时关注“相对精度”——即相对于671B满血未量化版本的得分比例。虽然暂时无法实测671B，但DeepSeek官方给出的数据显示：FP16的7B模型相对精度44%，INT8降至42%，INT4降至38%。最低的INT4量化1.5B模型，相对精度仅22%。要使用INT4量化的14B模型，才能达到60%的及格线；而INT8量化的32B模型，相对精度才突破80%，达到82%。

上次数学测试的结果，从这张表中能找到答案。除7B和8B存在部分交织外，其他模型基本遵循“参数越大性能越强”的规律——当然，蒸馏技术的迭代是否会打破这一规律，仍有待观察。

但有趣的是：在显存有限的前提下，更大参数模型的量化版本反而更具性价比。举个例子，用FP16运行7B模型，与用INT4运行14B模型对比：后者显存占用反而降低27.7%，相对精度却提升36.4%。这不正是花小钱办大事吗？

具体到硬件配置，16GB的Tesla T4最适合运行INT4量化的14B模型；24GB的Tesla P40或A10，INT4量化的32B模型是甜点；32GB的V100，同样以INT4量化的32B模型表现最佳。若要进一步升级，INT8量化的32B模型需要38GB显存，对应48GB显存配置较为稳妥。而48GB显存勉强能运行INT4量化的70B模型（占用47.5 GB），但要流畅运行可能仍需更大显存。

目前云主机可提供的高显存配置，常见的是4卡V100，总显存128GB——这个规格刚好能跑INT8量化的70B模型（占用79 GB），相对精度89%。要想冲刺90%以上，至少需要141GB显存，必须上更高规格的物理机。

以下是一部分实测显存占用数据，供参考：

1. deepseek-r1:1.5b-qwen-distill-q4_K_M : 1651 MB

2. deepseek-r1:1.5b-qwen-distill-q8_0 : 2281 MB

3. deepseek-r1:1.5b-qwen-distill-fp16 : 3661 MB

4. deepseek-r1:7b-qwen-distill-q4_K_M : 5303 MB

5. deepseek-r1:8b-llama-distill-q4_K_M : 6182 MB

6. deepseek-r1:7b-qwen-distill-q8_0 : 8300 MB

7. deepseek-r1:8b-llama-distill-q8_0 : 9385 MB

8. deepseek-r1:14b-qwen-distill-q4_K_M : 10577 MB

9. deepseek-r1:7b-qwen-distill-fp16 : 14623 MB

10. deepseek-r1:8b-llama-distill-fp16 : 16096 MB

11. deepseek-r1:14b-qwen-distill-q8_0 : 16609 MB

12. deepseek-r1:32b-qwen-distill-q4_K_M : 21450 MB

13. deepseek-r1:14b-qwen-distill-fp16 : 29234 MB

14. deepseek-r1:32b-qwen-distill-q8_0 : 38852 MB

15. deepseek-r1:70b-llama-distill-q4_K_M : 48654 MB

16. deepseek-r1:70b-llama-distill-q8_0 : 67446 MB

17. deepseek-r1:32b-qwen-distill-fp16 : 79106 MB

Ollama默认将INT4量化模型作为首选，背后是实打实的性价比考量——对于大多数用户而言，这是一个兼顾性能与资源消耗的优秀方案。当然，如果你的笔记本仅有8GB显存，最实用的建议仍是：老老实实使用INT4量化的7B或8B模型。