掌握大模型量化技术，能让万亿参数模型在普通硬件上流畅运行。本文将从量化基础、5种主流方法详解到实战代码，手把手带你入门。

一、量化技术的作用与分类

核心作用：

• 压缩模型体积：例如，将7B参数的FP32模型（28GB）量化为INT8（7GB），体积减少75%。
• 加速推理：低精度整数运算速度远超浮点运算，尤其适合GPU/CPU端实时推理。
• 降低内存占用：量化激活值和KV缓存，提升长序列生成吞吐量。

量化分类：

• 训练后量化（PTQ）：直接对预训练模型量化，无需微调（如GPTQ、SmoothQuant）。
• 量化感知训练（QAT）：训练时模拟量化误差，提升最终精度（如QLoRA）。