本次查询：GPTQ
中文解释：GPTQ量化
常见场景：大语言模型的部署与推理优化
一句话解释 GPTQ
GPTQ是一种将大语言模型从FP16压缩到4位或8位整数的后训练量化方法，可在几乎不损失精度的情况下减少约4倍显存占用并显著提升推理速度。
为什么 GPTQ 会被关注
随着大语言模型参数量达到百亿甚至千亿级别，直接部署需要在昂贵的GPU上消耗大量显存和计算时间。GPTQ提供了一种低成本、高效的压缩方案，使得模型能够在消费级显卡甚至手机上运行，极大降低了AI应用的门槛和成本。同时其量化速度较快，对原始模型改动小，已成为Hugging Face等平台上的主流量化标准。
GPTQ 的核心逻辑
GPTQ基于二阶优化思想，利用权重的海森矩阵（Hessian）来评估每个权重的重要性。它采用逐层量化的方式，先固定其他层，对当前层进行4位或8位量化，并通过最小化量化误差的平方和来补偿精度损失。这种方法比简单的逐权重四舍五入（RTN）效果更好，能在相同比特数下保留更多模型能力。
GPTQ 的常见应用场景
最常见场景是在本地部署大模型进行推理，例如在个人电脑上运行Llama、Mistral等开源模型，进行对话、代码生成等任务。此外也用于边缘设备、移动端AI助手以及需要低延迟响应的API服务。搭配vLLM、TGI等推理框架，可以进一步优化吞吐量。
容易与 GPTQ 混淆的概念
容易与AWQ（自适应权重量化）混淆——两者都是针对LLM的4位量化方法，但AWQ通过激活感知的缩放因子选择保留重要通道，而GPTQ依赖二阶优化。另外也会与训练时量化（QAT）混淆，GPTQ属于后训练量化（PTQ），无需重新训练模型即可完成压缩，而QAT需要带量化感知的训练过程，耗时更长但理论精度更高。