本次查询：模型量化
中文解释：模型量化
常见场景：深度学习模型部署与优化
一句话解释
模型量化就是把AI模型里的数字（比如权重和激活值）从32位浮点数（FP32）变成8位整数（INT8）或更低精度，让模型文件变小、跑得更快，同时尽量不损失太多准确度。
为什么会被关注
大模型（如GPT、Llama）动辄几十GB，直接部署到手机或物联网芯片上几乎不可能。量化能让模型体积缩小到原来的四分之一甚至更小，推理速度提升数倍，功耗也大幅降低。
在云端场景中，量化还能降低服务器算力成本和带宽压力。因此无论是边缘端还是云端，量化都是让AI落地实用化的核心手段之一，备受工业界和研究界关注。
核心逻辑
量化本质是离散化：把连续的浮点数值映射到有限的整数集合上。比如INT8只有256个取值，而FP32有约42亿个。映射过程需要找到合适的缩放因子（scale）和零点（zero point），使映射误差最小。
后训练量化直接对已训练好的模型做转换，速度快但精度损失可能较大；量化感知训练则在训练过程中模拟低精度运算，让模型主动适应量化误差，通常能保留更高精度。
常见场景
手机端运行AI助手：比如语音识别、实时翻译模型通过量化后可以在手机CPU/GPU上流畅运行，不依赖云端。
物联网设备中的智能摄像头：对视频帧进行目标检测或人脸识别时，量化后的模型能塞进几MB的闪存中，且每秒处理多帧。
云侧推理加速：在数据中心使用量化后的模型进行批量推理，吞吐量可以提升2-4倍，同时降低电费。
容易混淆的点
“量化”≠“剪枝”：剪枝是删除模型中不重要的连接或神经元，量化是降低每个参数的比特数，两者是互补的压缩手段，常组合使用。
“量化”≠“混合精度训练”：“混合精度训练”通常指训练时使用FP16与FP32混合来加速和节省显存，但推理时仍可能保持FP32；而量化是专门为推理阶段的压缩和加速设计的。