欢迎来到量化感知训练（QAT）的入门教程！在之前的视频中，我们主要探讨了训练后量化（PTQ），而本教程将从理论层面带你深入了解另一种主要的量化类型——量化感知训练（QAT）。我们将暂时不涉及 TPU-MLIR 中的具体实现，而是先帮你建立清晰的理论框架，理解 QAT 如何解决 PTQ 带来的精度下降问题，并掌握其核心原理与实现思路。

1. 从 PTQ 说起：量化精度下降的原因

在学习 PTQ 时我们了解到，量化的本质是寻找合适的量化参数，将高比特数据流映射为低比特数据流，从而实现模型轻量化并提高推理效率。但这个过程不可避免地会导致模型精度下降。

造成精度下降的主要原因有以下几个：

• 量化误差的引入：如上图右侧的信号图所示，量化时进行的取整操作，本质上是用有限的离散值去近似无限的连续值。这种近似会使量化后的信号与原始信号产生偏差，偏差越大，量化误差就越明显。
• 信息损失不可避免：权重（Weight）和激活张量（activation tensor）用 INT8 表示时，会不可避免地丢失信息，例如我们之前提到的截断误差。此外，模型在进行 Multiply-Accumulate 操作时，会先用 INT32 接收累加结果，然后再将累加结果转回 INT8，这个转换过程也可能引入截断误差。
• Scale 表示的近似误差：在量化推导中，用 Multiplier 与 rShift 代替 Scale 的表示方法，同样会产生少许误差。