博客

1. QAT介绍

从

模型量化(5): 敏感层分析

可以看出来，对于yolov5-nano模型，对最后一层

detect

层进行敏感层分析的时候,发现对检测精度的影响比较大。所以在PTQ/QAT在进行量化时，会跳过这些敏感层。

QAT微调的模型，就是

PTQ

在校准后的模型。从上一小节可以看出如果PTQ中模型训练和量化是分开的，而

QAT

则是在模型训练时

加入

了

伪量化节

点，用于

模拟模型量化时引起的误差

。

1.1 QAT处理流程

• 1. 首先在数据集上以FP32精度进行模型训练，得到训练好的baseline模型；
• 2. 在baseline模型中插入伪量化节点，
• 3. 进行PTQ得到PTQ后的模型；
• 4. 进行量化感知训练；
• 5. 导出ONNX 模型。

1.2 QAT后精度的提升