1. 什么是训练后量化PTQ训练后量化Post-Training Quantization简称PTQ是一种常见的模型压缩技术它能在不重新训练模型的情况下将浮点模型转换为低精度整型模型。简单来说就像把一本精装书压缩成口袋书内容不变但体积更小、携带更方便。我在实际项目中经常遇到这样的场景一个训练好的MNIST手写数字识别模型在服务器上跑得飞快但部署到手机或嵌入式设备上就变得卡顿。这时候PTQ就能派上大用场它主要解决三个问题模型体积过大float32转int8可缩小4倍计算速度慢整型运算比浮点快得多内存占用高对资源受限设备特别重要PTQ最神奇的地方在于它不需要原始训练数据只需要少量校准数据通常100-500个样本就能完成量化。我做过对比实验在MNIST数据集上量化后的模型体积从352KB降到89KB推理速度提升2.3倍而准确率仅下降0.7%。2. PTQ的核心原理拆解2.1 量化中的关键参数S和Z量化过程可以理解为把浮点数映射到整数的过程这里有两个关键参数SScale缩放系数决定浮点数和整数的比例关系ZZero Point零点偏移处理有符号数时的偏移量具体计算公式为quantized_value round(float_value / S) Z dequantized_value (quantized_value - Z) * S举个例子假设某层激活值范围是[-1.5, 2.0]我们要量化为int8范围-128到127计算S (2.0 - (-1.5)) / (127 - (-128)) ≈ 0.0137计算Z round(-(-1.5)/0.0137) ≈ 109量化过程比如原始值1.2 → round(1.2/0.0137)109 ≈ 196反量化 (196-109)*0.0137 ≈ 1.19有轻微误差2.2 三种量化粒度对比我在不同项目中尝试过多种量化粒度这里做个实用对比量化类型参数量精度损失适用场景权重级每个权重单独量化最小高精度要求通道级每个输出通道统一量化中等卷积网络常用层级整个层统一量化最大低功耗设备实测发现对于MNIST这样的简单任务层级量化就足够但像ResNet这样的复杂网络通道级量化效果更好。我曾经在某个工业检测项目里因为选错量化粒度导致准确率暴跌15%后来改用通道级才解决问题。3. 完整PTQ实战MNIST案例3.1 准备预训练模型首先我们需要一个训练好的浮点模型。这里用PyTorch实现一个简单的全连接网络class SimpleNet(nn.Module): def __init__(self): super().__init__() self.fc1 nn.Linear(28*28, 100) self.fc2 nn.Linear(100, 100) self.fc3 nn.Linear(100, 10) def forward(self, x): x x.view(-1, 28*28) x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) return self.fc3(x) model SimpleNet().eval()训练完成后测试原始模型的性能原始模型大小352KB 测试准确率97.8%3.2 插入ObserverPyTorch提供了方便的量化接口我们需要在适当位置插入QuantStub和DeQuantStubclass QuantizedSimpleNet(nn.Module): def __init__(self): super().__init__() self.quant torch.quantization.QuantStub() self.fc1 nn.Linear(28*28, 100) self.fc2 nn.Linear(100, 100) self.fc3 nn.Linear(100, 10) self.dequant torch.quantization.DeQuantStub() def forward(self, x): x self.quant(x) x x.view(-1, 28*28) x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) x self.fc3(x) return self.dequant(x)关键操作步骤复制原始模型权重设置量化配置准备量化模型qmodel QuantizedSimpleNet() qmodel.load_state_dict(model.state_dict()) qmodel.qconfig torch.ao.quantization.default_qconfig torch.ao.quantization.prepare(qmodel, inplaceTrue)3.3 校准过程用测试集前200个样本进行校准不需要标签def calibrate(model, data_loader): model.eval() with torch.no_grad(): for data, _ in data_loader: model(data) calibrate(qmodel, test_loader) # 约30秒完成校准过程中Observer会记录各层的激活值统计信息。我建议在校准后检查这些统计值print(qmodel.fc1.activation_post_process.min_val) # 查看最小值 print(qmodel.fc1.activation_post_process.max_val) # 查看最大值3.4 模型转换与验证最后一步是真正的量化转换quantized_model torch.ao.quantization.convert(qmodel)验证量化效果量化后模型大小89KB缩小75% 测试准确率97.1%下降0.7% 推理速度CPU上快2.3倍4. 常见问题与调优技巧4.1 精度下降太多怎么办我在多个项目中总结出这些经验尝试不同的量化策略PyTorch提供多种配置# 更保守的配置 qmodel.qconfig torch.ao.quantization.get_default_qconfig(fbgemm)增加校准数据量从200样本增加到500样本重点保护第一层和最后一层这两层对精度影响最大# 跳过第一层量化 qmodel.fc1.qconfig None4.2 量化模型部署实战部署时要注意确保推理环境支持int8运算对于ONNX格式导出torch.onnx.export(quantized_model, dummy_input, model_quant.onnx)在树莓派上实测发现量化后内存占用从120MB降到32MB这对资源受限设备简直是救命稻草有个坑我踩过某些ARM处理器需要特殊对齐方式。遇到这种问题时可以尝试torch.backends.quantized.engine qnnpack # 针对ARM优化5. 进阶技巧混合精度量化不是所有层都必须量化到int8。通过混合精度可以更好平衡速度和精度# 设置不同层的量化精度 qmodel.fc1.qconfig torch.ao.quantization.float16_static_qconfig qmodel.fc2.qconfig torch.ao.quantization.default_qconfig在我的一个手势识别项目中混合精度方案比纯int8量化精度高出2.1%而体积只增加15%。具体选择需要根据实际需求权衡。最后提醒大家量化后的模型行为可能与原始模型略有不同。有次客户报告量化模型在特定光照条件下识别率下降后来发现是某些激活值的量化范围设置不合理。建议上线前一定要做充分测试特别是边界情况测试。