概述

    QAT 截止目前（20230418）的CUDA 实现并不在pytorch 原生包中（不等同于pytorch 的QAT，它主要支持CPU），需要引入NVIDIA 的第三方包“pytorch-quantization”。需要TRT8+ 、 pytorch 1.8 +。主要流程如下：

    工具流转方向如下：

    所以目前我的理解+咨询了NVIDIA官方人员，当前仅仅下面支持的算子是INT8的：

QuantConv1d, QuantConv2d, QuantConv3d,

QuantConvTranspose1d, QuantConvTranspose2d, QuantConvTranspose3d

QuantLinear

QuantAvgPool1d, QuantAvgPool2d, QuantAvgPool3d,

QuantMaxPool1d, QuantMaxPool2d, QuantMaxPool3d

QuantAdaptiveAvgPool1d, QuantAdaptiveAvgPool2d, QuantAdaptiveAvgPool3d

C