LinearQAT【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√功能说明构造Linear的QAT算子。函数原型直接构造接口qat amct_pytorch.nn.module.quantization.linear.LinearQAT(in_features, out_features, bias, device, dtype, config)基于原生算子构造接口qat amct_pytorch.nn.module.quantization.linear.LinearQAT.from_float(mod, config)参数说明表 1直接构造接口参数说明参数名输入/输出说明in_features输入含义输入特征数。数据类型intout_features输入含义输出特征数。数据类型intbias输入含义是否开启偏置项参与学习。数据类型bool其他数据类型比如整数字符串列表等按照Python真值判断规则转换。默认值为Truedevice输入含义运行设备。默认值Nonedtype输入含义torch数值类型。数据类型torch数据类型仅支持torch.float32config输入含义量化配置配置参考样例如下量化配置参数的具体说明请参见量化配置参数说明。config { retrain_enable:true, retrain_data_config: { dst_type: INT8, batch_num: 10, fixed_min: False, clip_min: -1.0, clip_max: 1.0 }, retrain_weight_config: { dst_type: INT8, weights_retrain_algo: arq_retrain, channel_wise: False } }数据类型dict默认值None表 2基于原生算子构造接口参数名输入/输出说明mod输入含义待量化的原生Linear算子。数据类型torch.nn.Moduleconfig输入含义量化配置。配置参考样例如下量化配置参数的具体说明请参见量化配置参数说明。config { retrain_enable:true, retrain_data_config: { dst_type: INT8, batch_num: 10, fixed_min: False, clip_min: -1.0, clip_max: 1.0 }, retrain_weight_config: { dst_type: INT8, weights_retrain_algo: arq_retrain, channel_wise: False } }数据类型dict默认值None返回值说明直接构造返回构造的QAT单算子实例。基于原生算子构造torch.nn.Module转化后的QAT单算子。调用示例直接构造from amct_pytorch.nn.module.quantization.linear import LinearQAT LinearQAT(in_features1, out_features1, biasTrue, deviceNone, dtypeNone, configNone)基于原生算子构造import torch from amct_pytorch.nn.module.quantization.linear import LinearQAT linear_op torch.nn.Linear(in_features1, out_features1, biasTrue, deviceNone, dtypeNone) LinearQAT.from_float(modlinear_op, configNone)【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考