AMCT大模型MXQUANT量化【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct1 量化前提1.1 安装依赖本sample依赖包可参考requirements.txt需要注意的是torch_npu包版本需要与Python、torch包版本相匹配需要安装CANN包1.2 模型和数据集准备本sample以Llama2-7bqwen2-7bqwen3-8b模型pileval数据wikitext2数据集为示例, 数据为在线加载模型需要用户自己下载并在执行脚本时指定模型路径。注意量化数据类型组合mxfp8_e4m3fn * mxfp8_e4m3fn只支持量化原始数据类型为torch.bfloat16请注意修改src/utils.py文件中获取模型的数据类型。1.3 简易量化配置本sample中使用的量化配置已经内置在工具中可以通过下述方式获取并使用mxfp8_e4m3fn * mxfp8_e4m3fn全量化配置from amct_pytorch import MXFP8_QUANT_CFGmxfp4_e2m1仅权重量化配置cfg { batch_num: 1, quant_cfg: { weights: { type: mxfp4_e2m1, symmetric: True, strategy: group, group_size: 32 }, }, algorithm: {mxquant}, skip_layers: {lm_head} }如果需要修改详细配置请参考资料构造需要的量化配置dict。mxquant算法支持仅权重量化和全量化支持的量化类型以及量化配置字段类型说明取值范围注意事项batch_numuint32量化使用的batch数量1/skip_layersstr跳过量化的层/跳过量化层支持模糊匹配当配置字符串为层名字串或与层名一致时跳过该层量化不生成量化配置。字符串必须包含数字或字母weights.typestr量化后权重类型mxfp8_e4m3fn/mxfp4_e2m1/weights.symmetricbool对称量化TRUE只支持对称量化weights.strategystr量化粒度group/inputs.typestr量化后激活类型mxfp8_e4m3fn全量化场景不支持配置权重量化类型mxfp4_e2m1inputs.symmetricbool对称量化TRUE只支持对称量化inputs.strategystr量化粒度group/algorithmdict量化使用的算法配置{mxquant}/2 量化示例2.1 使用接口方式调用step 1.请在当前目录执行如下命令运行示例程序用户需根据实际情况修改示例程序中的模型和数据集路径python3 src/run_llama2_samples.py --model_path/data/Llama2_7b_hf/python3 src/run_qwen_samples.py --model_path/data/Qwen2-7b/python3 src/run_qwen_samples.py --model_path/data/Qwen3-8b/若出现如下信息则说明量化成功Test time taken: 1.0 min 59.24865388870239 s Score: 5.477707其中Score为量化模型PPL具体数值参考下表模型校准集数据集量化前PPLmxfp8_e4m3fn*mxfp8_e4m3fn量化后PPLLLAMA2-7Bpilevalwikitext25.4725.523QWEN2-7Bpilevalwikitext27.1377.197QWEN3-8Bpilevalwikitext29.7159.934推理成功后在当前目录会生成量化日志文件./amct_log/amct_pytorch.log【免费下载链接】amctAMCT是CANN提供的昇腾AI处理器亲和的模型压缩工具仓。项目地址: https://gitcode.com/cann/amct创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考