在大模型推理场景中量化技术常被用于降低显存占用、减少计算量与数据传输开销。本文将梳理量化计算的核心特点、实现方式介绍其在SGLang、vLLM等主流推理框架中的落地应用助力读者快速掌握相关知识。0****1计算的特点在了解如何进行量化之前我们先来明确量化计算要解决什么问题或者说为什么要采用量化计算。以一个乘法运算为例假设有算式1和算式2二者完成的是相同的计算任务但使用了不同的数值精度。通常精度越高计算耗时越长。对人类运算如此对计算机亦如此。因此为了提升计算速度可以采用降低计算精度的方式即用低精度运算替代高精度运算。从硬件层面来看GPU已具备支持量化计算的条件。当前主流GPU普遍遵循“精度越低吞吐量越高”的规律。以Nvidia H100为例其FP8的计算速度约为FP16的两倍[1]。低精度数据除了计算更快还具有存储空间更小、传输速度更快的优势是缓解显存压力和通信带宽压力的理想选择。当然量化方法也存在明显缺陷即会带来信息损失。具体而言低精度数据的数值表达范围本就不如高精度数据而在精度转换过程中压缩操作也会导致部分信息丢失从而影响模型推理效果。然而这种以精度换取速度的方案在大模型推理的实际应用中仍有其适用场景应用对精度要求不高如日常对话交互对速度要求更高且能容忍一定精度损失如机器人实时控制、智能驾驶等。由此可见量化技术的核心在于如何平衡**“算得快”与“算得准”**之间的矛盾。0****2量化压缩量化计算的过程主要包含三个环节首先是明确数据形态包括入参与出参其次是确定量化算法即如何将高精度数据压缩为低精度数据最后是实现量化计算算子。2.1 数据形态在推理过程中常用的数据类型包括TF32/FP32、FP16/BF16、FP8/INT8和INT4。一般而言我们习惯将采用FP8/INT8、INT4等低精度数据类型的计算称为量化计算。此外同一种浮点数据类型可能具有不同的数值表示格式例如FP8就包含E5M2和E4M3两种形式[2][3]。在模型计算过程中数据类型可以统一为一种但更常见的是混合使用多种类型。例如logits采用FP32attention_score和router采用FP16线性层运算则使用FP8。这种混合策略正是精度与速度之间权衡取舍的结果。在推理阶段量化计算通常不会应用于所有网络层而是多集中在线性层如Attention中的线性投影QKV project、O project以及MLP层的线性运算up、down、gate等。一种FP8与FP16混合的推理过程更进一步在同一运算中两个输入也可采用不同精度即权重Weight, W和激活值Activation, A的数据类型可以不同。推理时通过组合二者的数据类型可产生多种量化形态例如W8A8权重和激活值均采用FP8类型INT W8A8权重和激活值均采用INT8类型W4A8权重采用INT4激活值采用FP8INT4 W4A16权重采用INT4激活值采用FP16。不同组合对GPU硬件算力潜力的释放程度各异。多数情况下组合的选择会结合工程实践例如以验证数据集的测试结果为判断依据在精度允许的范围内选取速度最快的组合。2.2 精度损失的理解由于模型计算过程采用混合精度策略因此除了计算本身还会涉及量化与反量化过程量化高精度 → 低精度反量化低精度 → 高精度。该过程会引入精度损失且不同数据及不同量化算法所造成的损失程度也有所不同。以下通过一个INT8与FP8的对比示例进行说明代码如下import numpy as np # 定义量化和反量化函数 def quantize_int8(value, scale_factor): INT8量化将浮点数映射到INT8范围-128到127。 quantized_value int(np.round(value / scale_factor)) quantized_value np.clip(quantized_value, -128, 127) # 限制在INT8范围内 return quantized_value def dequantize_int8(quantized_value, scale_factor): INT8反量化将量化后的整数还原为浮点数。 return quantized_value * scale_factor def quantize_fp8_e4m3(value, scale_factor): FP8 (E4M3)量化将浮点数映射到FP8 (E4M3)格式。 # 将值转换为无符号浮点数 unscaled_value value / scale_factor # 模拟FP8 (E4M3)的表示范围 if abs(unscaled_value) 448: return np.sign(unscaled_value) * 448 # 溢出处理 return np.round(unscaled_value) def dequantize_fp8_e4m3(quantized_value, scale_factor): FP8 (E4M3)反量化将量化后的值还原为浮点数。 return quantized_value * scale_factor # 测试数据 values [ 0.001, # 非常接近零的小数 0.123, # 小数 1.234, # 小数 127.9, # 接近 INT8 上限 255.5, # 超出 INT8 范围 -300.0, # 负数且超出 INT8 范围 448.0, # FP8 的最大值 -448.0 # FP8 的最小值 ] # 缩放因子 scale_factor 0.1 # 打印标题 print(原始值\tINT8量化值\tINT8反量化值\tINT8误差) for value in values: # INT8量化与反量化 int8_quantized quantize_int8(value, scale_factor) int8_dequantized dequantize_int8(int8_quantized, scale_factor) int8_error abs(value - int8_dequantized) print(f{value:.5f}\t{int8_quantized}\t{int8_dequantized:.5f}\t{int8_error:.5f}) print(\n原始值\tFP8 (E4M3)量化值\tFP8 (E4M3)反量化值\tFP8 (E4M3)误差) for value in values: # FP8 (E4M3)量化与反量化 fp8_quantized quantize_fp8_e4m3(value, scale_factor) fp8_dequantized dequantize_fp8_e4m3(fp8_quantized, scale_factor) fp8_error abs(value - fp8_dequantized) print(f{value:.5f}\t{fp8_quantized}\t{fp8_dequantized:.5f}\t{fp8_error:.5f})输出结果原始值 INT8量化值 INT8反量化值 INT8误差 0.00100 0 0.00000 0.00100 0.12300 1 0.10000 0.02300 1.23400 12 1.20000 0.03400 127.90000 127 12.70000 115.20000 255.50000 127 12.70000 242.80000 -300.00000 -128 -12.80000 287.20000 448.00000 127 12.70000 435.30000 -448.00000 -128 -12.80000 435.20000 原始值 FP8 (E4M3)量化值 FP8 (E4M3)反量化值 FP8 (E4M3)误差 0.00100 0.0 0.00000 0.00100 0.12300 1.0 0.10000 0.02300 1.23400 12.0 1.20000 0.03400 127.90000 448.0 44.80000 83.10000 255.50000 448.0 44.80000 210.70000 -300.00000 -448.0 -44.80000 255.20000 448.00000 448.0 44.80000 403.20000 -448.00000 -448.0 -44.80000 403.20000可以看到两者在不同数据值下的误差大小存在差异。从数据表达范围来看FP8采用浮点表示具有更宽的动态范围能够同时表示极小值和较大值而INT8是均匀分布的整数无法同时精确表示小数值和大数值因此在小值区域的相对误差更大。2.3 输入与输出精度之间的耦合关系量化计算主要针对矩阵乘法运算。在GPU中若要充分发挥Tensor core的能力必须遵循其硬件设计规则即乘法运算的输入数据类型及输出累加器类型需满足特定GPU的要求。例如FP8乘法输入通常搭配FP16/FP32输出累加器INT8输入则搭配INT32输出累加器。常见的GEMM数据组合这种硬件设计的固定要求并非完全限定输出数据类型而是可以通过增加数据转换环节来适应不同场景。例如在Hopper架构中Tensor Core在执行FP8低精度乘法时内部会采用高精度累加操作每累积一定数量的FP8结果如128个后将其转换为FP32或FP16格式进行存储以避免溢出。得到累加输出后再根据需要转换为目标数据类型。乘法运算后将数据通过FP32/FP16进行累积这意味着若希望INT8计算后直接输出FP32格式的结果通常需要额外增加数据转换步骤。如果直接限定输出类型计算可能会回退至CUDA core中执行从而导致计算效率大幅下降。2.4 典型计算过程在计算算子构建中除了调用性能更快的kernel外还涉及量化与反量化操作。对于量化后的数据每个输入数据均对应一个量化因子用于反量化过程。例如激活值a对应一个scale_a缩放因子。这是一种低精度输入、高精度输出的计算过程。下面采用Triton语言列举一个INT8输入、FP32输出的量化计算示例triton.jit def int8_gemm_tiled_kernel( # 指针 a_ptr, b_ptr, c_ptr, scale_a_ptr, scale_b_ptr, # 每张量缩放因子FP32 M, N, K, stride_am, stride_ak, stride_bk, stride_bn, stride_cm, stride_cn, # 元参数分块大小 BLOCK_M: tl.constexpr, BLOCK_N: tl.constexpr, BLOCK_K: tl.constexpr, ): # 线程块在输出矩阵中的位置 pid_m tl.program_id(0) pid_n tl.program_id(1) # 该块负责的行的范围 offs_m pid_m * BLOCK_M tl.arange(0, BLOCK_M) offs_n pid_n * BLOCK_N tl.arange(0, BLOCK_N) offs_k tl.arange(0, BLOCK_K) # 累加器FP32直接以FP32累加避免后续类型转换开销 acc tl.zeros((BLOCK_M, BLOCK_N), dtypetl.float32) # 遍历 K 维度每次处理 BLOCK_K 个元素 for k in range(0, K, BLOCK_K): # ---- 1. 创建 A 的分块指针 (INT8) ---- a_ptrs a_ptr (offs_m[:, None] * stride_am (k offs_k[None, :]) * stride_ak) # ---- 2. 创建 B 的分块指针 (INT8) ---- b_ptrs b_ptr ((k offs_k[:, None]) * stride_bk offs_n[None, :] * stride_bn) # 加载 INT8 数据自动提升为 INT32 供 tl.dot 使用 a tl.load(a_ptrs, mask(offs_m[:, None] M) ((k offs_k[None, :]) K), other0) b tl.load(b_ptrs, mask((k offs_k[:, None]) K) (offs_n[None, :] N), other0) # ---- 3. 核心矩阵乘INT8 * INT8 - INT32 ---- # tl.dot 要求输入至少是 INT16这里 INT8 会自动扩展输出 INT32 acc tl.dot(a, b).to(tl.float32) # 关键INT32 转 FP32 后累加 # ---- 4. 量化反量化应用缩放因子得到最终 FP32 输出 ---- scale_a tl.load(scale_a_ptr) # per-tensor 激活缩放 scale_b tl.load(scale_b_ptr) # per-tensor 权重缩放 c acc * (scale_a * scale_b) # 公式C_fp32 (A_int8 * B_int8) * (scale_a * scale_b) # ---- 5. 存储 FP32 结果 ---- c_ptrs c_ptr offs_m[:, None] * stride_cm offs_n[None, :] * stride_cn tl.store(c_ptrs, c, mask(offs_m[:, None] M) (offs_n[None, :] N))详细示例参考InfraTech/llm_infer/quantization.ipynb[4]除“低精度输入、高精度输出、低精度运算”的方案外量化计算还存在另一种形式输入与输出均为低精度而中间运算采用高精度。此类量化操作的主要目的在于降低显存占用与数据传输成本而非减少计算量本身。TensorRT中的一种融合算子2.5 量化算法简介在量化计算中数据的量化算法是控制信息损失的关键环节。目前量化算法的种类繁多既有仅针对模型权重的量化方法也有同时对权重和激活值进行量化的方法。常见两类算法PTQPost-Training Quantization后训练量化指模型训练完成后直接通过少量校准数据统计激活分布将权重和/或激活从高精度转换为低比特如INT8、INT4。其核心是“零训练、纯统计”典型算法包括GPTQ二阶补偿、AWQ激活感知缩放、SmoothQuant激活-权重平滑和AutoRound符号梯度舍入优化。PTQ以分钟级成本实现大模型≥10B4-bit近无损压缩广泛应用于vLLM、TensorRT-LLM、llama.cpp等推理引擎。QATQuantization-Aware Training量化感知训练则是在训练或微调过程中在前向传播中插入伪量化节点FakeQuant模拟量化误差并将量化噪声作为正则化项使权重主动适应低比特表示。其核心是“带着约束再训练”典型方法包括LSQ学习步长、PACT参数化裁剪激活等。QAT需要完整训练脚本和GPU天级开销但精度上限最高尤其适合小模型、超低比特2-bit/FP8或安全敏感场景如自动驾驶感知、手机端人脸识别。近年来PTQ与QAT的界限正逐渐模糊——AutoRound等轻量级优化已引入梯度更新舍入方向可视为“极小成本的QAT化PTQ”。常用的量化算法特点AWQ[5]Activation-aware Weight Quantization仅适用于权重量化W4A16不处理激活值。该方法根据激活值的统计分布来决定权重值的缩放强度。SmoothQuant[6]则同时对激活值与权重进行量化其核心思想是将激活的量化难度“迁移”至权重上。两种量化的对比AutoRound[7]是Intel开发的一种仅针对权重的后训练量化post-training quantizationPTQ方法。它利用符号梯度下降联合优化权重的舍入方式与截断范围能够在大多数场景下以极小的精度损失实现精准的低比特量化如INT2–INT8。GPTQ[8]基于近似二阶信息进行一次性量化仅量化权重(W4A16)。核心思想在量化某一列权重某个值后会产生误差立即调整该列剩余未量化权重的值以补偿量化带来的输出误差。0****3框架支持情况对于推理框架而言涉及量化内容的工作主要包括以下几个方面权重的量化处理前向传播过程中的激活值量化低精度算子的调用KV cache的量化。3.1 权重量化根据权重量化时机的不同主要分为两种模式离线量化offline quantization将权重转换为量化权重并存储待推理框架启动时直接加载量化后的权重在线量化online quantization加载未量化的原始权重后先执行量化操作再导入模型进行计算。离线量化是较为常用的方式。目前主流的推理框架如SGLang和vLLM均已较好地适配量化运算下面分别举例说明。vLLM LLM Compressor[9]通过LLM Compressor先离线压缩权重然后用vLLM加载运算。支持的格式Activation Quantization: W8A8 (int8 and fp8)Mixed Precision: W4A16, W8A16, NVFP4 (W4A4 and W4A16 support)2:4 Semi-structured and Unstructured Sparsity支持的算法Simple PTQ、GPTQ、AWQ、SmoothQuant等。LLM CompressorSGLangauto-round[10]# Install pip install auto-round模型量化[11]# for LLM from auto_round import AutoRound model_id meta-llama/Llama-3.2-1B-Instruct quant_path Llama-3.2-1B-Instruct-autoround-4bit # Scheme examples: W2A16, W3A16, W4A16, W8A16, NVFP4, MXFP4 (no real kernels), GGUF:Q4_K_M, etc. scheme W4A16 format auto_round autoround AutoRound(model_id, schemescheme) autoround.quantize_and_save(quant_path, formatformat) # quantize and save压缩库除了上述还有unsloth[12]/GPTQModel[13]/Model-Optimizer[14]等。在框架内部处理中量化计算与普通计算共用同一套上层接口通过参数控制底层逻辑分支涉及权重加载处理与计算算子的选择。逻辑分支3.2 KV cache的量化通过使用低精度数据类型如FP8或FP4替代默认的BF16模型精度可以有效减少KV cache的内存占用。量化KV cache有助于降低GPU显存开销并支持更长的序列长度适用于长序列推理场景。然而这种方式会影响Attention计算精度并且目前并非所有Attention后端都支持量化后的KV cache计算。最后唠两句为什么AI大模型成为越来越多程序员转行就业、升职加薪的首选很简单这些岗位缺人且高薪智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200% 远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。那0基础普通人如何学习大模型 深耕科技一线十二载亲历技术浪潮变迁。我见证那些率先拥抱AI的同行如何建立起效率与薪资的代际优势。如今我将积累的大模型面试真题、独家资料、技术报告与实战路线系统整理分享于此为你扫清学习困惑共赴AI时代新程。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】