大模型推理的成本和延迟是制约 AI 应用落地的关键因素。一个 70B 参数的模型FP16 推理需要 140GB 显存单次前向传播的计算量巨大。如何在保证效果的前提下提升吞吐、降低延迟是工程团队必须解决的问题。本文系统梳理当前主流的推理优化技术包括量化压缩、推理框架、注意力优化、批处理策略和 KV Cache 管理五个维度并对比各方案的性能表现和适用场景。推理优化技术全景图上图展示了当前大模型推理优化的完整技术栈从模型层的量化压缩到计算层的注意力优化再到调度层的批处理策略和存储层的 KV Cache 管理形成了一套完整的优化体系。一、量化技术用精度换效率的艺术模型量化通过降低权重和激活值的数值精度来减少显存占用和计算量。目前主流方案可分为权重量化和激活量化两大类。1.1 GPTQ后训练量化的标杆GPTQGeneral-purpose Post-Training Quantization基于近似二阶信息逐层量化权重。其核心思想是用 OBSOptimal Brain Surgeon方法的近似版本在量化每一层时补偿误差。技术特点• 支持 INT4/INT3/INT2 权重量化INT4 是生产环境最常用的配置• 量化过程在 GPU 上完成70B 模型量化时间约 4-6 小时• 配合分组量化group size128精度损失可控制在 1% 以内性能表现• 显存占用降低约 75%FP16 → INT4• 推理速度提升 2-3 倍取决于硬件和实现• 困惑度Perplexity损失通常在 0.1-0.5 之间适用场景• 显存受限的消费级 GPU如 RTX 4090 24GB 运行 70B 模型• 对延迟敏感但可接受轻微精度损失的场景• 离线批量推理任务1.2 AWQ激活感知的量化策略AWQActivation-aware Weight Quantization观察到并非所有权重同等重要与激活值幅度较大的权重对模型输出影响更大。AWQ 基于这一观察对重要权重进行保护。技术特点• 无需反向传播量化速度快• 通过逐通道缩放保护重要权重• 支持 INT4/INT8 量化通常 INT4 即可达到接近 FP16 的效果性能表现• 相比 GPTQ在相同比特数下精度更高• INT4 量化下困惑度损失通常小于 0.1• 与 GPTQ 相比生成质量更稳定适用场景• 对生成质量要求较高的场景如代码生成、创意写作• 需要快速部署没有时间进行大量校准的场景1.3 SmoothQuant激活值平滑量化SmoothQuant 解决的是激活值异常值outlier问题。大模型激活值中存在少量极大值导致直接量化效果差。SmoothQuant 通过数学变换将量化难度从激活值迁移到权重。核心公式Y (X · diag(s)^(-1)) · (diag(s) · W)其中 s 是逐通道的缩放因子通过离线校准确定。技术特点• 实现真正的 INT8 权重激活量化W8A8• 可无缝集成到 TensorRT-LLM、vLLM 等框架• 支持动态 batch 和变长序列性能表现• 相比 FP16推理速度提升 1.5-2 倍• 显存占用降低约 50%• 精度损失极小0.5%很多场景下几乎无损适用场景• 需要极致性能的生产环境• 云服务商的大规模推理服务• 对延迟和成本都敏感的场景1.4 量化方案对比量化技术性能对比上图展示了三种主流量化方案在精度-效率权衡曲线上的位置。AWQ 在精度上略有优势SmoothQuant 在吞吐上表现更好GPTQ 则是生态最成熟的方案。选型建议• 追求极致精度 → AWQ INT4• 追求极致吞吐 → SmoothQuant W8A8• 追求生态兼容 → GPTQAutoGPTQ• 生产环境部署 → SmoothQuant 或 AWQ二、推理框架基础设施的选型推理框架决定了模型如何被加载、调度和执行。不同框架在性能、易用性、生态支持上各有侧重。2.1 vLLM开源社区的首选vLLM 由伯克利大学开发核心创新是 PagedAttention后文详述和连续的 batch 调度策略。核心优势•高吞吐PagedAttention 显著降低 KV Cache 显存浪费支持更大 batch size•低延迟连续批处理减少请求等待时间•生态丰富支持 HuggingFace 模型、LoRA 适配器、 speculative decoding•易用性与 OpenAI API 兼容的 serving 接口性能数据Llama-2-70B on A100-80GB• 相比 HuggingFace TGI吞吐提升 8-15 倍• 延迟TTFT降低 3-5 倍• 支持 2-4 倍的并发请求数适用场景• 开源模型的快速部署• 需要高吞吐的在线服务• 多租户、多模型共享 GPU 资源的场景2.2 TensorRT-LLMNVIDIA 生态的利器TensorRT-LLM 是 NVIDIA 推出的专用推理引擎基于 TensorRT 构建针对自家 GPU 深度优化。核心优势•极致性能针对 NVIDIA GPU 的 kernel 级优化FP8/INT8 推理性能领先•功能全面支持多 GPU 并行TP/PP、in-flight batching、KV Cache 管理•量化支持原生支持 SmoothQuant、AWQ、GPTQ 等多种量化方案•企业级特性支持多 LoRA 动态切换、前缀缓存、投机采样性能数据Llama-2-70B on H100• FP8 推理相比 FP16吞吐提升 2-3 倍• 相比 vLLM在相同配置下通常有 10-30% 的性能优势• 多 GPU 扩展效率 90%适用场景• NVIDIA GPU 独占的生产环境• 追求极致性能的场景• 需要企业级特性如多 LoRA的场景2.3 LMDeploy国产框架的崛起LMDeploy 由上海人工智能实验室开发是国产推理框架的代表在部分场景下性能表现优异。核心优势•高性能自研的推理引擎 Turbomind在部分模型上性能超过 vLLM•多后端支持支持 PyTorch、TurboMind 两种后端•长文本优化针对长上下文场景有专门优化•量化支持支持 AWQ、GPTQ、KV Cache 量化性能数据• 在 Llama 系列模型上TurboMind 后端相比 vLLM 有 10-20% 的性能提升• 长文本8K场景下优势更明显适用场景• 需要国产自主可控方案的场景• 长文本推理需求• 对特定模型如 InternLM有优化需求2.4 框架选型对比推理框架性能对比上图从性能、易用性、生态、硬件依赖四个维度对比了三个主流框架。选型建议• 快速验证/开源优先 → vLLM• NVIDIA 独占/极致性能 → TensorRT-LLM• 国产环境/长文本 → LMDeploy三、注意力机制优化突破显存瓶颈注意力计算是 Transformer 的显存和计算瓶颈尤其是长序列场景。FlashAttention 和 PagedAttention 是两项关键优化。3.1 FlashAttentionIO 感知的精确注意力标准注意力实现需要多次读写 HBM高带宽显存IO 开销远大于计算开销。FlashAttention 通过分块计算tiling和重计算recomputation将注意力计算融合为单个 CUDA kernel减少 HBM 访问。技术原理将 Q、K、V 分块加载到 SRAM共享内存在 SRAM 内完成 softmax 和注意力计算只将最终结果写回 HBM性能表现• 显存占用从 O(N²) 降低到 O(N)支持更长序列• 速度提升2-4 倍取决于序列长度和硬件• 精度与标准注意力完全等价无精度损失演进版本• FlashAttention-22023进一步优化 warps 调度提升 1.5-2 倍• FlashAttention-32024支持 FP8、异步计算Hopper 架构上提升 1.5 倍• FlashMLADeepSeek 2025针对 MLAMulti-Head Latent Attention优化3.2 PagedAttention虚拟内存思想的引入vLLM 提出的 PagedAttention 将操作系统虚拟内存的思想引入 KV Cache 管理。传统实现为每个请求预分配连续显存导致严重浪费。PagedAttention 将 KV Cache 分页管理支持非连续存储和动态分配。技术原理• 将 KV Cache 划分为固定大小的 block如 16 tokens• 通过 block table 映射逻辑位置到物理位置• 支持 copy-on-write 共享如 beam search性能表现• 显存利用率从 20-40% 提升到 60-80%• 支持的 batch size提升 2-4 倍• 吞吐提升整体提升 8-15 倍3.3 注意力优化对比注意力机制优化原理上图对比了标准注意力、FlashAttention 和 PagedAttention 的显存访问模式。选型建议• 所有生产环境都应启用 FlashAttention或 FlashAttention-2/3• 在线服务场景应使用支持 PagedAttention 的框架vLLM/TensorRT-LLM• 长序列32K场景建议使用 FlashAttention-3 或 FlashMLA四、批处理策略提升吞吐的关键批处理策略决定了请求如何被组织和调度直接影响 GPU 利用率和用户体验。4.1 静态批处理Static Batching最简单的批处理策略等待 batch 填满或超时后统一处理。所有请求一起开始、一起结束。缺点• 短请求需要等待长请求完成尾延迟问题• 输出长度差异大时GPU 利用率低• 不适合在线服务4.2 动态批处理Dynamic Batching在静态批处理基础上允许新请求在 batch 处理过程中加入。但仍需等待当前 batch 全部完成才能开始下一轮。改进点• 减少请求等待时间• 提高 batch 利用率局限• 仍存在尾延迟问题• 实现复杂度增加4.3 连续批处理Continuous Batching / In-flight BatchingvLLM 和 TensorRT-LLM 采用的策略。当一个请求完成生成后立即从 batch 中移除并加入新请求无需等待其他请求完成。核心机制• 迭代级调度每个解码迭代后重新调度• 请求生命周期管理新请求随时加入完成请求立即退出• 与 PagedAttention 配合实现显存动态管理性能表现• GPU 利用率从 30-50% 提升到 70-90%• 吞吐提升2-4 倍• 尾延迟显著降低4.4 批处理策略对比批处理策略对比上图展示了三种批处理策略在处理不同长度请求时的 GPU 利用率差异。选型建议• 离线批量任务 → 静态批处理简单• 低延迟要求的在线服务 → 连续批处理• 所有生产环境都应优先考虑支持连续批处理的框架五、KV Cache 优化显存管理的艺术KV Cache 是大模型推理的主要显存开销优化其管理是提升吞吐的核心。5.1 KV Cache 量化将 KV Cache 从 FP16 量化到 INT8 或 FP8降低显存占用。方案对比•KV Cache INT8显存减半精度损失小1%•KV Cache FP8Hopper/Blackwell 架构原生支持速度更快•分层量化对早期层用 FP16后期层用 INT8平衡精度和效率5.2 前缀缓存Prefix Caching多轮对话或 RAG 场景中系统 prompt 和文档内容重复出现。前缀缓存将这些公共前缀的 KV Cache 保存复用。实现方式• RadixAttentionvLLM基于 Radix Tree 的缓存管理• Prompt CacheTensorRT-LLM支持多租户前缀共享性能提升• 首 token 延迟降低 50-90%命中缓存时• 整体吞吐提升 20-50%5.3 KV Cache 驱逐策略当显存不足时需要驱逐部分 KV Cache。常见策略包括•LRU最近最少使用简单有效适合均匀分布•滑动窗口只保留最近的 N 个 token适合长文档•分层驱逐优先驱逐早期层的 KV Cache5.4 多轮对话优化多轮对话中历史对话内容不断增长KV Cache 膨胀。优化方案•摘要压缩定期将历史对话压缩为摘要重置 KV Cache•滑动窗口只保留最近 K 轮对话•选择性缓存只缓存用户问题和关键系统回复六、全链路优化实践6.1 典型部署配置配置一消费级 GPURTX 4090 24GB• 模型Llama-3-8B AWQ INT4• 框架vLLM• 优化FlashAttention-2 PagedAttention• 吞吐约 1000 tokens/s配置二数据中心 GPUA100 80GB• 模型Llama-3-70B SmoothQuant W8A8• 框架TensorRT-LLM• 优化TP4 FP8 In-flight Batching• 吞吐约 3000 tokens/s配置三多卡集群H100 x8• 模型Mixtral 8x22B FP8• 框架TensorRT-LLM• 优化TP8 PP2 FP8• 吞吐约 8000 tokens/s6.2 性能调优 checklist• 启用 FlashAttention检查版本是否支持 FA2/FA3• 使用 PagedAttention 或等效显存管理方案• 根据显存选择量化方案INT4/INT8/FP8• 启用连续批处理continuous batching• 配置前缀缓存prefix caching• 调整 batch size 和 max_tokens 参数• 监控 GPU 利用率、显存占用、KV Cache 命中率6.3 常见误区盲目追求低比特量化INT4 不一定比 INT8 快取决于硬件支持和 kernel 优化忽视内存带宽瓶颈小 batch 时推理速度往往受限于内存带宽而非算力过度优化首 token 延迟TTFT 和 TPOT 需要权衡不能同时优化到极限忽略网络开销多卡推理时通信开销可能成为瓶颈七、总结与展望大模型推理优化是一个系统工程涉及算法、系统和硬件多个层面。当前的主流实践是•量化SmoothQuant W8A8 或 AWQ INT4 是生产环境的主流选择•框架vLLM 适合快速部署TensorRT-LLM 适合极致性能•注意力FlashAttention-2/3 已成为标配PagedAttention 是在线服务的关键•批处理连续批处理continuous batching是在线服务的标准配置•KV Cache前缀缓存和 KV Cache 量化是提升吞吐的有效手段未来值得关注的技术方向•投机解码Speculative Decoding用小模型草稿大模型验证加速 1.5-2 倍•专家混合MoE推理优化稀疏激活的高效实现•长上下文优化100K 序列的高效注意力计算•端侧推理手机、PC 上的高效推理方案推理优化的目标是在成本、延迟、质量之间找到最佳平衡点。没有银弹只有根据具体场景选择合适的技术组合。假如你从2026年开始学大模型按这个步骤走准能稳步进阶。接下来告诉你一条最快的邪修路线3个月即可成为模型大师薪资直接起飞。阶段1:大模型基础阶段2:RAG应用开发工程阶段3:大模型Agent应用架构阶段4:大模型微调与私有化部署配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】配套文档资源全套AI 大模型 学习资料朋友们如果需要可以微信扫描下方二维码免费领取【保证100%免费】