核心论点LLM 推理成本的急剧下降不是某一项技术的功劳而是从芯片架构到上层工程的六个独立层次同时发力、乘法叠加的结果。理解这六层的各自机理、当前状态和剩余空间是判断降本趋势能否持续的唯一可靠方式。一、推理的两个阶段理解一切优化的前提在深入六层降本技术栈之前必须先理解 LLM 推理的两个本质不同的阶段——所有优化都是在这两个阶段上做文章。1.1 Prefill预填充计算密集型用户发送的完整 prompt系统提示 历史对话 新消息被一次性喂入模型。模型并行计算所有 token 的注意力为每一层layer生成 Key 和 Value 矩阵。瓶颈纯算力FLOPS特征GPU 算力跑满batch 越大效率越高成本公式Prefill 计算量 ∝ 层数 × 序列长度² × 隐藏维度1.2 Decode逐 token 生成内存带宽密集型一个 token 一个 token 地往外吐。每生成一个新 token它需要拿这个 token 的 Query 去和之前所有token 的 Key 做注意力计算然后加权 Value 得到输出。瓶颈内存带宽从 HBM 读取 KV Cache 的速度特征GPU 算力大量空闲卡在等数据从显存搬过来成本公式Decode 带宽需求 ∝ 层数 × 已生成序列长度 × KV 头数 × 头维度 × 精度字节数这两个阶段的瓶颈完全不同一个卡算力、一个卡带宽所以优化手段也完全不同——这是理解整个六层技术栈的钥匙。二、层到底是什么稠密 vs MoE 的架构差异上文反复提到每一层生成 KV——这个层就是 Transformer 的decoder layer即自注意力 前馈网络的重复堆叠单元。层数直接决定了 KV Cache 的大小因此是理解长上下文成本的关键参数。2.1 稠密模型Dense所有参数每次全部激活以 Qwen3 稠密系列为例模型总参数层数Q 头数KV 头数 (GQA)隐藏维度上下文Qwen3-0.6B0.6B281681,02432KQwen3-4B4B363282,56032KQwen3-8B8B363284,096128KQwen3-14B14B404085,120128KQwen3-32B32.8B646485,120128KLlama 3.1 405B405B126128816,384128K稠密模型的特征推理时所有参数都参与计算无论输入多简单每一层都有独立的 K/V 缓存——层数越多KV Cache 越大使用GQAGrouped-Query Attention减少 KV 头数如 Qwen3 全系列统一 8 个 KV 头降低缓存体积模型越大 → 层越深 → 表达能力越强 → 但 KV Cache 线性增长2.2 MoE 模型Mixture of Experts每次只激活一小部分参数模型总参数激活参数层数专家总数激活专家数KV 头数上下文Qwen3-30B-A3B30B3B4812888128KQwen3-235B-A22B235B22B9412888128K→256KQwen3.5-397B-A17B397B17B605121012262K→1MDeepSeek-V3671B37B6125681— (MLA)128KMoE 模型的特征总参数巨大但每个 token 只激活少数专家 →Decode 阶段的计算量远小于同规模稠密模型但 KV Cache 大小与 MoE 无关——KV Cache 是注意力层产物而 MoE 替换的是前馈网络FFN因此MoE 省的是计算不省缓存KV Cache 的大小仍然由层数 × KV 头数 × 头维度决定2.3 关键区别谁省了什么Prefill 计算量 Decode 计算量 KV Cache 大小 稠密 (Dense) 全参数参与大 全参数参与大 层数 × KV头 × 维度 MoE 仅激活专家小 仅激活专家小 层数 × KV头 × 维度不变 MoE MLA (DeepSeek) 仅激活专家小 仅激活专家小 层数 × 潜在维度极小这就是 DeepSeek-V3 的独特之处它同时用了 MoE省计算和 MLA省缓存双管齐下。而 Qwen3 系列虽然也用了 MoE但注意力层仍然是标准 GQAKV Cache 没有被压缩到 DeepSeek 的程度。最新的Qwen3.5-397B-A17B引入了一个新变量混合注意力架构Gated DeltaNet Gated Attention。其中 Gated DeltaNet 是线性注意力的一种只有四分之一的层使用完整的 Gated Attention2 个 KV 头其余用线性注意力——这大幅减少了需要缓存的层数本质上是另一条压缩 KV Cache 的路径。三、KV Cache 的数学为什么层数决定了长上下文的经济性3.1 KV Cache 显存公式KV Cache (bytes) 层数 × 序列长度 × KV头数 × 头维度 × 2(K和V) × 精度字节数3.2 实际计算对比以FP162 字节/参数精度1M token 上下文为例模型层数KV 头头维度1M token KV CacheQwen3-8B (Dense)3681289.4 GBQwen3-32B (Dense)64812816.8 GBQwen3-235B-A22B (MoE)94812824.6 GBLlama 3.1 70B (Dense)80812820.9 GBLlama 3.1 405B (Dense)126812833.0 GBDeepSeek-V3 (MoEMLA)61—kv_lora512~1.5 GB★★ DeepSeek-V3 的 MLA 将每 token 的 KV 缓存从多头完整向量压缩到一个 512 维的潜在向量KV Cache 减少了93%。关键洞察对于使用标准 GQA 的模型Qwen3、Llama 31M token 的 KV Cache 在 10-33 GB 之间——单卡80GB HBM放得下但会占据大量显存空间挤压 batch size对于使用 MLA 的 DeepSeek-V3同样场景仅需 ~1.5 GB——这就是为什么 DeepSeek 能以极低成本提供长上下文推理MoE 不省 KV Cache——Qwen3-235B 的 94 层反而让 KV Cache 比 Qwen3-32B 的 64 层更大四、推理降本的六层技术栈第 1 层硅片级 — GPU 芯片架构代际升级作用对象Prefill 和 Decode 的底层物理算力这是最底层的物理层每一代 GPU 通过更先进的制程、更高的晶体管密度、更大的 HBM 带宽来降低每次浮点运算的能耗和成本。代际制程HBM推理精度单卡推理算力相对 HopperHopper H100 (2023)4nm80GB HBM3FP8基线1×Blackwell B200 (2025)4nm192GB HBM3eFP4~3×3×Rubin (2026 H2)3nm288GB HBM4NVFP4~15×15×2026 年 3 月 17 日 GTC 发布的 Vera Rubin 平台核心数字单块 Rubin GPU336 亿晶体管、288GB HBM4 显存、50 PFLOPS FP4 推理算力Blackwell 的 5 倍NVL72 机架72 Rubin GPU 36 Vera CPU3.6 EFLOPS 推理算力、20.7 TB HBM4 总显存、260 TB/s NVLink 6 带宽整体效果相比 Blackwell推理吞吐量每瓦提升 10 倍每 token 成本降至十分之一注意限定条件10 倍数字是在 MoE 模型Kimi-K2-Thinking、32K 输入/8K 输出的特定场景下测得。稠密模型短上下文推理不会接近这个倍数。未来路线图Rubin Ultra2027576 GPU 配置NVL576Feynman2028新 GPU 新 LPU Rosa CPU Kyber 铜光互联第 2 层计算级 — 注意力机制的算法优化作用对象Prefill 阶段的计算效率标准 Transformer 注意力的计算复杂度是 O(N²)——1M token 意味着 10¹² 级别的浮点运算。但真正的瓶颈不在计算量本身而在 GPU 内部的数据搬运。FlashAttention 的核心机制GPU 有两级存储SRAM片上高速缓存~20MB极快和 HBM高带宽显存80-288GB相对慢。标准注意力会把 N×N 的中间矩阵写到 HBM 再读回来——这个来回搬运是真正的瓶颈。FlashAttention 通过tiling分块 online softmax在线归一化把 Q、K、V 切成小块每次只在 SRAM 里处理一小块就地算完 softmax 和加权求和永远不把完整的 N×N 矩阵写到 HBM数学结果完全一样exact attention但 HBM 读写次数大幅减少。版本核心改进效果FlashAttention v1 (2022)IO-aware tiling2-4× 速度5-10× 内存节省FlashAttention v2 (2023)更好的并行化和工作分配比 v1 再快 2×FlashAttention v3 (2025)异步执行 FP8 低精度利用 Hopper 硬件特性当前状态FlashAttention 已是所有主流推理引擎的标配vLLM、TensorRT-LLM、SGLang 均内置。边际改进空间在收窄。第 3 层内存级 — KV Cache 的存储压缩作用对象Decode 阶段的显存占用这一层有三条独立的子路径各自解决不同粒度的问题3a. 架构级注意力变体方案原理KV Cache 压缩率代表模型MHA标准多头注意力每个头独立存 K/V1× (基线)原始 TransformerMQA多查询注意力所有 Q 头共享 1 组 K/V头数÷1PaLMGQA分组查询注意力多个 Q 头共享 1 组 K/V头数÷组数Llama 3、Qwen3MLA多头潜在注意力低秩投影到潜在空间~93%DeepSeek-V2/V3混合注意力部分层用线性注意力按比例减少Qwen3.5 (DeltaNet)MLA 的核心思想不再存储完整的高维 K/V 向量而是用低秩投影将其压缩到一个极小的潜在表示latent representation。需要计算注意力时再从潜在向量解压回完整 K/V。关键公式标准 GQA KV Cache per token per layer KV_heads × head_dim × 2 × bytes 例8 × 128 × 2 × 2 4,096 bytes MLA KV Cache per token per layer kv_lora_rank × 2 × bytes 例512 × 2 × 2 2,048 bytes但只需一组不按头数乘 实际比 GQA 小约 10-15 倍3b. 后训练量化方法精度压缩率质量损失FP16 (基线)16-bit1×0INT88-bit2×极小INT4 (KIVI)4-bit4×小INT22-bit8×可接受MHA2MLA (微调转换)低秩~12×LongBench 降 1%3c. Token 驱逐 / 稀疏注意力不是所有历史 token 都同等重要。通过识别并丢弃对未来生成贡献可忽略的 token动态缩减有效序列长度。方法包括 SnapKV基于注意力分数的 Prefill 阶段压缩、StreamingLLM保留起始 最近窗口、Expected Attention预估未来注意力分布等。第 4 层分布级 — 跨 GPU 的序列与推理并行作用对象单卡放不下的超长上下文 / Prefill-Decode 的不同硬件需求4a. Ring Attention序列并行将长序列切成 N 段分给 N 块 GPUK/V 在 GPU 之间环形传递。单块 80GB H100 在序列长度约 1K token 时就已饱和注意力 activation 的 O(N²) 增长Ring Attention 通过增加 GPU 数量线性扩展最大上下文窗口。代价GPU 间通信开销约 58% 的吞吐量下降但可通过流水线化pipelining部分抵消。4b. 分离式推理Disaggregated InferencePrefill 是算力密集型Decode 是带宽密集型——它们对硬件的需求截然不同。分离式推理把这两个阶段拆到不同的芯片上执行GTC 2026 的关键架构创新NVIDIA 首次在硬件层面实体化了分离式推理——Rubin GPU处理 Prefill高算力吞吐Groq 3 LPU处理 Decode低延迟逐 token 生成Groq 3 LPU 的核心优势是128GB 片上 SRAM——Decode 阶段的瓶颈是从 HBM 读 KV Cache而 LPU 把 SRAM 直接铺在芯片上大幅减少对外部显存的依赖。NVIDIA 声称 Groq 3 LPX 机架的推理吞吐量每兆瓦可达 Blackwell 的 35 倍。4c. NVL144 CPX专为百万 token 上下文NVL144 CPX 在单机架内提供 8 EFLOPS AI 算力和 100TB 快速内存专门用于百万 token 上下文的大规模推理——这是 1M token 不加价背后的硬件基础设施。第 5 层复用级 — Prompt CachingKV 状态复用作用对象Prefill 阶段的冗余计算当多个请求共享相同的 prompt 前缀系统提示、长文档、代码库时不重复做 Prefill 计算直接复用缓存在 GPU HBM 中的 KV 张量。被缓存的具体数据embedding 乘以权重矩阵W K W_KWK​和W V W_VWV​的结果——即 K 和 V 矩阵本身。这些中间结果按 block 为单位保存在 GPU HBM 中。定价与效果Anthropic Claude操作价格倍率 (vs 基础输入)延迟影响Cache Write首次计算1.25×正常Cache Read命中复用0.1×降低 85%Cache Miss未命中1×正常实际节省计算假设 500K token 代码库用户连续 5 次提问——无缓存5 × 500K 250 万 token 完整 Prefill有缓存500K 写入 4 × 500K 读取0.1× 等效 70 万 token综合节省 ~72% 计算量工程约束前缀严格匹配哈希校验最小缓存单元 1,024 tokens默认 TTL 5 分钟每次命中刷新可选 1 小时写入 2× 费率处理顺序Tools → System Prompt → Messages稳定内容放前面缓存绑定在特定 GPU 节点非全局共享GTC 2026 的配套升级BlueField-4 STX 存储加速器在部分 KV Cache 场景下可将推理吞吐提升 5 倍——这意味着 KV Cache 的存储和检索本身也在被专用硬件加速。第 6 层工程级 — 调度、路由与上下文工程作用对象系统整体利用率Continuous Batching不等一个 batch 全部完成新请求随时插入空位投机解码Speculative Decoding用小模型快速草拟多个 token大模型并行验证请求路由简单问题发给小模型/缓存层复杂问题发给大模型动态上下文管理不把 1M token 全量喂给模型而是 agent 按需检索grep、glob、文件折叠多 token 预测MTP单次前向传播生成多个 tokenQwen3.5、DeepSeek-V3 均支持GTC 2026 新发布Dynamo 1.0——NVIDIA 定义为首个面向 AI 工厂推理的分布式开源操作系统负责智能调度、请求路由、资源分配。五、六层叠加的乘法效应5.1 各层降本倍率保守估计层次优化类型单层降本倍率成熟度第 1 层 硅片级Blackwell → Rubin5-10×量产中第 2 层 计算级FlashAttention v32-4×已是标配第 3 层 内存级GQA INT4 量化4-8×成熟第 3 层 内存级 (进阶)MLA / 混合注意力10-15×扩散中第 4 层 分布级分离式推理 (Groq LPU)3-5×刚量产第 5 层 复用级Prompt Caching5-10×成熟第 6 层 工程级调度/路由/MTP2-3×持续迭代5.2 层间关系乘法而非加法这六层作用于推理流水线的不同环节因此叠加效果是乘法理论综合降本 硅片 × 计算 × 内存 × 分布 × 复用 × 工程 5× × 3× × 8× × 4× × 8× × 2× 7,680×当然实际场景中不可能每一层都命中最大倍率。但即使每层只取保守下限保守综合降本 3× × 2× × 4× × 2× × 3× × 1.5× 216×这就是为什么 Epoch AI 观测到的 LLM 推理价格下降速度在某些基准测试上达到了每年 900 倍——多层同时收割的乘法效应。5.3 过去两年的成本悬崖来源2023 → 2024: FlashAttention 从无到有(2×) GQA 普及(4×) 首代缓存(3×) ≈ 24× 2024 → 2025: Blackwell(3×) MoE 普及(2×) 量化成熟(2×) 缓存优化(2×) ≈ 24× 2025 → 2026: Rubin(5-10×) MLA/混合注意力(3×) 分离式推理(3×) ≈ 45-90×六、趋势预测还能几个月加一个零吗6.1 “密度增长定律”Densing LawNature Machine Intelligence2025 年 11 月发表的研究提出模型的能力密度capability per parameter大约每 3.5 个月翻一倍。这意味着等效性能所需的参数量因而推理成本每 3.5 个月减半。6.2 各层的剩余空间评估层次已收割的果实剩余空间下一个跃迁点第 1 层 硅片Hopper → Blackwell (3×)大— Rubin (5-10×), Feynman (2028)每 2 年一代每代 3-10×第 2 层 计算FA v1→v3 (4-6×)小— 边际递减线性注意力替代第 3 层 内存GQA (4×), INT4 (4×)中— MLA 推广, INT2MLA 进入更多架构第 4 层 分布Ring Attention大— Groq LPU 刚量产2026-2027 大规模部署第 5 层 复用Prompt Cache 成熟小— 命中率优化语义缓存模糊匹配第 6 层 工程Continuous Batching中— MTP, 投机解码Dynamo 1.0 生态成熟6.3 核心判断2026 年内未来 9 个月Rubin 量产H2 2026将带来单代5-10× 的硬件层跃迁。叠加 MLA 向更多模型架构扩散MHA2MLA 已证明可用不到 1% 数据完成微调迁移、Groq LPU 的分离式推理部署、以及 Qwen3.5 式混合注意力的推广——综合推理成本再降一个数量级10×是大概率事件。但这需要以下条件同时满足HBM4 供应链SK Hynix、Samsung不出现严重瓶颈Rubin 量产交付按计划在 H2 2026 达到规模MLA/混合注意力架构被 Anthropic、Meta 等更多头部厂商采用2027 年Rubin UltraNVL576 Feynman 的 teasing MLA 全面普及 线性注意力混合架构成熟 →有可能再降 5-10×。2028 年及以后Feynman 架构 可能的根本性注意力替代线性注意力、SSM 混合→ 仍有降本空间但速率将放缓。原因硬件层制程进步放缓3nm → 2nm 的每代提升不如 7nm → 4nm 大算法层FlashAttention 已接近 IO 理论最优KV 量化接近信息论极限INT2缓存层Prompt Caching 命中率受应用模式限制不可能人人 100% 命中6.4 预测曲线时间轴 累积降本相对 2024 初 能否每几个月加一个零 2024 Q1 1× (基线) — 2024 Q4 ~20-30× ✅ 是的多层首次收割 2025 Q4 ~100-300× ✅ 基本是Blackwell MoE 量化 2026 Q4 ~1,000-3,000× ✅ 大概率Rubin MLA 分离式推理 2027 Q4 ~5,000-10,000× ⚠️ 有可能但增速放缓 2028 Q4 ~10,000-30,000× ❌ 不再是加零而是倍数增长结论从 2024 初到 2026 末推理成本下降约三个数量级1000×——平均每 8-10 个月确实在加一个零。但这是六层技术栈同时从零到一的一次性红利。2027 年之后低垂果实基本摘完FlashAttention 已是标配、GQA 已普及、缓存已成熟增量将主要来自硬件代际和新架构扩散——每 12-18 个月降 3-5× 的节奏而非几个月加一个零。用扩散模型的类比来说我们正处于从噪声到清晰图像的快速去噪阶段——前几步的变化最大后几步趋于收敛。但图像的最终精度仍在持续提升。七、对开发者的实操启示7.1 当前最优选择矩阵场景推荐架构推荐优化层长文档多轮对话MoE MLA (DeepSeek) 或 混合注意力 (Qwen3.5)第 5 层Prompt Caching 最大化代码库全量分析1M 上下文旗舰模型第 5 层 第 6 层缓存 动态检索混合高吞吐批处理小模型 INT4 量化第 3 层量化 第 6 层Continuous Batching超低延迟实时分离式推理 (Groq LPU)第 4 层预算有限的本地部署Qwen3-8B / 14B Dense第 3 层GGUF INT4/INT2 第 2 层FA7.2 本地部署Ollama的 KV Cache 规划对于本地 Ollama 部署如 qwen3:14bKV Cache 是显存规划的关键变量模型权重 (INT4)~8 GB KV Cache (40K 上下文, FP16)40 × 40,000 × 8 × 128 × 2 × 2 ÷ 1024³ ≈ 0.6 GB 总计~8.6 GB → 可在 12GB 显卡上运行但如果推到 128K 上下文KV Cache (128K, FP16)40 × 128,000 × 8 × 128 × 2 × 2 ÷ 1024³ ≈ 2.0 GB 总计~10 GB → 12GB 显卡紧张24GB 显卡舒适7.3 等还是不等 Rubin有活干别等。当前 Blackwell (B200) Prompt Caching GQA/MLA 已经够用。设计好架构让未来迁移平滑在规划基础设施Rubin NVL72 首批交付预计 2026 年 8 月云实例大规模可用要到 2026 年末或 2027 年初。现在用 H200/B200 过渡保持架构的硬件无关性关注 MLA 的扩散如果你的场景是长上下文优先选择已采用 MLA 或混合注意力的模型DeepSeek-V3、Qwen3.5它们在当前硬件上就能比 GQA 模型省 10× 以上的 KV Cache参考来源Anthropic,Prompt Caching Documentation, 2025Tri Dao et al.,FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness, NeurIPS 2022Tri Dao,FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision, 2025DeepSeek-AI,DeepSeek-V2/V3 Technical Report, 2024-2025Qwen Team,Qwen3 Technical Report, arXiv:2505.09388, May 2025Qwen Team,Qwen3.5-397B-A17B Model Card, February 2026Tao Ji et al.,MHA2MLA: Enabling DeepSeek’s Multi-Head Latent Attention in Any Transformer-based LLMs, ACL 2025Hao Liu et al.,Ring Attention with Blockwise Transformers for Near-Infinite Context, 2023NVIDIA,Vera Rubin Platform Press Release, GTC 2026, March 16, 2026NVIDIA,Groq 3 LPX and Dynamo 1.0 Announcements, GTC 2026Epoch AI,LLM Inference Prices Have Fallen Rapidly but Unequally Across Tasks, March 2025Xiao et al.,Densing Law of LLMs, Nature Machine Intelligence, November 2025本文基于截至 2026 年 3 月 17 日的公开信息撰写。推理成本数据和硬件规格以各厂商官方发布为准。