TTFT、TPOT、ITL、Goodput… 这些指标到底什么意思今天用一篇文章彻底讲清楚 LLM 推理的性能评估体系。一、为什么指标很重要生产环境的真实场景你部署了一个大模型服务用户反馈“首字响应好慢” → 什么问题“生成过程卡顿” → 怎么量化“并发多了就崩” → 瓶颈在哪没有指标优化就是盲人摸象。指标的两个维度维度关注点核心问题延迟多快响应用户体验吞吐多少并发系统容量二、延迟指标Latency2.1 Time To First TokenTTFT定义从发送请求到生成第一个 token 的时间。用户输入 → [处理中...] → 第一个字出现 ↑ TTFT 测量这段为什么重要用户感知的首响时间聊天场景TTFT 500ms 就感觉慢代码补全TTFT 100ms 就影响流畅度计算公式TTFT t_first_token - t_request_sent优化方向减少 Prefill 阶段计算量Prefix Caching缓存重复前缀模型量化降低计算延迟2.2 End-to-End LatencyE2EL定义从发送请求到收到最后一个 token 的总时间。用户输入 → 第一个字 → ... → 最后一个字 → 完成↑ ↑开始时间 结束时间 E2EL 结束 - 开始为什么重要完整的用户体验周期决定用户等待的总时长计算公式E2EL t_last_token - t_request_sent2.3 Token Generation Time定义生成所有 token 的时间不包括 TTFT。Token Generation Time E2EL - TTFT场景长文本生成时这个阶段占大头优化重点提高生成速度2.4 Time Per Output TokenTPOT定义平均每个输出 token 的生成时间不包括 TTFT。计算公式TPOT (E2EL - TTFT) / (Output Tokens - 1)为什么重要流式场景的核心指标TPOT 50ms/token 感觉流畅TPOT 100ms/token 明显卡顿人类阅读速度参考快速阅读300-400 词/分钟约 5-7 词/秒对应 TPOT150-200ms/token结论TPOT 100ms 就能跑赢人类阅读。2.5 Inter-Token LatencyITL定义两个连续 token 之间的精确间隔。与 TPOT 的区别# 单条请求Average ITL TPOT# 多条请求Average ITL Sum of all ITLs / Total Output Tokens # 加权平均Average TPOT (TPOT_1 TPOT_2 ... TPOT_N) / N # 算术平均什么时候用 ITL关注流式输出的平滑度分析抖动和卡顿2.6 延迟指标对比表指标测量范围适用场景优化目标TTFT请求→首字聊天、实时交互 500msE2EL请求→完成完整体验评估视场景TPOT首字→完成平均流式生成 100msITLtoken→token平滑度分析稳定低抖动三、统计指标Mean、Median、P993.1 Mean平均值计算mean sum(all_latencies) / count特点反映整体趋势容易被极端值拉高/拉低适合监控长期变化3.2 Median中位数计算median sorted(latencies)[count // 2]特点反映典型用户体验不受极端值影响比 Mean 更稳定3.3 P9999分位数定义99% 的请求都比这个值快。计算p99 percentile(sorted(latencies), 99)为什么重要捕捉最坏情况SLA 常用 P99 作为承诺长尾延迟决定口碑3.4 实战案例某服务 100 个请求的 TTFTms[30, 35, 40, 45, 50, 55, 60, 65, 70, 80, # 大部分很快 85, 90, 95, 100, 105, 110, 115, 120, 125, 130, ... 500, 600, 800, 1000, 2000, 5000] # 少数很慢Mean: 150ms 被 5000ms 拉高Median: 95ms 典型体验P99: 5000ms 最坏情况洞察Mean 看起来还行但 P99 暴露严重问题少数用户经历极慢响应需要排查那 1% 的慢请求四、吞吐指标Throughput4.1 Requests Per SecondRPS定义每秒完成的请求数。计算公式RPS Total Completed Requests / Time Window影响因素模型大小和硬件批处理策略缓存命中率请求复杂度局限不区分请求大小“Hi” 和 5000 字文章都算一个请求4.2 Tokens Per SecondTPS定义每秒处理的 token 数。两种形式Input TPSInput TPS Total Input Tokens / Time长文本输入场景关键如文档分析、摘要Output TPSOutput TPS Total Output Tokens / Time长文本生成场景关键如写作助手、代码生成饱和点并发数 ↑ → TPS ↑ → 饱和点 → TPS ↓ ↑ 硬件资源耗尽4.3 吞吐 vs 延迟的关系低并发延迟低吞吐低 ↓增加并发延迟略增吞吐提升 ↓最优并发延迟可接受吞吐最高 ↓过度并发延迟飙升吞吐下降关键洞察吞吐和延迟是权衡关系找到甜点区最重要五、Goodput真正重要的指标5.1 什么是 Goodput定义满足 SLO服务等级目标的请求占比。Goodput (满足 SLO 的请求数) / (总请求数)为什么比 Throughput 更重要场景ThroughputGoodput100 请求/秒全部超时100 RPS0%50 请求/秒全部达标50 RPS100%显然第二个更好。5.2 SLOService Level Objective定义性能目标标准。示例SLO 1: TTFT 200msSLO 2: E2EL 3000msSLO 3: TPOT 50msGoodput 计算def check_slo(request): return ( request.ttft 200 and request.e2el 3000 and request.tpot 50 )good_requests sum(1 for r in requests if check_slo(r))goodput good_requests / len(requests) # 如67%5.3 Goodput 实战6 个请求的测试请求 | TTFT | E2EL | 是否达标-----|------|------|----------R1 | 80ms | 2000ms | ✅R2 | 150ms| 2500ms | ✅R3 | 300ms| 2800ms | ❌ (TTFT 超标)R4 | 100ms| 1500ms | ✅R5 | 180ms| 3200ms | ❌ (E2EL 超标)R6 | 120ms| 1800ms | ✅Goodput 4/6 67%优化方向找出不达标的请求特征针对性优化如 TTFT 高的优化 Prefill六、指标测量工具6.1 通用工具Locust / K6模拟真实用户负载测试并发和稳定性适合端到端压测6.2 LLM 专用工具NVIDIA GenAI-Perf详细的推理级指标与 Triton Inference Server 集成LLMPerfRay 团队开源轻量级易扩展llm-optimizerBentoML 开源系统化测试和优化可视化 Dashboard6.3 框架自带vLLMpython -m vllm.benchmarks.throughput \ --model llama-2-7b \ --input-len 512 \ --output-len 256SGLangpython -m sglang.benchmarks.bench_latency \ --model llama-2-7b七、不同场景的指标侧重7.1 实时聊天关键指标TTFT 500msTPOT 100msP99 延迟稳定次要指标RPS支持多少并发用户7.2 代码补全关键指标TTFT 100ms极快首响TPOT 50ms流畅生成次要指标吞吐量开发者不会同时写很多文件7.3 文档生成关键指标E2EL总时间可接受Output TPS生成速度次要指标TTFT可以容忍稍慢7.4 批量处理关键指标Goodput达标率总吞吐TPS次要指标单请求延迟可以慢但要完成八、指标优化 checklist延迟优化测量 TTFT识别 Prefill 瓶颈启用 Prefix Caching优化 TPOT考虑投机解码监控 P99处理长尾延迟吞吐优化找到并发甜点区启用动态批处理优化 KV Cache 管理考虑模型量化质量保障定义清晰的 SLO测量 Goodput 而非仅 Throughput建立监控告警定期回归测试九、总结指标类型核心指标用途延迟TTFT、TPOT、E2EL用户体验统计Mean、Median、P99全面评估吞吐RPS、TPS系统容量质量Goodput服务等级关键洞察没有单一指标能说明一切根据场景选择关键指标Goodput 比 Throughput 更真实P99 决定用户体验下限学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】