训练完成的大模型需要经过全面评估才能验证其能力之后还需经过压缩和优化才能部署到生产环境。本章将介绍常用的评估基准、模型压缩技术以及主流的部署框架。1 评估基准 (Evaluation Benchmarks)在大模型时代“跑分”Benchmarking是衡量模型能力的唯一标尺。就像汽车有百公里加速和油耗测试一样大模型也需要在标准化的考卷上答题才能客观比较谁更聪明。┌─────────────────────────────────────────────────────────────────┐ │ 大模型能力评估全景图 (The Evaluation Map) │ ├─────────────────────────────────────────────────────────────────┤ │ │ │ 自然语言理解 (NLU) 生成与创作 (Generation) │ │ ┌───────────────┐ ┌───────────────┐ │ │ │ GLUE │ │ HELM │ │ │ │ (基础理解) │ │ (综合场景) │ │ │ └───────┬───────┘ └───────┬───────┘ │ │ │ │ │ │ 推理与知识 (Reasoning) 代码与数学 (Code Math) │ │ ┌───────────────┐ ┌───────────────┐ │ │ │ SuperGLUE │ │ HumanEval │ │ │ │ MMLU │ │ GSM8K │ │ │ └───────┬───────┘ └───────┬───────┘ │ │ │ │ │ │ ▼ ▼ │ │ ┌─────────────────────────────────────────────────────────┐ │ │ │ 最终排名 (Leaderboard) │ │ │ │ (Hugging Face Open LLM Leaderboard / LMSys Chatbot) │ │ │ └─────────────────────────────────────────────────────────┘ │ │ │ └─────────────────────────────────────────────────────────────────┘1.1 GLUE (General Language Understanding Evaluation)核心概念NLP 界的“高考”。由纽约大学等机构发布包含 9 项任务主要考察模型对单句和句子对关系的理解能力。它是大模型出现之前BERT 等编码器模型的主战场。GLUE 任务架构┌─────────────────────────────────────────────────────────────────┐ │ GLUE 基准任务结构分解 │ ├─────────────────────────────────────────────────────────────────┤ │ │ │ 输入层自然语言文本 │ │ │ │ │ ├── [单句任务] (Single Sentence) │ │ │ ├── 句子 A ➡️ [模型] ➡️ 标签 (0/1) │ │ │ │ (例这句话语法通顺吗) │ │ │ └── 任务CoLA, SST-2 │ │ │ │ │ └── [句子对任务] (Sentence Pair) │ │ ├── 句子 A 句子 B ➡️ [模型] ➡️ 标签/分数 │ │ │ (例A 蕴含 B 吗A 和 B 意思一样吗) │ │ └── 任务MNLI, QQP, QNLI, RTE, MRPC, STS-B, WNLI │ │ │ │ 输出层9 个独立分数 ➡️ 取平均值 (Average Score) │ │ │ └─────────────────────────────────────────────────────────────────┘实战例子GLUE 任务详解为了让你更直观地理解我们挑选几个代表性任务进行“题目 vs 模型回答”的模拟任务类型任务名称具体任务描述输入示例 (Input)正确答案 (Label)评估指标单句CoLA(语法)判断句子语法是否可接受“The children slept.”“The children slept the bed.”1 (通顺)0 (不通顺)MCC(马修斯相关系数)单句SST-2(情感)判断电影评论的情感倾向“This movie was absolutely fantastic and thrilling!”1 (正面/Positive)Accuracy(准确率)句子对MNLI(蕴含)判断前提是否蕴含假设P: “I love eating apples.”H: “I like fruit.”Entailment(蕴含)Accuracy句子对QQP(等价)判断两个问题是否意思相同Q1: “How old are you?”Q2: “What is your age?”1 (等价)F1 Score句子对STS-B(相似度)给两个句子的语义相似度打分S1: “A man plays guitar.”S2: “A person plays an instrument.”4.8 (0~5 分)Pearson(皮尔逊相关)1.1.1 GLUE 的局限性与进化局限性太简单了随着 BERT、RoBERTa 等模型的出现GLUE 上的分数迅速刷到 90%甚至接近人类水平失去了区分度。过拟合风险由于测试集固定且公开模型可能在训练数据中“偷看”了测试题。维度单一主要考察理解分类/匹配缺乏对推理、常识、多步逻辑的考察。进化版SuperGLUE。难度升级引入了需要多步推理的任务如 WiC, WSC, ReCoRD。现状目前主流大模型LLM更多关注 MMLU (多学科知识) 或 BIG-Bench (大规模多任务)GLUE 已逐渐成为历史基准但在评估编码器Encoder-only模型时仍有参考价值。1.2 现代大模型的核心基准 (Beyond GLUE)既然 GLUE 已经“被刷爆”现在的 SOTAState-of-the-Art模型都在比什么以下是当前最主流的“新考卷”1.2.1 MMLU (Massive Multitask Language Understanding)地位目前的“王者基准”衡量模型的通用知识储备和推理能力。内容涵盖 57 个学科从小学数学、美国历史、计算机科学到法律、医学。形式选择题 (Multiple Choice)。例子题目 (医学): 下列哪种药物是治疗高血压的一线用药A. 阿司匹林 B. 利多卡因 C. 氢氯噻嗪 D. 胰岛素模型回答: C意义如果模型在 MMLU 上得分高说明它“博学多才”不仅仅是会聊天。1.2.2 HumanEval地位衡量代码生成能力的金标准。内容164 个编程问题要求模型根据函数注释写出完整的 Python 函数。评估方式Passk。不仅看生成的代码对不对还要把代码放进测试用例里真正运行看能否通过所有单元测试。例子输入: def has_close_elements(numbers: List[float], threshold: float) - bool: (注释检查列表中是否有两个元素距离小于 threshold)模型输出: (生成一段 Python 代码)验证: 运行测试用例 assert has_close_elements([1.0, 2.0, 3.0], 0.5) False。1.2.3 GSM8K地位衡量数学推理能力。内容8500 道小学难度的数学应用题但需要多步推理。难点模型不能只猜答案必须展示思维链 (Chain of Thought)。例子题目: “Janet 有 10 个鸡蛋她每天吃 2 个买了 5 个。三天后她有多少个鸡蛋”正确推理: Day 0: 10. Day 1: 10-28. Day 2: 8-2511. Day 3: 11-29. 答案: 9.1.2.4 BIG-Bench (Big Science Large-Scale Benchmark)地位“终极挑战”由 Google 等发起包含 200 个任务。特点包含很多只有人类专家才能解决的难题如逻辑谜题、多语言翻译、甚至预测未来趋势。旨在探索模型的上限。你想评估模型的什么能力推荐基准关键指标基础文本理解 (分类/匹配)GLUE / SuperGLUEAccuracy, F1, MCC综合知识与推理 (博学程度)MMLUAverage Accuracy (0-shot / 5-shot)代码编写能力HumanEvalPass1, Pass10数学逻辑推理GSM8KExact Match (需 CoT)真实对话与指令遵循MT-Bench / AlpacaEvalLLM-as-a-Judge 评分 (1-10 分)长文本处理能力Needle In A Haystack检索准确率 (在百万字中找到特定针)提示不要只看一个分数“木桶效应”在模型评估中非常明显。一个模型可能 MMLU 很高知识渊博但 HumanEval 很低不会写代码或者在长文本测试中完全失效。优秀的模型评估报告应该是一个雷达图 (Radar Chart)展示模型在各个维度的均衡能力。2 模型压缩大模型参数量巨大直接部署会带来高延迟和高存储成本。模型压缩技术旨在减小模型规模同时尽量保持性能。2.1 知识蒸馏Knowledge Distillation知识蒸馏的核心思想是让一个较小的学生模型student学习教师模型teacher的输出分布从而继承教师的知识。原理教师模型通常是大型预训练模型在训练数据上生成软标签soft labels即经过温度缩放temperature scaling的 logits 概率分布。学生模型的目标是同时匹配真实标签hard labels和教师输出的软标签。损失函数通常为常用 KL 散度衡量学生与教师输出分布的差异。温度 T 控制软标签的平滑程度T 越大概率分布越平滑携带更多暗知识dark knowledge。应用DistilBERT将 BERT 压缩 40%保留 97% 的性能速度提升 60%。TinyBERT两阶段蒸馏通用蒸馏 任务特定蒸馏进一步压缩。优点学生模型可大幅缩小推理快且通常不需要特殊硬件支持。2.2 量化Quantization量化将模型参数和激活值从高精度如 FP32转换为低精度如 INT8、FP8、INT4从而减少内存占用和计算量。量化类型训练后量化Post-Training Quantization, PTQ训练完成后将权重转换为低精度无需重新训练。简单快速但可能有一定精度损失。量化感知训练Quantization-Aware Training, QAT在训练过程中模拟量化误差使模型适应低精度表示精度损失更小。精度选择INT8最常用可将模型体积减小 4 倍推理速度提升 2-4 倍在支持 INT8 指令的硬件上。FP8NVIDIA H100 等新硬件支持动态范围介于 FP16 和 INT8 之间适合推理。INT4/INT3进一步压缩但精度损失较大需特殊优化如 GPTQ、AWQ。挑战量化可能导致激活值分布偏移需校准calibration或重训练。2.3 剪枝Pruning剪枝通过移除模型中不重要的权重或神经元减小模型规模。粒度非结构化剪枝移除单个权重连接产生稀疏矩阵。需要稀疏感知硬件或库才能加速否则可能不降反升。结构化剪枝移除整个神经元、注意力头、层等保持规则结构易于加速。例如去除 Transformer 中不重要的注意力头head pruning或减少 FFN 中间维度。重要性判断基于权重绝对值大小magnitude pruning。基于梯度信息如 SNIP、GraSP。基于注意力分数或激活值统计。步骤训练一个大型模型。评估并剪除不重要结构。微调fine-tune剩余参数恢复性能。例子LLM-Pruner 等方法可在保持大部分能力的同时剪除 20-50% 的参数。2.4 组合压缩实际部署中常组合多种压缩技术例如先剪枝去除不重要连接再量化降低精度最后蒸馏到更小模型。例如GPTQ量化 AWQ激活感知量化结合可在 INT4 下保持较高精度。3 部署框架压缩后的模型需要部署到生产环境提供高效、稳定的推理服务。以下介绍几种主流部署框架。3.1 ONNX RuntimeONNXOpen Neural Network Exchange是一种开放的模型格式旨在实现不同框架间的互操作性。ONNX Runtime 是微软开源的推理引擎支持多种硬件后端。特点跨平台支持 Windows、Linux、macOS以及移动端。多后端可无缝切换 CPU、GPUCUDA、TensorRT、DMLDirectML等执行提供程序。优化内置图优化、算子融合、量化支持。使用流程将 PyTorch/TensorFlow 模型导出为 ONNX 格式torch.onnx.export。使用 ONNX Runtime 加载模型选择合适后端进行推理。优势生态广泛易于集成到现有服务中。3.2 TensorRTTensorRT 是 NVIDIA 推出的高性能推理优化器和运行时专为 NVIDIA GPU 优化提供极低延迟和高吞吐量。核心优化层融合layer fusion合并相邻的层减少 kernel 启动开销。精度校准支持 INT8 和 FP8 量化自动选择最优实现。动态张量内存复用减少显存占用。适用场景对延迟要求极高的实时应用如在线对话、实时翻译。使用可将 ONNX 模型转换为 TensorRT 引擎通过 trtexec 或 TensorRT API或直接在 PyTorch 中使用 torch_tensorrt 编译。3.3 vLLMvLLM 是由加州大学伯克利分校开发的高吞吐量 LLM 推理引擎专为自回归生成优化。核心创新PagedAttention一种类似虚拟内存的注意力机制有效管理 KV 缓存减少显存碎片提高批处理吞吐量。特点支持连续批处理continuous batching动态合并请求提高 GPU 利用率。支持多种量化格式GPTQ、AWQ、SqueezeLLM。提供与 HuggingFace 兼容的 API易于集成。性能在相同硬件上vLLM 的吞吐量可比 HuggingFace 默认实现高 10-20 倍。适用大规模 LLM 服务如聊天机器人、代码生成 API。3.4 TGIText Generation InferenceTGI 是 Hugging Face 开源的 LLM 推理服务器专注于文本生成任务提供生产级功能。功能支持动态批处理、流式输出Server-Sent Events、token 流式返回。内置量化bitsandbytes、GPTQ、AWQ和 FlashAttention 加速。提供 Prometheus 监控指标便于运维。支持多 GPU 张量并行推理通过 sharding。部署通过 Docker 容器快速启动提供 REST API 或 gRPC 接口。优势与 HuggingFace 生态无缝集成易于从现有模型迁移。3.5 其他框架FasterTransformerNVIDIA 开源的 Transformer 推理加速库提供高度优化的 kernel常被集成到 TensorRT 中。TensorFlow ServingTensorFlow 模型专用服务框架支持模型版本管理和热更新。PyTorch ServePyTorch 官方模型服务框架支持多模型管理。3.6 部署实践建议根据场景选型低延迟、高并发实时推理TensorRT vLLM/TGI。多框架兼容ONNX Runtime。快速原型、HuggingFace 生态TGI。模型优化流程压缩模型量化/蒸馏/剪枝。转换为目标格式ONNX、TensorRT engine。部署到容器Docker Kubernetes以弹性伸缩。配置监控延迟、吞吐量、错误率。