1. 为什么你需要OpenCompass本地评测最近两年大模型发展太快了各种新模型层出不穷。作为开发者你是不是经常遇到这样的困惑这个新发布的模型到底效果如何和之前用的模型相比优势在哪里官方公布的benchmark数据靠谱吗这时候你就需要一个可靠的评测工具来帮你做本地验证。OpenCompass是目前最受欢迎的开源大模型评测平台之一我实测下来发现它有三大不可替代的优势第一是评测维度全面。它不仅支持常见的语言理解、数学推理等基础能力测试还能评估代码生成、创意写作等高级能力。我上周刚用它对比了三个主流开源模型在中文诗歌创作上的表现结果非常直观。第二是配置灵活。你可以自由组合不同的数据集和评测方法比如我就经常用5-shot思维链提示的方式来测试模型在复杂任务上的表现。这种定制化能力在其他评测工具里很难实现。第三是结果可复现。所有评测过程都在本地完成避免了云端服务的随机性。我团队用相同配置在不同机器上测试结果差异不超过0.5%这个稳定性很难得。提示虽然OpenCompass也支持云端评测但在涉及敏感数据或需要严格复现的场景下本地评测仍然是首选方案。2. 5分钟快速搭建评测环境很多新手卡在环境配置这一步其实用conda管理环境特别简单。我整理了最稳妥的安装方案跟着做不会出错# 创建并激活虚拟环境 conda create --name opencompass python3.10 -y conda activate opencompass # 克隆仓库建议使用国内镜像加速 git clone https://github.com/open-compass/opencompass cd opencompass # 安装核心依赖注意要加-e参数 pip install -e . -i https://pypi.tuna.tsinghua.edu.cn/simple这里有个坑要注意如果直接pip install opencompass会缺少一些开发依赖。我建议用源码安装这样后续修改配置文件会更方便。安装完成后建议先下载官方提供的基础数据集包wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip unzip OpenCompassData-core-20240207.zip -d data/这个数据包大概3GB包含了常见的评测数据集。如果网络不稳定可以尝试用axel多线程下载axel -n 8 https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip3. 手把手编写第一个评测配置配置文件是OpenCompass的核心虽然看起来复杂但掌握规律后很简单。我们从一个实际案例开始# examples/my_first_eval.py from opencompass.openicl.icl_inferencer import GenInferencer from opencompass.openicl.icl_evaluator import AccEvaluator from opencompass.datasets import GSM8KDataset # 继承基础配置 with read_base(): from .models.qwen2_5.hf_qwen_2_5_7b import models from .datasets.gsm8k.gsm8k_gen import gsm8k_datasets # 自定义评测参数 datasets [ dict( abbrgsm8k-custom, typeGSM8KDataset, pathdata/gsm8k, reader_cfgdict(input_columns[question], output_columnanswer), infer_cfgdict( inferencerdict(typeGenInferencer), prompt_templatedict( typetemplate, template请解决以下数学问题\n{question}\n逐步推理 ) ), eval_cfgdict(evaluatordict(typeAccEvaluator)) ) ]这个配置做了三件事继承了Qwen2-7B模型的默认配置继承了GSM8K数据集的原始配置自定义了提示词模板和评测方式运行这个配置只需要一行命令opencompass examples/my_first_eval.py --debug加--debug参数会输出详细日志第一次运行时建议开启。评测完成后结果会保存在outputs/default/20240615_103456这样的时间戳目录里。4. 高级技巧多模型对比评测实战单独评测一个模型意义有限实际工作中我们更需要对比多个模型的性能。下面这个配置演示如何同时评测三个热门开源模型# examples/multi_model_compare.py with read_base(): # 继承三个模型的配置 from .models.qwen2_5.hf_qwen_2_5_7b import models as qwen_models from .models.llama3.hf_llama3_8b import models as llama_models from .models.deepseek.hf_deepseek_7b import models as deepseek_models # 继承三个数据集的配置 from .datasets.gsm8k.gsm8k_gen import gsm8k_datasets from .datasets.mmlu.mmlu_gen import mmlu_datasets from .datasets.humaneval.humaneval_gen import humaneval_datasets # 合并模型配置 models qwen_models llama_models deepseek_models # 合并数据集配置 datasets gsm8k_datasets mmlu_datasets humaneval_datasets运行这个配置会生成9组测试结果3模型×3数据集。我建议用-w参数启用工作队列opencompass examples/multi_model_compare.py -w 4这个命令会启动4个worker并行执行评测任务能显著缩短总耗时。在我的RTX 4090机器上完整跑完大约需要3小时。评测结果会自动生成对比表格保存在outputs/default/summary目录下。用pandas可以快速分析import pandas as pd df pd.read_csv(outputs/default/summary/summary.csv) print(df.groupby(model)[score].mean().sort_values())5. 避坑指南我踩过的5个常见坑在实际项目中我遇到过不少问题这里分享最典型的几个坑1CUDA内存不足当评测大模型时经常遇到OOM错误。我的解决方案是在模型配置中添加batch_size4参数使用--max-partition-size 2000限制单次评测数据量启用--mode mem内存优化模式坑2数据集格式不匹配特别是自定义数据集时字段名必须与reader_cfg中的定义一致。建议先用小样本测试dataset GSM8KDataset(pathdata/gsm8k, splittest[:10]) print(dataset[0]) # 检查数据结构坑3评测指标理解错误不同的accuracy计算方法差异很大。比如在代码生成任务中严格匹配exact_match要求完全一致模糊匹配bleu_score允许部分差异执行通过率pass_rate需要实际运行代码坑4随机性导致结果波动大模型的生成具有随机性建议设置固定随机种子seed42每个配置跑3次取平均值使用--repeat 3参数自动重复坑5日志文件爆盘长时间运行会产生大量日志可以用这些命令清理# 保留最近3次运行结果 find outputs/ -type d -name 2024* | sort -r | tail -n 4 | xargs rm -rf # 压缩旧日志 tar czf old_logs.tar.gz outputs/default/20240[1-5]*