RAGas（RAG Assessment)RAG 评估的缩写，是一个专门的解决方案用于评估、监控和提升生产环境中大语言模型（LLM）和检索增强生成（RAG）应用的性能，包括用于生产质量监控的定制模型。它除了评估，还能从数据集中生成测试集，这将极大地降低人力投入，毕竟一个良好的数据集构建是非常消耗时间和人力的。RAGas 从生成和检索两个维度评估 RAG 应用，如下图所示。

生成角度可以从忠实性 faithfulness 和回答相关性 answer relevancy 评估，而检索则从上下文精度（context precision）和上下文召回（context recall）上来测评。当然 ragas 不止这四种评测，还有答案准确性（answer correctness），上下文利用率（context utilization），上下文实体召回率（context entity recall）和噪声敏感度（noise sensitivity）等。后面会专门叙述常见的几种指标的计算。在开始评估之前，我们先安装 ragas。

pip install ragas

安装好之后，我们要如何评估 RAG 呢？拿什么评估？这就必须要说如何准备评估数据集。

（1）准备评估数据集

RAGas 需要的评估数据集格式如下：

data_samples = {
    'question': ['第一届超级碗是什么时候举行的？', '谁赢得了最多的超级碗冠军？'],       
    'answer': ['第一届超级碗于1967年1月15日举行', '赢得最多超级碗冠军的是新英格兰爱国者队'],       
    'contexts': [['第一届 AFL-NFL 世界冠军赛是一场美式橄榄球比赛，于1967年1月15日在洛杉矶纪念体育馆举行'],                    ['绿湾包装工队...位于威斯康星州绿湾市。', '包装工队参加...全国橄榄球联合会比赛']],       
    'ground_truth': ['第一届超级碗于1967年1月15日举行', '新英格兰爱国者队赢得了创纪录的六次超级碗冠军']   
} 

包含 4 个字段，分别是question、answer、contexts和ground_truth。每一项都是一个数组列表，要注意的是，答案、上下文和基本事实和问题列表是一一对应的，即第一个问题的答案也必须是 answer 中的第一个元素，同时也必须是上下文和基本事实的第一个元素。其中上下文的每个元素都是一组字符串数组，这是因为每个问题都可以有多个上下文。

如果你人力资源足够的话，我们可以手动构建这个数据集，假设你有问题列表和基本事实列表（这一个不是必须），回答就由你自己的 RAG 应用根据问题来填充，上下文也由你的 RAG 应用填充。

此外，我们也可以使用 ragas 根据数据集自动构建。因为要读入数据，这里需要先安装 langchain 或者 llamaindex 来支持数据的读入。

pip install langchain-community==0.2.17   
pip install unstructured==0.15.13

然后使用如下代码，读入数据。

from langchain_community.document_loaders import DirectoryLoader      

loader = DirectoryLoader("～/Projects/graphrag/input")   
documents = loader.load()      
for document in documents:       
    document.metadata['filename'] = document.metadata['source']  

既然要生成数据集，当然需要大语言模型的支持了，也需要 embedding 模型支持，这里采用 DeepSeek 和智谱的在线模型 API。

from langchain_openai import ChatOpenAI, OpenAIEmbeddings      

generator_llm = ChatOpenAI(model="deepseek-chat", openai_api_base="https://api.deepseek.com/v1", openai_api_key="xxxx")   
critic_llm = ChatOpenAI(model="deepseek-chat", openai_api_base="https://api.deepseek.com/v1", openai_api_key="xxxx")   
embeddings = OpenAIEmbeddings(openai_api_base="https://open.bigmodel.cn/api/paas/v4", openai_api_key="xxxx", embedding_ctx_length=512, chunk_size=512, model="embedding-3") 

注意必须配置这些选项，不然它默认就是访问 OpenAI 的模型。

然后就是使用 ragas 框架的 API 来生成测试集了，首先初始化测试集生成器。

generator = TestsetGenerator.from_langchain(generator_llm,critic_llm,embeddings)  

然后调用 API generate_with_langchain_docs准备生成，参数为读取的 documents，生成的数据集条数 test_size 以及生成问题的分布，如简单的占比 0.5，推理的 0.25 以及多个上下文的 0.25。

testset: TestDataset = generator.generate_with_langchain_docs(documents,test_size=10,distributions={simple: 0.5, reasoning: 0.25, multi_context: 0.25})  

然后我们将生成的数据集保存，以备后用。

ds = testset.to_dataset()   
ds.save_to_disk("./activity_testset") 

生成的数据大概如下所示。

ragas 在生成数据集上还可以配置问题的难易分布。理想的评估数据集应涵盖生产中遇到的各种类型的问题，包括不同难度级别的问题。大语言模型（LLMs）通常不擅长生成多样化的样本，因为它们倾向于遵循常见路径。ragas 受 Evol-Instruct[2] 等作品的启发，采用了一种进化生成范式，系统地从提供的文档集创建具有不同特征的问题，如推理、条件、多个上下文等。这种方法确保了对管道中各个组件性能的全面覆盖，从而实现更稳健的评估过程，原理如下图所示。

但我要说的是，ragas 在生成数据集非常不完善，很难生成，全靠运气，经常报 Connection 错误，而 API 明明可以连接。另外一点是所使用的 Prompt 都是英文，有几率生成一些英文问题，即使你的输入文档是中文的。虽然你可以通过 Prompt adapation 进行本地化，但 ragas 里对于 json 的处理非常简单，不会做任何解析增强，所以生成的东西也用不了，除非手工修改。

看了一些 ragas 代码，感觉写的不咋的，但他们的评估指标和思路是挺好的。生成测试集搞了我一周，魔改代码都没能解决一堆报错，搞得我一肚子火。今天发布了最新版本 v0.2.0，已经和上述代码不兼容了。还没空测评，不知道新版本是否有解决，希望给力点吧。

（2）开始评估

上节已经提到生成数据集功能缺陷太多，所以这里为了演示，我们使用官方 Demo 中的数据集。

2.1 加载数据集

from datasets import Dataset, load_dataset   

def load_amnesty_qa() -> Dataset:       
    # loading the V2 dataset       
    amnesty_qa = load_dataset("explodinggradients/amnesty_qa", "english_v2")
    print(amnesty_qa['eval'].column_names)       
    # ['question', 'ground_truth', 'answer', 'contexts']       
    # amnesty_qa['eval']['contexts']       
    return amnesty_qa["eval"]         

dataset = load_amnesty_qa() 

2.2 评估忠实性

计算 Faithfulness 就是计算忠实性。首先将答案分拆为几个声明（简单理解为句子也行），然后判断每个句子是否可以从上下文 contexts 中推断出来，如果出现过则认为是忠实的。比如将答案拆分为 3 个 claims，然后从 context 中判断有几个可以推断出来，假设为 2，那么忠实性就是 2/3。它需要回答和上下文。

from ragas.metrics import faithfulness, answer_relevancy, context_precision, context_recall, context_entity_recall   
from ragas import evaluate   

def metric_faithfulness():       
    score = evaluate(dataset, metrics=[faithfulness], llm=generator_llm, embeddings=embeddings)
    print(score.to_pandas())      
    
metric_faithfulness()

评估忠实性如下表所示。

2.3 评估答案相关性

计算答案的相关性 Answer relevancy，它基于答案推测出多个问题，然后计算用户问题和推测出的问题的相关性，也就是嵌入的相似度，然后取平均值从而得出相关性。它也需要回答和问题。

def metric_answer_relevancy():       
    score = evaluate(dataset, metrics=[answer_relevancy], llm=generator_llm, embeddings=embeddings)       
    print(score.to_pandas())      
    
metric_answer_relevancy() 

评估结果如下表所示。

2.4 上下文精度

计算上下文精度 Context Precision，即召回的 K 个 Chunk 中，到底多少是和问题、真实答案相关的。然后基于此计算一个精度的分数。它需要问题、基本事实和上下文。

def metric_context_precision():       
    score = evaluate(dataset, metrics=[context_precision], llm=generator_llm, embeddings=embeddings)       
    print(score.to_pandas())   
    
metric_context_precision()

评估结果如下表所示。

2.5 上下文召回率

计算上下文召回率 Context Recall，衡量检索到的上下文与作为基本事实的一致程度。从基本事实中，提取出 Claims，然后判断每一个 Claims 是否可以从检索出的上下文中推断出来，然后计算推断出的 claims 数量和总 claims 数量。它需要问题、基本事实、上下文。

def metric_context_recall():       
    score = evaluate(dataset, metrics=[context_recall], llm=generator_llm, embeddings=embeddings)       
    print(score.to_pandas()) 

评估结果如下表所示。

2.6 计算上下文实体召回率

计算上下文中实体召回 Context Entities Recall，分别从 Context 和基本事实中提取出实体，然后从中找出实体的交集并和基本事实中的实体数量做比，得出一个实体召回率。它需要上下文和基本事实。

def metric_context_entities_recall():       
    score = evaluate(dataset, metrics=[context_entity_recall], llm=generator_llm, embeddings=embeddings)     
    print(score.to_pandas())

评估结果如下表所示。