感觉效果不太好不是诊断你部署了一个 RAG 系统用户反馈说答案有时候不准。然后呢你改了 Prompt感觉好一点。再换了个 Embedding 模型又好了一点。几轮下来你也不知道是哪一步起了效果下次出问题依然无从下手。这是 RAG 工程中最常见的陷阱靠直觉调系统没有量化诊断。上一篇我们搭建了 RAGAS 评估体系知道了 4 个指标的含义。这一篇我们把这 4 个指标变成一套诊断工具——通过故意制造 3 种典型问题用数据驱动的方式定位根因。诊断的核心思路决策树RAG 系统的回答质量差根因只有两大类检索出了问题或生成出了问题。用户反馈回答不好 ↓ 检查 context_recall上下文召回率 ├─ 低 ───→ 检索问题 │ ├─ 重要内容没被检索到 │ ├─ Chunk 太小或太大 │ └─ Top-K 不够 │ └─ 正常 ──→ 检查 faithfulness忠实度 ├─ 低 ───→ 生成问题幻觉 │ └─ Prompt 引导模型超出上下文发挥 │ └─ 正常 ──→ 检查 answer_relevancy答案相关性 └─ 低 ──→ 答案偏题 └─ Prompt 结构固化不聚焦问题逻辑很简单先看context_recall——重要内容有没有被检索到没有的话问题在检索阶段再好的 Prompt 也救不了。再看faithfulness——答案里的内容有没有超出检索结果的范围超出了就是幻觉要修 Prompt。最后看answer_relevancy——答案有没有直接回答问题没有就是偏题同样是 Prompt 问题。三种典型问题的复现我们用同一套知识库和测试集通过改变配置刻意制造 3 种问题让 RAGAS 量化每种问题的指标特征。基准配置baselineRAGPipeline(chunk_size512,chunk_overlap50,top_k4,prompt_typebaseline,# 正常 Prompt)正常的 Prompt 明确要求模型基于上下文回答PROMPT_BASELINEChatPromptTemplate.from_messages([(system,你是一个专业的技术问答助手。请严格根据提供的参考资料回答问题。如果参考资料中没有相关信息请明确说明。回答要简洁准确。),(human,参考资料\n{context}\n\n问题{question}\n\n请回答),])问题一检索召回不足chunk 过碎 top_k 太小p1_pipelineRAGPipeline(chunk_size64,# 极小 chunk文档被切成大量碎片chunk_overlap0,top_k1,# 只取 1 条大量信息丢失prompt_typebaseline,)为什么这样配置会出问题每篇文档被切成几十个 64 字的碎片一个完整的概念被拆散到多个 chunk 中。top_k1只能取回 1 条即使这 1 条是最相关的它包含的信息也远不够回答问题。预期结果context_recall 大幅下降——重要内容没检索到faithfulness 和 answer_relevancy 连带受影响。问题二生成幻觉Prompt 引导模型超出上下文p2_pipelineRAGPipeline(chunk_size512,chunk_overlap50,top_k4,prompt_typehallucination,# 幻觉诱导 Prompt)幻觉 Prompt 明确鼓励模型扩展PROMPT_HALLUCINATIONChatPromptTemplate.from_messages([(system,你是一个知识渊博的百科全书式 AI 助手。请基于你丰富的知识储备全面回答问题。下面的参考资料仅供参考你可以在此基础上扩展更多相关知识不必局限于参考资料内容。尽量补充背景知识和延伸信息让回答更加丰富。),(human,参考资料\n{context}\n\n问题{question}\n\n请给出全面详细的回答),])为什么这样会产生幻觉模型被明确告知不必局限于参考资料它会从自身预训练的知识中生成额外内容。这些内容可能是真实的但 RAGAS 的 faithfulness 指标衡量的是答案里的每一个声明能否在检索上下文中找到依据。任何超出上下文的声明都会被标记为幻觉。预期结果faithfulness 大幅下降而 context_recall 不变检索没问题。问题三答案偏题Prompt 强制结构化输出p3_pipelineRAGPipeline(chunk_size512,chunk_overlap50,top_k4,prompt_typeofftopic,# 强制学术综述格式)偏题 Prompt 要求固定的学术格式PROMPT_OFFTOPICChatPromptTemplate.from_messages([(system,你是一名资深技术研究员负责撰写学术综述。针对用户的问题请按照以下固定结构回答\n1. 技术背景与历史演进\n2. 主要技术流派与对比分析\n3. 当前挑战与未来发展趋势\n回答需要学术化涵盖广泛每部分至少 200 字。),(human,参考资料\n{context}\n\n问题{question}\n\n请撰写综述报告),])为什么这样会导致偏题用户问的是什么是 RAG 技术但模型被迫按历史演进 流派对比 未来趋势三段式输出。RAGAS 的 answer_relevancy 指标衡量的是答案有多直接地回答了提问。一个 800 字的综述对一个直接的问题来说相关性得分自然很低。预期结果answer_relevancy 大幅下降而 faithfulness 和 context_recall 正常内容都来自上下文只是格式偏了。实验结果对比运行diagnose.py后得到如下对比报告 RAG 诊断对比报告 指标 基准配置 问题一检索召回不足 问题二生成幻觉 问题三答案偏题 ────────────────────────────────────────────────────────────────────────────── faithfulness 0.829 0.750 0.320 ← ✗ 0.817 answer_relevancy 0.502 0.191 0.487 0.183 ← ✗ context_precision 0.583 0.375 ← ⚠ 0.583 0.550 context_recall 0.625 0.250 ← ✗ 0.625 0.613 ────────────────────────────────────────────────────────────────────────────── 平均得分 0.635 0.392 0.504 0.541 数字背后的诊断逻辑场景问题指标其他指标根因基准配置无异常——问题一context_recall ↓ 0.375context_precision 也下降Chunk 太碎 top_k 不足重要内容没被取回问题二faithfulness ↓ 0.509context_recall 正常Prompt 引导模型超出上下文生成幻觉问题三answer_relevancy ↓ 0.319faithfulness 正常Prompt 强制学术格式答案不聚焦于问题注意问题一中context_precision也下降了chunk 太小意味着每条 chunk 携带的信息极少即使检索到了也精度不足。决策树诊断输出程序还会自动输出决策树分析 诊断决策树分析 【问题一检索召回不足】预期问题类型context_recall 低 步骤 1 → 检查 context_recall下降 0.375显著下降 ✗ 诊断检索阶段有问题 → 重要内容没被检索到检查 chunk_size 和 top_k → 当前 top_k 可能太小或 chunk 太碎导致语义不完整 ⚠ 附加发现context_precision 下降 0.208检索结果中混入了噪声 【问题二生成幻觉】预期问题类型faithfulness 低 步骤 1 → 检查 context_recall下降 0.000正常 步骤 2 → 检查 faithfulness下降 0.509显著下降 ✗ 诊断生成阶段出现幻觉 → 答案包含了上下文中没有的内容 → 修复建议优化 Prompt明确要求只基于参考资料回答 【问题三答案偏题】预期问题类型answer_relevancy 低 步骤 1 → 检查 context_recall下降 0.012正常 步骤 2 → 检查 faithfulness下降 0.012正常 步骤 3 → 检查 answer_relevancy下降 0.319显著下降 ✗ 诊断答案偏题未直接回答用户问题 → Prompt 格式要求导致答案冗长或结构固化 → 修复建议简化 Prompt去除强制格式约束 三条诊断路径精准对应三种问题类型全部命中。每种问题的修复方向问题一context_recall 低 → 检修检索配置# 修复前chunk 太碎top_k 太小RAGPipeline(chunk_size64,chunk_overlap0,top_k1)# 修复后合理的 chunk 大小 足够的 top_kRAGPipeline(chunk_size512,chunk_overlap50,top_k4)经验值参考场景chunk_sizeoverlaptop_k短问答技术 FAQ256–51220–503–5长文档理解512–102450–1004–6代码库检索按函数/类分块03–5问题二faithfulness 低 → 加固 Prompt核心原则明确告诉模型「只依据参考资料回答」并且设定「没有信息时如何处理」。# 修复严格约束 PromptPROMPT_STRICTChatPromptTemplate.from_messages([(system,你是一个技术问答助手。 规则 1. 只能基于「参考资料」中的内容作答 2. 如果参考资料不包含答案直接回答「根据现有资料无法回答」 3. 不允许添加参考资料之外的信息 4. 回答要简洁不超过 200 字),(human,参考资料\n{context}\n\n问题{question}),])问题三answer_relevancy 低 → 简化 Prompt 格式# 修复去掉固定格式要求让模型自然回答PROMPT_FOCUSEDChatPromptTemplate.from_messages([(system,你是技术问答助手。请直接回答问题简洁准确不要添加不必要的格式或结构。),(human,参考资料\n{context}\n\n问题{question}),])完整代码完整代码已开源https://github.com/chendongqi/llm-in-action/tree/main/09-rag-diagnosis核心文件rag_pipeline.py— 支持 3 种 Prompt 类型的 RAG Pipelinediagnose.py— 3 个问题场景 决策树诊断运行方式gitclone https://github.com/chendongqi/llm-in-actioncd09-rag-diagnosiscp.env.example .env# 填入你的 LLM 和 Embedding API Keypipinstall-rrequirements.txt python diagnose.py小结这套诊断框架的核心思路是不靠直觉靠指标——context_recall、faithfulness、answer_relevancy 分别对应检索、生成、相关性三个维度按决策树顺序检查——先 context_recall再 faithfulness最后 answer_relevancy避免误诊制造对照实验——好配置和坏配置的指标差异才是定位根因的关键证据在实际项目中出现问题时先跑一次 RAGAS 评估看哪个指标最低再按决策树找方向。这比调一调感觉好了要靠谱得多。参考资料RAGAS 官方文档Faithfulness 指标计算原理