做了两年多大模型应用RAG 是我搭建次数最多的系统类型。网上的 RAG 教程铺天盖地但大多数停留在”5分钟跑通 demo”的阶段。这篇我想讲的是当 RAG 真正要服务实际用户、接入真实数据、跑在生产环境时你会碰到哪些问题以及我是怎么解决的。一、先搞清楚 RAG 到底解决什么问题RAGRetrieval-Augmented Generation检索增强生成的核心逻辑很简单大模型的知识是训练时”烧”进去的无法实时更新。 RAG就是在模型回答之前先去你的知识库里检索相关内容作为上下文塞给模型——让它基于你的数据来回答。用一张图来理解完整流程用户提问 ↓ [检索模块] → 向量数据库 → 召回相关文档片段 ↓ [增强模块] → 将文档片段 原始问题 → 拼装成 Prompt ↓ [生成模块] → 大模型生成回答 ↓ 返回给用户听起来很简单对不对但魔鬼全在细节里。二、生产级 RAG 的完整技术栈我们先把完整的架构图摆出来再逐层拆解。┌─────────────────────────────────────────────────────┐ │ 接入层 │ │ API Gateway / 用户界面 / Bot 接口 │ └──────────────────────┬──────────────────────────────┘ │ ┌──────────────────────▼──────────────────────────────┐ │ 查询处理层 │ │ 问题改写(Query Rewrite) → 意图识别 → HyDE增强 │ └──────────────────────┬──────────────────────────────┘ │ ┌──────────────────────▼──────────────────────────────┐ │ 检索层核心 │ │ 向量检索 关键词检索(BM25) → Rerank重排序 │ │ 向量数据库Milvus / Weaviate / pgvector │ └──────────────────────┬──────────────────────────────┘ │ ┌──────────────────────▼──────────────────────────────┐ │ 生成层 │ │ Prompt 组装 → LLM 调用 → 流式输出 → 来源引用 │ └──────────────────────┬──────────────────────────────┘ │ ┌──────────────────────▼──────────────────────────────┐ │ 数据层 │ │ 文档解析 → 分块策略 → Embedding → 向量存储 │ └─────────────────────────────────────────────────────┘下面逐层说关键决策和踩坑点。三、数据层被低估的关键环节绝大多数 RAG 效果差根源在数据层不在模型。1. 文档解析别以为 PDF 读取是小事。我们在某个项目里用 PyPDF2 解析 PDF结果表格内容全乱、图片说明全丢最后导致检索结果完全不可用。实战推荐PDF优先用 pdfplumber保留表格结构或 unstructured全格式通用Word/PPTpython-docx python-pptx网页/HTMLBeautifulSoup 自定义清洗逻辑扫描件 PDF需要 OCR推荐 PaddleOCR 或 Tesseract# 推荐用 unstructured 统一处理多种格式 from unstructured.partition.auto import partition elements partition(filenamedocument.pdf) text \n.join([str(el) for el in elements])2. 分块策略Chunking这里是我见过踩坑最多的地方。❌ 最常见的错误按固定字数切块比如每500字一块 问题一句完整的话被切断语义碎片化检索质量大幅下降✅ 更好的做法语义感知分块from langchain.text_splitter import RecursiveCharacterTextSplitter splitter RecursiveCharacterTextSplitter( chunk_size512, chunk_overlap64, # 重叠64字符保留上下文连续性 separators[\n\n, \n, 。, , , ] # 优先按段落/句子切 ) chunks splitter.split_text(text)进阶技巧父子分块Parent-Child Chunking存储小块128字用于精准检索召回后返回对应的大块512字给模型作上下文效果比单一粒度分块显著提升3. Embedding 模型选择from sentence_transformers import SentenceTransformer model SentenceTransformer(BAAI/bge-large-zh-v1.5) embeddings model.encode(chunks, normalize_embeddingsTrue)四、检索层决定 RAG 上限的核心1. 向量数据库选型这个话题单独能写一篇这里给结论2. 混合检索Hybrid Search只用向量检索效果会大打折扣。向量检索擅长语义相似但对精确词匹配比如产品型号、人名、专有名词表现很差。生产级方案向量检索 BM25 关键词检索 结果融合from rank_bm25 import BM25Okapi import numpy as np def hybrid_search(query, vector_results, bm25_corpus, top_k10): # 向量检索结果已得到 vector_scores {doc_id: score for doc_id, score in vector_results} # BM25 关键词检索 tokenized_corpus [doc.split() for doc in bm25_corpus] bm25 BM25Okapi(tokenized_corpus) bm25_scores bm25.get_scores(query.split()) # RRF倒数排名融合合并结果 final_scores {} k 60 # RRF 常数 for rank, (doc_id, _) in enumerate(sorted(vector_scores.items(), keylambda x: x[1], reverseTrue)): final_scores[doc_id] final_scores.get(doc_id, 0) 1 / (k rank) for rank, score in enumerate(bm25_scores.argsort()[::-1]): final_scores[rank] final_scores.get(rank, 0) 1 / (k rank) return sorted(final_scores.items(), keylambda x: x[1], reverseTrue)[:top_k]3. Rerank 重排序提升精准度的关键召回 top-20 文档后不能直接全塞给模型Token 成本高且质量差。用 Rerank 模型精选 top-3~5。from sentence_transformers import CrossEncoder reranker CrossEncoder(BAAI/bge-reranker-v2-m3) def rerank(query, candidates, top_k5): pairs [[query, doc] for doc in candidates] scores reranker.predict(pairs) ranked sorted(zip(candidates, scores), keylambda x: x[1], reverseTrue) return [doc for doc, _ in ranked[:top_k]]实测效果加了 Rerank 之后我们某个项目的回答准确率从 62% 提升到 81%。、查询处理层被很多人忽略的提升点1. 查询改写Query Rewrite用户的原始问题往往很口语化、不完整直接检索效果差。query_rewrite_prompt 你是一个检索优化专家。将用户的口语化问题改写为更适合文档检索的标准查询。 用户问题{query} 要求 1. 保留核心意图 2. 展开缩写和代词 3. 输出 3 个不同角度的改写版本 改写结果 2. HyDE假设文档嵌入对于没有直接答案的抽象问题效果很好1.先让 LLM 生成一个”假设性答案”2.用这个假设答案去检索而不是用原始问题3.原理假设答案的向量更接近真实文档def hyde_search(query, llm, vector_store): # 生成假设答案 hypothetical_answer llm.generate(f请给出问题的可能答案{query}) # 用假设答案检索 results vector_store.similarity_search(hypothetical_answer, k10) return results六、生成层细节决定体验Prompt 组装模板RAG_PROMPT 你是一个专业的知识助手。请基于以下参考文档回答用户问题。 ## 参考文档 {context} ## 用户问题 {question} ## 回答要求 - 只基于参考文档中的信息回答 - 如果文档中没有相关信息明确说根据现有资料无法回答 - 在回答末尾标注信息来源文档名和段落 - 用清晰的中文回答 ## 回答 流式输出生产环境一定要做流式否则用户体验很差async def stream_rag_response(query: str): # 检索 docs retriever.invoke(query) context \n\n.join([d.page_content for d in docs]) # 流式生成 prompt RAG_PROMPT.format(contextcontext, questionquery) async for chunk in llm.astream(prompt): yield chunk.content七、效果评估怎么知道你的 RAG 够不够好很多团队做完 RAG 就上线了没有评估体系出了问题不知道哪里坏了。核心指标推荐工具RAGAS专门为 RAG 评估设计的框架提供自动化评分from ragas import evaluate from ragas.metrics import faithfulness, answer_relevancy, context_recall results evaluate( dataseteval_dataset, metrics[faithfulness, answer_relevancy, context_recall] ) print(results)八、常见踩坑总结经历过的真实坑送给大家九、一句话总结RAG 的核心不是模型是数据质量 检索质量。 80% 的 RAG 问题通过优化分块策略和加入 Rerank都能得到显著改善。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】