上一篇我们把 Milvus 从零搭起来完成了语义检索的底座建设。但我发现很多同学搭完之后效果一般明明向量库有答案就是检索不出来——这篇讲的就是那些把 RAG 效果从能用拉到好用的工程细节。分块没设计好召回率顶多50%。加了 Rerank精准率能直接翻倍。这不是玄学是工程。01 为什么 RAG 效果差先定位问题根源很多人调了半天 prompt结果大模型还是答错了。根源不在生成在检索。RAG 的效果链路是用户问题 │ ▼ [ 检索层 ] │ ├── 分块质量差 → 上下文残缺 → 召回无关块 ├── 只用向量检索 → 关键词命中率低 ├── 没有 Rerank → 排名靠后的相关块被截断 │ ▼ [ 生成层 ] │ └── 拿到残缺/无关上下文 → 答案偏差/幻觉三个核心问题三个解法今天一次讲完。02 分块策略这是 RAG 效果的地基分块Chunking就是把长文档切成小片段再入库。块的大小和切法直接决定检索召回的上限。一个反直觉的事实块太大 ≠ 信息更全块太小 ≠ 检索更准。块太大1000 tokens ┌──────────────────────────────────────┐ │ 无关噪声 │ 相关内容 │ 无关噪声 │ └──────────────────────────────────────┘ ↓ 向量被稀释相关度下降 块太小50 tokens ┌────┐┌────┐┌────┐ │ A1 ││ A2 ││ A3 │ 一个完整语义被切断 └────┘└────┘└────┘ ↓ 上下文缺失LLM 看不懂 合理块200-500 tokens overlap ┌──────────────┐ │ 完整语义单元 │ 带20%重叠确保边界不丢 └──────────────┘ ↓ 召回精准上下文完整4种主流分块策略对比策略适用场景优点缺点固定长度Fixed-size通用文本简单快速可能切断语义递归字符Recursive结构化文档尊重自然边界需要调参语义分块Semantic知识密集文档语义完整计算成本高父子分块Parent-Child长文档精检索召回精准上下文全实现复杂工程上用得最多的是「父子分块」检索小块、返回大块兼顾精准和完整。importRecursiveCharacterTextSplitterfromlangchain/textsplittersimportMemoryVectorStorefromlangchain/vectorstores/memoryimportParentDocumentRetrieverfromlangchain/retrievers/parent_documentimportInMemoryStorefromlangchain/core/stores// 父块大块保证上下文完整2000 tokensconstnewRecursiveCharacterTextSplitterchunkSize2000chunkOverlap200// 子块小块用于精准检索200 tokensconstnewRecursiveCharacterTextSplitterchunkSize200chunkOverlap20// 父块存到 docstore内存或 RedisconstnewInMemoryStore// 子块向量化入向量库constawaitMemoryVectorStorefromDocuments// 父子检索器检索子块返回父块constnewParentDocumentRetrievervectorstoredocstoreparentSplitterchildSplitter// 入库awaitaddDocuments// 检索命中子块 → 自动返回对应父块constawaitinvoke你的问题consolelog0pageContent// 返回完整的父块内容03 Overlap 设置边界不丢才是关键很多同学忽视了 overlap重叠窗口。这个参数不起眼但是关键句跨块的救命稻草。不设 overlap 块1[...Apple今年发布了新款MacBook Pro搭载M3芯片] 块2[性能相比上代提升40%续航延长至22小时...] ↑ 性能提升40%是接着M3芯片说的切断了 设置 overlap100 块1[...Apple今年发布了新款MacBook Pro搭载M3芯片] 块2[搭载M3芯片性能相比上代提升40%续航延长至22小时...] ↑ 重叠部分把语境带过来了工程经验中文文档overlap chunkSize × 10%~15%技术文档含代码overlap chunkSize × 20%纯代码块按函数/类边界切不要硬切04 混合检索向量 BM25召回率直接拉满纯向量检索有个死穴——关键词精确匹配弱。用户问「LangChain v0.3 的 breaking change 有哪些」向量检索只能捕捉语义相似但版本号「v0.3」这种精确词汇BM25 才能稳稳命中。纯向量检索 查询: LangChain v0.3 breaking change │ ▼ 向量空间计算语义相似度 │ └── 召回了LangChain 更新内容正确 但漏掉了明确标注 v0.3 的文档漏召回 纯 BM25 检索 │ └── 精确命中 v0.3 关键词正确 但漏掉了语义相近但表述不同的文档 混合检索Hybrid Search 向量结果 ───┐ ├── RRF 融合 ──→ 最终排序 BM25结果 ───┘ ↑ 两者互补召回率最大化LangChain 的EnsembleRetriever实现很简洁importBM25Retrieverfromlangchain/community/retrievers/bm25importEnsembleRetrieverfromlangchain/retrievers/ensemble// 向量检索器接 Milvus / Chroma 等constasRetrieverk10// 多取一些后续 Rerank 会精选// BM25 关键词检索器constBM25RetrieverfromDocumentsk10// 混合检索RRF 算法融合排名// weights: 向量占0.6BM25占0.4可根据场景调constnewEnsembleRetrieverretrieversweights0.60.4constawaitinvokeLangChain v0.3 breaking change// 返回两路召回的融合结果按 RRF 分数重排RRF倒数排名融合算法原理文档 D 在向量检索中排名 r1在 BM25 中排名 r2 RRF(D) 1/(k r1) 1/(k r2) k60平滑参数 例 向量排名第2BM25排名第1 RRF 1/62 1/61 ≈ 0.0323 向量排名第8BM25排名第3 RRF 1/68 1/63 ≈ 0.0306 两路都靠前的文档RRF 分数最高 → 排到最前面05 Rerank第二关筛选把最相关的送进上下文混合检索帮你扩大了召回但 LLM 的 context window 有限最终只能放进去 3-5 个块。这时候 Rerank 模型上场——它不看向量距离而是直接用交叉注意力机制对「查询文档」联合打分精度远高于向量相似度。没有 Rerank 的问题 向量检索 Top-5 ✅ 文档A最相关排第3 ❌ 文档B相似但无关排第1 ❌ 文档C语义相近但答不了排第2 ✅ 文档D相关排第4 ❌ 文档E无关排第5 LLM 拿到 Top-3 → B、C、A → 前两个都是干扰 加了 Rerank 之后 Rerank 重新打分交叉注意力 文档A → 0.95 ← 最相关 文档D → 0.88 ← 次相关 文档B → 0.23 ← 重排后被踢出 文档C → 0.18 ← 重排后被踢出 文档E → 0.09 ← 重排后被踢出 LLM 拿到 Top-3 → A、D、... → 全是精华importCohereRerankfromlangchain/cohereimportContextualCompressionRetrieverfromlangchain/retrievers/contextual_compression// Rerank 模型Cohere 或开源 BGE-RerankerconstnewCohereRerankapiKeyenvCOHERE_API_KEYmodelrerank-multilingual-v3.0// 支持中文topN3// 最终保留3个// 两步检索先召回20个再 Rerank 精选3个constnewContextualCompressionRetrieverbaseCompressorbaseRetriever// 接上一步的混合检索constawaitinvoke你的问题// rerankedDocs 是经过 Rerank 精选的 Top-3送进 LLM 生成如果用开源 BGE-Reranker不需要 API keyimportHuggingFaceInferenceEmbeddingsfromlangchain/community/embeddings/hf// 本地部署 BAAI/bge-reranker-v2-m3// 调用方式略有不同用 HTTP 接口包装constasynccompressDocumentsdocs: Document[], query: stringconstawaitPromiseallmapasyncconstawaitfetchhttp://localhost:8080/rerankmethodPOSTheadersContent-Typeapplication/jsonbodyJSONstringifytextpageContentconstawaitjsonreturnreturnsort(a, b) scorescoreslice03map(item) doc06 完整 RAG Pipeline把三件事串起来把分块、混合检索、Rerank 穿成一条链原始文档 │ ▼ [父子分块] ├── 子块200 tokens→ 向量化入库 └── 父块2000 tokens→ docstore 存储 │ ▼ 用户提问 │ ├── 向量检索Top-10 └── BM25检索Top-10 │ ▼ [EnsembleRetriever RRF 融合] │ └── 融合结果Top-20 │ ▼ [Rerank 精选] │ └── Top-3 最相关块 │ ▼ [LLM 生成] │ └── 最终答案importChatOpenAIfromlangchain/openaiimportfromlangchain/chains/combine_documentsimportfromlangchain/chains/retrievalimportChatPromptTemplatefromlangchain/core/promptsconstnewChatOpenAImodelgpt-4o-miniconstChatPromptTemplatefromTemplate你是专业的技术助手根据以下上下文回答问题。如果上下文中没有答案直接说我不知道不要猜测。上下文:{context}问题: {input}// 文档整合链constawaitcreateStuffDocumentsChain// 完整 RAG 链混合检索 Rerank 生成constawaitcreateRetrievalChainretriever// 已含混合检索Rerank// 执行constawaitinvokeinputLangChain 的 LCEL 和传统 Chain 有什么区别consoleloganswer// 输出精准的答案不再幻觉07 效果调优这几个参数决定最终表现搭完之后别急着上线这几个参数值得花时间调1chunk_size 怎么定文档类型 推荐 chunk_size overlap ───────────────────────────────────────────── FAQ / 问答对 200~300 tokens 50 技术文档连续段落 400~600 tokens 100 合同/法律文件 600~800 tokens 150 代码文件按函数切 300~500 tokens 502混合检索权重怎么调问答类用户问精确问题向量0.4 BM25 0.6关键词更重要语义搜索类模糊语义查询向量0.7 BM25 0.3通用场景向量0.6 BM25 0.4默认起点3初检 k 值设多大Rerank 需要有足够的候选才能发挥作用建议初检 k Rerank topN × 5~10 例最终需要 Top-3 → 初检至少召回 15~30 个k 太小相关文档没进候选Rerank 巧妇难为无米之炊。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】