当大模型遇到不知道的问题RAG 让它拥有了外部知识的翅膀。大型语言模型LLM虽然知识渊博但存在两个致命短板知识截止和幻觉问题。模型训练完成后新发生的事情它一无所知被问到不确定的问题时它可能一本正经地胡说八道。RAGRetrieval-Augmented Generation检索增强生成应运而生。它的核心思想很简单在回答问题之前先去外部知识库里找相关资料再结合资料生成答案。这就好比开卷考试——闭卷考试可能记不住但允许翻书的话答案就准确多了。RAG 的三大核心价值知识实时性外部知识库可以随时更新无需重新训练模型答案可追溯每个回答都有据可查来源清晰可见降低幻觉基于真实资料生成大幅减少无中生有二、RAG 系统架构全景一个完整的 RAG 系统包含两大阶段知识库构建和在线问答。知识库构建阶段原始文档 → 文档解析 → 知识切片 → 向量化 → 存入向量数据库这个阶段是备课过程——把各种格式的文档资料整理成机器可理解的形式存入知识库备用。在线问答阶段用户问题 → 问题向量化 → 向量检索 → 召回候选 → 重排序 → 构建提示词 → 大模型生成答案这个阶段是答题过程——把问题转化为向量在知识库中找到相关内容再让大模型组织成通顺的回答。三、知识切片将文档变成知识块知识切片Chunking是 RAG 系统的基础环节直接影响后续检索效果。切得太碎语义不完整切得太长检索不精准。常见切片策略1. 固定长度切片最简单直接的方式按字符数或 token 数切割。比如每 500 字一块块之间重叠 50 字。优点实现简单速度飞快缺点可能切断句子破坏语义完整性适用场景格式统一的文档、快速原型验证2. 语义切片基于句子边界、段落分隔等自然语义单元进行切割。优点保留语义完整性检索效果更好缺点需要 NLP 工具支持处理速度稍慢适用场景高质量要求的生产环境3. 递归切片分层级处理先按章节切章节太长就按段落切段落太长再按句子切。LangChain 的RecursiveCharacterTextSplitter就是典型代表。优点兼顾结构和粒度灵活性高缺点参数调优需要经验适用场景结构化文档技术手册、政策文件4. 父子切片一个文档同时存储大小两种粒度的切片。检索时用小切片精准匹配返回时用大切片提供完整上下文。优点兼顾检索精度和上下文完整性缺点存储空间翻倍适用场景对答案质量要求极高的场景切片参数怎么调三个关键参数需要反复实验参数建议范围影响效果chunk_size200-1000 tokens太小语义破碎太大检索不精准chunk_overlap10%-20%保证跨块信息的连续性separators按文档结构选择决定切分边界实战建议用真实数据做 A/B 测试。准备一批问答对用不同参数构建知识库对比召回率和答案准确率选择最优配置。四、Embedding文本的向量表示Embedding 是将文本转化为向量的过程。向量是高维空间中的坐标语义相近的文本向量在空间中距离更近。为什么选择向量检索传统关键词检索只能匹配字面相同的词但语义检索可以找到意思相近的内容问题如何提升销售业绩关键词检索只返回包含销售业绩的文档向量检索还能返回增加营收技巧、业绩增长策略等语义相关内容主流 Embedding 模型对比模型提供商维度特点text-embedding-3-smallOpenAI1536性价比高适合大规模应用text-embedding-3-largeOpenAI3072效果最佳成本较高bge-large-zhBGE1024中文效果好开源免费m3e-baseMoka768轻量级适合快速验证智谱 Embedding智谱 AI1024中文优秀性价比高Embedding 选型建议•中文场景优先bge-large-zh、智谱 Embedding•成本敏感开源模型自部署•效果优先text-embedding-3-large•快速验证直接用 API 服务五、向量检索从海量知识中召回候选向量化完成后需要存储到向量数据库中。检索时把问题也转化成向量找出距离最近的几条知识。主流向量数据库数据库特点适用场景Milvus开源高性能支持分布式大规模生产环境Pinecone全托管开箱即用快速上线免运维Weaviate原生支持混合检索需要关键词向量混合QdrantRust 实现性能优异高性能要求场景Chroma轻量级Python 友好原型开发、小规模应用相似度计算方法三种主流的向量距离计算方式余弦相似度Cosine Similarity衡量两个向量方向的夹角忽略长度差异。是最常用的度量方式。欧氏距离Euclidean Distance计算向量端点之间的直线距离。适合需要考虑数值大小的场景。点积Dot Product余弦相似度的简化版当向量已归一化时两者等价。计算更快。召回策略Top-K 召回最简单直接——返回相似度最高的 K 个切片。K 值需要根据场景调优• K 太小可能漏掉相关信息• K 太大噪音增多token 消耗增加经验值初始 K 设为 5-10根据效果调整。多路召回单一向量检索可能遗漏。组合多种召回策略可以提高覆盖率向量检索召回 → Top 20关键词检索召回 → Top 10合并去重 → 输送给重排序多路召回的典型组合• 向量检索 BM25 关键词检索• 稠密向量 稀疏向量• 不同 Embedding 模型的结果融合六、重排序精挑细选最相关内容召回阶段追求不遗漏可能带回大量相关度不高的内容。重排序Rerank负责精选把真正相关的内容排在前面。为什么需要重排序向量检索的相似度计算是粗粒度的——它只能判断大概相关。但具体问题具体分析需要更精细的相关性判断。举个例子问题苹果公司的股价是多少召回结果1. 苹果公司 2024 年财报摘要2. 如何种植苹果树3. 苹果手机最新款介绍向量检索可能认为三者都与苹果相关。但重排序模型能理解问题意图把第一条排在最前第二条剔除。重排序模型原理重排序模型是专门训练的交叉编码器Cross-Encoder它同时接收问题和候选文档输出精确的相关性分数。输入[问题] [SEP] [候选文档]输出相关性分数0-1 之间相比向量检索的双编码器分别编码问题和文档交叉编码器能看到问题与文档的交互关系判断更精准。主流重排序模型模型提供商特点bge-reranker-v3BGE最新版本多语言支持开源免费DeepSeek RerankDeepSeek中文顶尖推理能力强GLM-4-Rerank智谱 AI中文优化长文本支持Cohere Rerank v4Cohere商业服务效果优秀Jina Reranker v3Jina支持多语言开源轻量重排序最佳实践召回数量与重排序数量的配比召回 Top 50 → 重排序 Top 10 → 输送给大模型经验比例召回数量是最终使用数量的 3-5 倍。给重排序足够的候选才能选出真正优质的内容。阈值过滤重排序模型输出的分数可以用于过滤保留分数 0.7 的候选低于阈值的内容可能是噪音直接剔除多轮重排序对超大规模知识库可以采用两阶段重排序第一轮轻量模型快速筛选Top 100 → Top 30第二轮重量模型精细排序Top 30 → Top 10七、知识库构建实战流程理论知识有了下面是完整的知识库构建流程。第一步数据收集与清洗文档来源• 内部文档Wiki、知识库、产品手册• 外部资料行业报告、技术文档• 结构化数据数据库、API 返回数据清洗• 去除重复内容• 过滤低质量文本乱码、无意义符号• 统一编码格式UTF-8• 保留元数据来源、时间、作者第二步文档解析不同格式需要不同处理方式格式推荐工具注意事项PDFPyPDF、pdfplumber注意表格和图片中的文字Wordpython-docx保留格式层级HTMLBeautifulSoup提取正文过滤导航和广告Markdown直接解析注意代码块的保留图片OCR 工具准确率依赖图片质量第三步知识切片根据文档特点选择切片策略• 技术文档按章节层级递归切片• FAQ 问答按问答对切片• 长篇文章语义切片 固定长度兜底第四步向量化存储遍历切片 → 调用 Embedding API → 写入向量数据库写入时保留元数据{ id: chunk_001, content: 知识内容..., embedding: [0.123, -0.456, ...], metadata: { source: 产品手册.pdf, page: 15, chunk_index: 3 }}元数据非常重要它决定了能否按来源过滤、能否追溯原文。第五步索引优化向量数据库支持多种索引类型影响检索速度和精度•FLAT暴力搜索精度最高速度最慢•IVF倒排索引速度与精度平衡•HNSW图索引检索速度最快根据数据规模选择数据量推荐索引 10 万FLAT10-100 万IVF 100 万HNSW八、提升问答准确率的关键技巧知识库建好了如何让问答效果更好以下是实战中总结的关键技巧。技巧一问题改写与扩展用户的提问方式千奇百怪直接检索可能匹配不到。可以通过问题改写和扩展来提高召回同义词扩展原问题怎么退钱扩展后怎么退钱 OR 退款流程 OR 如何申请退款问题改写让大模型把口语化的问题改写成更规范的检索语句原问题这个破玩意儿怎么用啊改写后产品使用方法教程多问题生成一个问题拆成多个子问题分别检索原问题小米 SU7 的价格和配置参数拆分为小米 SU7 价格 小米 SU7 配置参数技巧二混合检索单一检索方式都有盲区混合检索可以互补向量检索 关键词检索向量检索召回语义相关内容关键词检索召回精确匹配内容结果融合RRF倒排排名融合算法合并稠密向量 稀疏向量稠密向量Dense语义丰富泛化能力强稀疏向量Sparse关键词精确适合专业术语两者结合兼顾语义理解和精确匹配技巧三上下文窗口优化召回的内容怎样喂给大模型也很有讲究。长度控制大模型有 token 限制召回内容不能无限堆砌• DeepSeek V3支持 128K 超长上下文推理能力强劲• 智谱 GLM-4-Plus128K 上下文中文理解优秀• Kimi200K 超长上下文擅长长文档处理• Claude 4200K 上下文窗口策略优先保留重排序分数高的内容按分数降序填充留足回答空间。位置优化研究发现放在提示词开头或结尾的内容大模型关注度更高。把最相关的内容放在这两个位置。内容压缩召回的内容可能有冗余可以让大模型先做摘要压缩原始内容5000 字压缩后1500 字保留核心信息技巧四Prompt 工程提示词模板直接影响回答质量。基础模板你是一个专业的问答助手。请根据以下参考资料回答用户问题。参考资料{context}用户问题{question}要求1. 只使用参考资料中的信息回答2. 如果资料中没有答案请诚实告知3. 回答要简洁准确优化模板你是一个专业的问答助手。请根据以下参考资料回答用户问题。参考资料按相关性排序【最相关】{chunk_1}【相关】{chunk_2}【可能相关】{chunk_3}用户问题{question}回答要求1. 优先使用【最相关】的内容2. 如果多个资料有冲突以更权威来源为准3. 标注信息来源如根据产品手册第 15 页4. 资料中没有答案时明确告知用户技巧五答案验证与后处理大模型生成的答案不一定是完美的可以增加验证环节一致性检查让大模型自检答案是否与参考资料一致问题{question}参考资料{context}答案{answer}请判断上述答案是否准确反映了参考资料的内容。引用标注强制要求答案标注来源方便用户验证根据产品手册第 15 页的内容小米 SU7 标准版起售价为 21.59 万元。九、评估与迭代用数据驱动优化RAG 系统不是建完就完事需要持续评估和优化。核心评估指标召回率Recall召回的相关内容占所有相关内容的比例。召回率 召回的相关切片数 / 知识库中所有相关切片数衡量检索系统能否找到所有相关信息。精确率Precision召回的内容中真正相关的比例。精确率 召回的相关切片数 / 召回的总切片数衡量检索系统是否精准有无带回太多噪音。MRRMean Reciprocal Rank衡量第一个正确答案的排名位置。MRR 1 / 第一个正确答案的排名值越大说明正确答案排得越靠前。答案准确率最终答案的正确率需要人工评估或用评测集自动评估。评估方法人工评估准备一批问答对人工判断答案质量。虽然耗时但最可靠。自动评估构建评测集用 GPT-4 等模型评估答案质量评测提示词请判断以下答案是否正确回答了问题。问题{question}标准答案{ground_truth}待评估答案{answer}输出正确/错误/部分正确A/B 测试同时运行两个版本的系统对比用户满意度、答案采纳率等指标。迭代优化方向根据评估结果针对性优化问题现象可能原因优化方向召回率低切片粒度不对、Embedding 不合适调整切片参数、更换 Embedding 模型精确率低召回数量太多、缺少重排序减少 Top-K、引入重排序答答不准Prompt 模板不好、上下文太长优化提示词、压缩上下文回答幻觉召回内容不相关提高召回阈值、增加答案验证十、生产环境最佳实践最后分享一些生产环境的实战经验。知识库更新策略知识不是一成不变的需要定期更新•增量更新新文档实时入库•全量重建定期重建索引清理过期数据•版本管理保留历史版本支持回滚性能优化缓存策略热门问题的答案缓存起来下次直接返回不用再检索生成。异步处理大批量文档处理采用异步队列避免阻塞主服务。负载均衡检索服务和生成服务分离独立扩展。监控告警关键指标监控• 检索延迟P99 500ms• 生成延迟P99 3s• 召回内容相关性分布• 用户反馈点赞/点踩比例结语RAG 技术让大模型突破了知识边界的限制成为企业智能问答、知识管理的基础设施。从知识切片到向量检索从重排序到答案生成每个环节都有优化空间。记住没有银弹只有不断迭代。从简单方案开始用真实数据评估针对性优化才能打造出真正好用的 RAG 系统。愿你的每一次检索都能找到最精准的答案。普通人如何抓住AI大模型的风口领取方式在文末为什么要学习大模型目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 大模型作为其中的重要组成部分 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 为各行各业带来了革命性的改变和机遇 。目前开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景其中应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过30%。随着AI大模型技术的迅速发展相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业人工智能大潮已来不加入就可能被淘汰。如果你是技术人尤其是互联网从业者现在就开始学习AI大模型技术真的是给你的人生一个重要建议最后只要你真心想学习AI大模型技术这份精心整理的学习资料我愿意无偿分享给你但是想学技术去乱搞的人别来找我在当前这个人工智能高速发展的时代AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料能够帮助更多有志于AI领域的朋友入门并深入学习。真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发【附赠一节免费的直播讲座技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等欢迎大家~】大模型全套学习资料展示自我们与MoPaaS魔泊云合作以来我们不断打磨课程体系与技术内容在细节上精益求精同时在技术层面也新增了许多前沿且实用的内容力求为大家带来更系统、更实战、更落地的大模型学习体验。希望这份系统、实用的大模型学习路径能够帮助你从零入门进阶到实战真正掌握AI时代的核心技能01教学内容从零到精通完整闭环【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块内容比传统教材更贴近企业实战大量真实项目案例带你亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌02适学人群应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。vx扫描下方二维码即可【附赠一节免费的直播讲座技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等欢迎大家~】本教程比较珍贵仅限大家自行学习不要传播更严禁商用03入门到进阶学习路线图大模型学习路线图整体分为5个大的阶段04视频和书籍PDF合集从0到掌握主流大模型技术视频教程涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向新手必备的大模型学习PDF书单来了全是硬核知识帮你少走弯路不吹牛真有用05行业报告白皮书合集收集70报告与白皮书了解行业最新动态0690份面试题/经验AI大模型岗位面试经验总结谁学技术不是为了赚$呢找个好的岗位很重要07 deepseek部署包技巧大全由于篇幅有限只展示部分资料并且还在持续更新中…真诚无偿分享vx扫描下方二维码即可加上后会一个个给大家发【附赠一节免费的直播讲座技术大佬带你学习大模型的相关知识、学习思路、就业前景以及怎么结合当前的工作发展方向等欢迎大家~】