本文深入探讨了检索增强生成RAG技术中的重排序Rerank环节。文章指出尽管RAG技术结合大模型LLM备受期待但实际效果往往未达预期。传统RAG流程中向量搜索会导致信息丢失影响LLM生成回答的质量。重排序Rerank作为一种解决方案通过重新排序检索到的文档确保传递给LLM的文档数量适中且相关性更高。文章还详细解释了采用两阶段检索策略的原因包括效率与精度的平衡、资源优化以及灵活性与扩展性。尽管Rerank模型的运行速度较慢但其准确性上的优势使其在许多场景中不可或缺。今天想和大家深入探讨一下检索增强生成RAG中的一个重要环节——重排序Rerank。RAG 技术一直以来都备受关注尤其是当它与大模型LLM结合后人们都满怀期待地认为这下终于可以轻松解决那些复杂的问答任务了然而现实往往并不如人意。很多开发者在完成一个 RAG 流程后都会感到困惑为什么它的效果并没有达到预期呢其实和大多数工具一样RAG 的使用虽然简单但想要真正精通却并非易事。事实上RAG 并不仅仅是将文档存储到向量数据库中然后在其上简单地添加一个 LLM。虽然这种方式在某些情况下可能会奏效但并不总是有效。因此今天我们就来聊聊当现有的 RAG 流程无法达到理想效果时我们该怎么办。如果你经常遇到 RAG 表现欠佳的情况这里有一个最容易且最快实施的解决方案——重排序Rerank。1、召回率与上下文窗口在深入探讨解决方案之前我们先来剖析一下传统 RAG检索增强生成流程中存在的问题。在 RAG 的应用中我们常常需要对海量的文本文档进行语义搜索这些文档的数量可能从几万篇到几百亿篇不等。为了在大规模搜索中保证足够的速度我们通常会采用向量搜索技术。具体来说就是将文本转换为向量形式将它们放置在同一个向量空间中然后利用余弦相似度等相似性度量方法来比较这些向量与查询向量之间的接近程度。向量搜索的关键在于向量本身。这些向量本质上是将文本背后的“含义”压缩成一个低维向量通常是 768 维或 1024 维。然而这种压缩过程不可避免地会导致部分信息的丢失。由于信息丢失我们常常会遇到这样的情况向量搜索返回的前几篇文档中可能遗漏了重要的相关信息。而这些相关信息可能出现在我们设置的 top_k 阈值之外。那么如果这些位置靠后的相关信息能够帮助我们的 LLM大型语言模型生成更好的回答我们该怎么办呢最直接的方法就是增加返回的文档数量提高 top_k 值并将这些文档全部传递给 LLM。这里涉及到的衡量指标是**召回率**它表示的是“我们检索到了多少相关文档”。召回率并不考虑检索到的文档总数因此我们可以通过返回所有文档来“操纵”这个指标从而得到完美的召回率。然而我们并不能返回所有文档。LLM 对于能够接收的文本量是有限制的这个限制被称为**上下文窗口**。例如Anthropic 的 Claude 这样的 LLM其上下文窗口可以达到 100K 个 Token这意味着我们可以放入几十页的文本。那么我们是否可以通过返回大量文档尽管不能是全部并“填满”上下文窗口来提高召回率呢答案是否定的。我们不能使用上下文填充的方法因为这会降低 LLM 的**召回性能**。这里所说的 LLM 的召回率与我们之前讨论的检索召回率是不同的概念。研究表明随着我们在上下文窗口中放入更多的标记LLM 的召回率会逐渐降低。当我们填满上下文窗口时LLM 也不太可能遵循指令因此上下文填充并不是一个好的解决方案。这就引出了一个问题我们可以通过增加向量数据库返回的文档数量来提高检索召回率但如果把这些文档全部传递给 LLM就会损害 LLM 的召回率。那么我们该怎么办呢解决这个问题的方法是通过检索大量文档来最大化检索召回率然后通过**最小化**传递给 LLM 的文档数量来最大化 LLM 的召回率。要做到这一点我们需要对检索到的文档进行重新排序只保留对 LLM 最相关的文档。而实现这一操作的关键就是**重排序Rerank**。2、Rerank 的强大之处重排序模型也被称为交叉编码器是一种特殊的模型。它接收一个查询和文档对作为输入并输出一个表示相似度的分数。我们利用这个分数根据文档与查询的相关性对文档进行重新排序。在现代检索系统中通常采用两阶段检索的策略。在第一阶段通常会使用一个双编码器或稀疏嵌入模型来从大规模数据集中快速检索出一组相关文档。这些模型能够在海量数据中高效地筛选出初步的候选文档集合。然后在第二阶段重排序模型Rerank登场。它的任务是对第一阶段检索到的文档进行更细致的重新排序。Rerank 模型通过更复杂的计算对文档的相关性进行更精准的评估从而提升最终返回结果的质量。搜索工程师们在两阶段检索系统中使用 Rerank 已经有很长时间了。这种策略的核心在于从大数据集中检索出一小部分文档的速度远远快于对大量文档进行重新排序的速度。简单来说Rerank 的运行速度相对较慢而检索器的运行速度非常快。为什么采用两阶段检索采用两阶段检索的原因主要有以下几点第一、效率与精度的平衡第一阶段检索阶段使用双编码器或稀疏嵌入模型能够在大规模数据集中快速检索出一组相关文档。这些模型的设计目标是高效地筛选出初步的候选文档集合虽然它们的精度可能有限但速度非常快。第二阶段重排序阶段Rerank 模型对第一阶段检索到的文档进行重新排序。虽然 Rerank 的运行速度较慢但它能够更精准地评估文档的相关性从而提升最终返回结果的质量。第二、资源优化如果直接对大规模数据集进行重新排序计算成本会非常高昂且效率低下。通过两阶段检索第一阶段快速筛选出一小部分文档第二阶段再对这些文档进行精细排序这样可以显著降低计算资源的消耗。第三、灵活性与扩展性两阶段检索系统允许在不同阶段使用不同的模型和技术。例如第一阶段可以使用高效的向量检索模型第二阶段可以使用更复杂的交叉编码器模型。这种分阶段的策略使得系统更加灵活可以根据具体需求进行优化和扩展。重排序模型的作用重排序模型Rerank在两阶段检索系统中扮演着至关重要的角色。它通过对第一阶段检索到的文档进行重新排序确保最终返回的文档不仅数量适中而且相关性更高。具体来说Rerank 的作用包括提升相关性通过更复杂的计算Rerank 能够更精准地评估文档与查询的相关性从而提升最终返回结果的质量。优化上下文窗口由于 LLM 的上下文窗口有限Rerank 可以帮助我们在有限的上下文窗口中选择最相关的文档从而最大化 LLM 的性能。减少噪声Rerank 可以去除那些虽然在第一阶段被检索到但实际相关性较低的文档从而减少噪声提高系统的整体性能。3、为什么要用 Rerank如果 Rerank 的速度这么慢那为什么我们还要使用它呢答案很简单Rerank 比嵌入模型要准确得多。第一、双编码器的局限性双编码器模型的准确性较低主要有两个原因1、信息压缩导致的丢失双编码器需要将一个文档的所有可能含义压缩成一个单一的向量。这种压缩过程不可避免地会导致信息丢失。因为向量的维度是固定的而文档的含义可能是多维度的。例如一个文档可能包含多种主题和细节但双编码器只能将其压缩成一个固定维度的向量这就导致了部分信息的丢失。2、缺乏查询上下文双编码器在处理文档时没有查询的上下文信息。因为在用户查询之前我们已经创建了文档的嵌入向量。这意味着双编码器无法根据具体的查询来调整文档的表示。例如同一个文档在不同的查询下可能有不同的相关性但双编码器无法动态地调整文档的向量以适应不同的查询。第二、Rerank 的优势相比之下Rerank 模型具有显著的优势1、直接处理原始信息Rerank 模型可以直接处理原始的文档和查询信息而不是依赖于压缩后的向量。这意味着信息丢失更少能够更准确地评估文档与查询的相关性。例如Rerank 模型可以分析文档中的具体句子和段落而不是仅仅依赖于一个固定的向量表示。2、动态分析文档含义因为 Rerank 是在用户查询时运行的所以可以根据具体的查询来分析文档的特定含义而不是试图生成一个通用的、平均的含义。例如对于一个包含多种主题的文档Rerank 可以根据用户的查询动态地提取与查询最相关的部分从而提高相关性评估的准确性。第三、Rerank 的代价尽管 Rerank 模型在准确性上有显著优势但它也有一个明显的代价——时间。1、双编码器模型双编码器模型将文档或查询的含义压缩成一个单一向量。在用户查询时双编码器以与处理文档相同的方式处理查询。例如假设你有 4000 万条记录使用编码器模型和向量搜索同样的操作可以在不到 100 毫秒内完成。2、Rerank 模型Rerank 模型需要直接处理原始文档和查询计算复杂度更高因此速度较慢。例如使用像 BERT 这样的小型重排序模型在 V100 GPU 上为了返回一个查询结果可能需要等待 50 多个小时。总结尽管 Rerank 模型的运行速度较慢但其在准确性上的优势使其在许多场景中不可或缺。通过两阶段检索系统我们可以在第一阶段快速筛选出候选文档然后在第二阶段通过 Rerank 模型进行精细排序从而在保证效率的同时显著提升检索结果的质量。这种策略在处理复杂的问答任务和生成任务时尤为重要因为它能够确保最终返回的文档不仅数量适中而且相关性更高。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2026 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取