01为什么需要多向量检索在传统的稠密检索Dense Retrieval中一个文档被编码为单个向量检索时通过 ANN近似最近邻算法快速找到与查询最相似的文档。这种方式简单高效但存在根本性的信息瓶颈——无论文档多长、语义多复杂所有信息都被压缩进一个固定维度的向量中。ColBERT等late-interaction 模型提出了不同的思路为文档中的每个 token 生成独立的向量检索时通过MaxSim机制在 token 级别进行细粒度的语义匹配——即对查询中的每个 token找到文档中与之最相似的 token取最大相似度然后将所有查询 token 的最大相似度求和作为文档的相关性分数。这种机制保留了 token 级的语义细节在长文档、复杂查询等场景中展现出显著优势。然而多向量表示也带来了全新的工程挑战一个文档从 1 个向量变为数十甚至数千个向量。传统的 ANN 索引面向的是一个对象对应一个向量的场景无法直接处理一个对象对应多个向量的 Embedding List 结构。如何在保持检索质量的前提下实现高效的近似搜索成为多向量检索落地的核心问题。本文在文本检索场景下评估了三种 Embedding List 近似检索策略——TokenANN、MUVERA、LEMUR覆盖三个 ColBERT 模型和四个不同特征的数据集。主要发现多向量的价值是有条件的BruteForce 层面多向量始终优于单向量 Dense但经过近似策略后这一优势仅在长文档复杂查询场景中稳定保持。模型与策略之间存在强烈的亲和性embedding 空间的区分度是解释最优策略差异的关键变量选对模型-策略组合与选对模型本身同等重要。LEMUR 存在系统性的长度偏置这一算法设计层面的局限在特定模型-数据集组合下会导致灾难性的检索质量崩溃。我们进一步在多模态视觉文档检索DocVQA场景中进行了验证。在本文的实验中多模态是 embedding list 最具说服力的场景——多向量方案相比 Dense 单向量的优势远大于文本场景且近似策略后仍稳定保持。02三种近似检索策略给定查询 q 的 token 向量集合 {q₁, q₂, …, qₘ} 和文档 d 的 token 向量集合 {d₁, d₂, …, dₙ}MaxSim 将文档的相关性分数定义为其中 sim 为向量相似度函数支持内积余弦相似度等。BruteForce MaxSim对所有文档精确计算上述分数代表多向量检索的质量上限但计算开销与文档数量线性相关无法满足大规模检索的延迟要求。三种近似策略的目标都是在不遍历全部文档的前提下尽可能逼近 BruteForce 的排序结果。它们共享相同的两阶段框架近似搜索筛选候选文档然后对候选进行精确 MaxSim 重排序。区别在于第一阶段如何高效地从全量文档中筛选出有潜力的候选。所有策略都包含一个ratio候选放大倍数参数如果最终需要返回 top-K 文档近似搜索阶段会先检索 top-(K × ratio) 个候选再对候选进行精确 MaxSim 重排序。ratio 越大候选覆盖越全但延迟越高。2.1 TokenANN直接 Token 索引TokenANN 是最直接的思路将所有文档的所有 token 向量逐一索引到 HNSW 中搜索时对查询的每个 token 分别进行 ANN 检索收集命中的文档再进行精确 MaxSim 重排序。构建所有文档的所有 token 向量展平 → 共同构建一个 HNSW 索引维护向量→文档映射搜索逐 query token ANN 搜索 → 按文档映射聚合去重 → MaxSim 重排序索引规模为 N_docs × avg_doc_len是三种策略中最大的。优点是无信息损失、实现简单缺点是索引体积大且搜索时需要对多个 token 分别检索再聚合延迟最高。2.2 MUVERA随机投影编码核心思想MUVERA 的核心思想是通过随机投影将变长的多向量文档编码为固定长度的单向量Fixed Dimension Encoding, FDE从而将问题转化回标准的单向量 ANN 检索。MaxSim 的核心操作是为每个查询 token 找到文档中最相似的 tokenMUVERA 的关键洞察是如果我们用随机投影将向量空间划分为若干区域相似的向量大概率会落入同一区域。因此只要按区域桶聚合文档的 token 向量查询 token 在对应桶内就能找到与其最相似的文档 token——将 MaxSim 的全局搜索转化为桶内的局部匹配。FDE 编码具体做法是将向量空间划分为固定数量的桶让每个 token 向量落入对应的桶中再对桶内向量取均值。无论文档有多少个 token桶的数量是固定的因此最终得到固定长度的文档表示。分桶的具体方式是随机生成 num_projections 个超平面每个超平面将空间一分为二。一个 token 向量在每个超平面上要么在正侧记为 1要么在负侧记为 0这样 num_projections 个超平面产生一个 num_projections 位的二进制编码对应 2^num_projections 个桶。例如 num_projections4 时每个 token 向量得到一个 4 位编码如 0110落入 2⁴16 个桶之一。对每个桶内的 token 向量取均值得到一个 token_dim 维的向量将所有桶的均值拼接就是一次编码的结果。由于单次随机划分可能不够稳定MUVERA 使用 num_repeats 组不同的随机超平面独立编码再将结果拼接。最终 FDE 向量的维度为 num_repeats × 2^num_projections × token_dim。举一个具体例子假设 token_dim2num_projections2一个文档有 4 个 token 向量[0.3, 0.8]、[0.9, 0.1]、[0.5, 0.6]、[0.7, 0.2]。2 个随机超平面将空间划分为 2²4 个桶。假设 4 个 token 的二进制编码分别为 00、10、01、10则桶 00mean([0.3, 0.8]) [0.3, 0.8]桶 01mean([0.5, 0.6]) [0.5, 0.6]桶 10mean([0.9, 0.1], [0.7, 0.2]) [0.8, 0.15]桶 11空桶填零 [0, 0]拼接 4 个桶的均值得到 FDE 向量[0.3, 0.8, 0.5, 0.6, 0.8, 0.15, 0, 0]维度为 2² × 2 8。无论文档有 4 个还是 400 个 tokenFDE 维度始终是 8。num_repeats 则是用不同的随机超平面重复上述过程多次将每次的结果拼接以提高编码的鲁棒性。例如 num_repeats7 时最终维度为 7 × 8 56。实际测试中我们使用 MUVERA-3-7num_projections3, num_repeats7和 MUVERA-4-7num_projections4, num_repeats7等配置。非对称编码与检索流程MUVERA 在文档端和查询端的 FDE 编码并不对称文档端对桶内向量取均值求和后除以数量而查询端只做求和不除以数量。直觉上文档的桶内均值代表该区域的典型语义而查询端保留求和是为了让包含更多相似 token 的桶获得更高的匹配权重从而更好地近似 MaxSim 中取最大值的行为。构建doc 的所有 token 向量 → FDE 编码桶内取均值 → 固定长度单向量 → HNSW 索引每文档 1 个向量搜索query 的所有 token 向量 → FDE 编码桶内求和 → ANN 候选 → MaxSim 重排序索引规模为 N_docs × 1。优点是无需训练、实现简单缺点是随机投影带来信息损失且 FDE 维度随参数增长可能很大如 MUVERA-4-7 在 token_dim128 时FDE 维度达 7 × 16 × 128 14336影响 ANN 检索效率。MUVERA 可以和量化结合以降低整体维度或者精度。2.3 LEMUR学习型多向量压缩LEMUR 的核心思想是将每个文档的多个向量embedding list压缩为一个固定维度的向量使得标准 ANN 搜索可用。与 MUVERA 的无参数随机投影不同LEMUR 采用数据驱动的方式训练一个 MLP 网络从语料库中学习最优的压缩映射。构建阶段准备训练数据从所有文档的 token 向量中随机抽取 num_train_samples 个向量。将每个样本视为只含单向量的查询计算它与每个文档的 MaxSim 分数得到标签矩阵 Y num_samples × num_docs。训练MLP训练一个两段式的 MLP多层感知机输入为 dim 维的向量输出为 num_docs 维的预测分数即预测该向量与每个文档的 MaxSim。网络的前半段称为特征提取器将输入映射到 hidden_dim 维的中间表示后半段为输出层将中间表示映射到最终预测。训练的目标是让预测分数逼近真实的 MaxSim 标签。OLS拟合文档表示 W训练完成后丢弃输出层只保留特征提取器。用它将所有样本向量映射为 hidden_dim 维的中间特征 Z num_samples × hidden_dim然后通过最小二乘法OLS求解文档表示矩阵 W num_docs × hidden_dim使得 Z × W^T 尽可能逼近真实标签 Y。这样每个文档被压缩为一个 hidden_dim 维的向量。建ANN索引在 W 上构建 HNSW 索引每文档 1 个向量。搜索阶段对查询的所有 token 向量通过特征提取器得到隐藏特征将所有 token 的隐藏特征求和为一个向量。用该向量在 W 的 HNSW 索引上进行 ANN 搜索得到候选文档。对候选文档进行精确 MaxSim 重排序。索引规模同样为 N_docs × 1。优点是数据自适应压缩能够针对具体语料库学习最优的文档表示缺点是需要训练时间且存在系统性的长度偏置问题详见第 5 节。2.4 策略对比总结03实验设计3.1 文本检索模型我们选取三个不同规模和特性的 ColBERT 模型以及一个 Dense 单向量基线三个 ColBERT 模型在参数规模、基座架构和 embedding 空间特性上存在显著差异这些差异将直接影响近似策略的表现详见第 5 节。Dense E5-base-v2 作为单向量基线用于衡量多向量方案相对于传统稠密检索的优势。数据集四个数据集在文档长度分布上形成互补MS MARCO 为短文档且分布紧凑SciFact 为长文档但分布均匀TREC-COVID 长度方差较大LoTTE 是唯一具有重度长尾的数据集最长文档超过 4000 向量。这一长尾特性将在 LEMUR 的长度偏置分析中扮演关键角色。数据采样说明TREC-COVID 和 LoTTE 从完整语料库中随机采样 5,000 篇文档再筛选在样本中命中足够 GT 的查询TREC-COVID 要求 ≥5 篇LoTTE 要求 ≥1 篇MS MARCO 由于语料库极大880 万篇且标注稀疏每条查询仅 ~1 篇 GT随机采样几乎无法命中 GT因此采用混合采样先确保 GT 文档入选再用随机文档填充至 5,000 篇SciFact 使用全部 5,183 篇文档。所有模型含 Dense E5 基线共享相同的文档集和查询集仅编码模型不同。策略配置所有近似策略均以 HNSW 作为底层 ANN 索引统一 ratio5.0即候选放大 5 倍后 MaxSim 重排序。具体配置MUVERA-3-7num_projections3, num_repeats7FDE 维度 7 × 8 × token_dimMUVERA-4-7num_projections4, num_repeats7FDE 维度 7 × 16 × token_dimLEMURhidden_dim256, num_layers2, num_train_samples200003.2 多模态检索模型在视觉文档检索场景中我们选取两个 ColQwen 多向量模型和一个 Dense 基线多模态模型将文档页面图像编码为 patch 级向量类似文本场景中的 token 向量查询文本编码为 token 级向量检索同样基于 MaxSim 机制。数据集DocVQADocument Visual Question Answering包含真实文档图像及对应的自然语言问题任务是根据问题检索最相关的文档页面总结就是文本query检索图片。策略配置与文本检索相同使用 TokenANN、MUVERA-3-7、MUVERA-4-7、LEMURratio5.0。3.3 评估体系我们使用两类指标从不同角度评估检索质量E2E 指标对 Ground Truth 的端到端质量衡量检索系统最终找到真实相关文档的能力包括nDCG10归一化折损累积增益综合衡量 top-10 结果的排序质量MRR10首个相关文档的排名倒数衡量首结果精度R100top-100 结果中相关文档的召回率Math 指标对 BruteForce 的还原度将 BruteForce MaxSim 的排序结果当做 Ground Truth衡量近似策略对其的保持程度。可计算 Math nDCG10、Math R100 等与 E2E 指标使用相同的度量方式区别仅在于 Ground Truth 来源不同。这一类指标反映的是近似算法本身的精度与下游标注无关。需要注意的是这两类指标衡量的是不同维度的质量Math 指标反映近似算法对 BruteForce 排序的保持度E2E 反映最终找到真实相关文档的能力。两者并不总是一致——当 MaxSim 本身与人类相关性判断存在偏差时高 Math 指标不一定带来高 E2E 质量。我们将在实验结果中对比这两类指标。本文主要报告 ratio5.0 的结果即查询 5 * top-k 篇文档进行 rerank。04文本检索多向量的价值是有条件的4.1 BruteForce 层面多向量始终占优在精确计算 MaxSim 的 BruteForce 条件下ColBERT 多向量在所有数据集上均优于 Dense E5 单向量E2E nDCG10BruteForceE2E MRR10BruteForceE2E R100BruteForce多向量的优势幅度与场景强相关MS MARCO 上各指标差距均在 ~1pp 以内短文档语义简单而 TREC-COVID 上差距最为显著——nDCG10 高出 12–17ppMRR10 高出 16–22ppR100 高出 16–18pp验证了 token 级交互在长文档复杂场景中的核心价值。4.2 近似后优势仅在部分场景保持下表列出 E2E nDCG10 作为核心指标完整的 MRR10 和 R100 数据见附录 A。加粗标注每行最优近似策略。E2E nDCG10ratio5.0按数据集分析TREC-COVID多向量方案的核心优势场景。三个模型的最优策略 nDCG10 均大幅超过 Dense E57~12ppR100 同样全面领先68.6%~71.2% vs 56.7%。长文档、复杂查询、密集标注的特性使 token 级交互的优势在近似损耗后仍然显著。MS MARCO优势几乎消失。仅 Jina TokenANN 勉强持平 Dense E50.956 vs 0.954其余组合均不如。短文档场景下多向量的增量本就有限BF 仅高 ~1pp近似损耗足以抹平。注意本文 MS MARCO 采用混合采样任务难度低于全库检索结论适用范围有限。SciFact全面不如 Dense E5。尽管 BruteForce 层面多向量优势明显3~9pp nDCG10所有模型的最优近似策略均未能超过 Dense E5 的 0.687。SciFact 文档平均向量数最多~360是近似损耗最大的场景。LoTTE表现严重分化。Jina TokenANN0.701大幅超过 Dense E50.611Answerai LEMUR0.627也有优势但 ColBERT-Zero 最优仅 0.517远低于 Dense E5。值得注意的是 Jina LEMUR 在 LoTTE 上出现灾难性崩溃nDCG 0.109R100 仅 30.5%这一现象将在第 5 节长度偏置分析中详细讨论。策略表现模式在本文的超参配置下ratio5.0固定 MUVERA/LEMUR 参数可以清晰看到模型与策略之间的强烈亲和性JinaTokenANN 和 MUVERA 表现最优LEMUR 在 LoTTE 上灾难性崩溃。Answerai 和 ColBERT-ZeroLEMUR 在所有数据集上均排名第一其他策略大幅落后。尤其 Answerai 的 MUVERA 表现极差如 SciFact MUVERA-3-7 仅 0.303。这一模型-策略亲和性将在第 5 节中从embedding 空间区分度的角度深入分析。近似质量Math nDCG10Math nDCG10 衡量近似策略对 BruteForce 排序结果的还原度详见 3.3 节。完整 Math R100 数据见附录 B。加粗标注每行最优策略。Math nDCG10相对 BruteForceratio5.0对比 E2E nDCG10有以下发现模型-策略亲和性Math 表中 Answerai 和 ColBERT-Zero 的最优策略与 E2E 表一致均为 LEMUR。Jina 在 E2E 上偏好 TokenANN/MUVERAMath 上也以这两者为主SciFact 例外LEMUR Math nDCG 略高。ColBERT-Zero SciFact 是最大瓶颈最优 Math nDCG10 仅 0.683远低于其他组合近似阶段本身的质量损耗就已经很严重。Jina LEMUR LoTTE 崩溃在 Math 层面同样可见Math nDCG10 仅 0.258与 E2E 的 0.109 一致——问题出在近似阶段而非重排序将在第 5 节详细分析。简言之BruteForce 层面多向量始终更好但这一优势能否在近似检索中保持取决于数据集特征文档复杂度、查询难度和模型-策略的匹配程度。在 TREC-COVID 这样的长文档复杂场景中多向量方案即使经过近似也能显著胜出而在 MS MARCO、SciFact 这样的场景中直接使用 Dense 单向量可能是更务实的选择。05Embedding 空间区分度与策略亲和性第 4 节的数据揭示了一个显著的模式Jina 偏好 TokenANN/MUVERA而 Answerai 和 ColBERT-Zero 偏好 LEMUR。本文观察到embedding 空间的区分度差异是解释这一亲和性的一个很强的变量。5.1 什么是 Embedding 区分度Embedding 区分度描述的是模型输出的 token 向量在空间中的分散程度。高区分度意味着不同 token 的向量彼此远离单个 token 向量具有较强的辨识力低区分度意味着 token 向量彼此靠近单个向量难以区分不同的语义。我们通过以下方式量化区分度从语料库中随机抽取 token 向量作为单向量查询计算每个样本与所有文档的 MaxSim 分数统计这些分数的分布特性。以 LoTTE 数据集为例Jina 的 MaxSim 分布范围宽均值 0.589标准差 0.157不同文档获得的分数差异大——空间区分度高。Answerai 的 MaxSim 高度集中均值 0.924标准差 0.050几乎所有文档都获得相近的分数——空间区分度低。ColBERT-Zero 介于两者之间属于中等区分度。关键的是最后三行Jina 的短文档与长文档 MaxSim 差高达 0.174而 Answerai 仅 0.021。这意味着在高区分度空间中文档长度本身就会显著影响 MaxSim 分数——这将直接导致 LEMUR 的长度偏置问题详见 5.3 节。5.2 区分度与策略亲和性高区分度Jina→ TokenANN / MUVERA 有效当 token 向量彼此远离时每个 token 都是独特的语义探针。TokenANN 对单个 query token 做 ANN 搜索时能精准命中语义相关的 doc token从而有效聚合出相关文档。MUVERA 的随机投影分桶也能将语义相似的 token 划分到同一桶中因为空间中的区分度足以支撑分桶的局部保序性。数据佐证Jina 的 TokenANN Math R100 在所有数据集上均为 68.5%~88.5%远高于 Answerai 的 44.6%~65.5%。低区分度Answerai→ LEMUR 有效当 token 向量彼此靠近时ANN 检索无法有效区分相关与不相关的 token——搜索一个 query token 会命中大量语义无关但向量相近的 doc token导致 TokenANN 和 MUVERA 的初筛质量极差。但 LEMUR 在低区分度下不受影响。LEMUR 的训练标签是 MaxSim 分数label[v, d] max_{t∈d} IP(v, t)。在低区分度空间中所有 token 对的内积都压缩在极窄的范围内Answerai 为 0.90~0.94文档长度对 MaxSim 的影响微乎其微短文档 0.914 vs 长文档 0.935差仅 0.021。LEMUR 的主要弱点——长度偏置详见 5.3 节——在这种空间中被自然消除MLP 转而学习语义特征。Answerai LEMUR Math nDCG10 在所有数据集上均达 0.848~0.878。5.3 LEMUR 的长度偏置从机制到崩溃LEMUR 长度偏置的根源在于 MaxSim 标签的计算方式。对于采样向量 v 和文档 d以内积IP为例文档包含的 token 越多取到高内积值的概率越大——这是一个纯粹的统计效应。当 embedding 空间的区分度足够高时这一效应会产生系统性的长度偏置长文档的 MaxSim 分数系统性地高于短文档不是因为它们语义更相关而是因为取 max 的集合更大命中高内积值的概率更高。MLP 在训练时会捕捉这一统计规律学到的主要信号变成长文档 高 MaxSim而非语义相关 高 MaxSim。OLS 回归W pinv(Z)Y随即产生编码文档长度的权重向量导致检索时按长度而非相关性排序。长度偏置的严重程度取决于两个因素的叠加Embedding 区分度区分度越高短文档与长文档的 MaxSim 差异越大见 5.1 节表格。Jina LoTTE 上差距 0.174Answerai 仅 0.021。文档长度方差长度分布越不均匀长度偏置的影响越大。LoTTE 的文档长度跨越 10~4109 tokens呈重度长尾分布是四个数据集中长度方差最大的。当高区分度Jina与高长度方差LoTTE叠加时LEMUR 出现灾难性崩溃Math R100 仅 24.7%E2E nDCG10 从 BF 的 0.722 降至 0.109。而同样是 Jina在长度分布较均匀的 MS MARCO 和 SciFact 上LEMUR 虽非最优但仍可用nDCG 0.921、0.651。同样是 LoTTEAnswerai LEMUR 则完全不受影响R100 95.1%nDCG 0.627。这不是实现 bug而是 LEMUR 算法设计中的固有风险——MaxSim 标签天然携带长度信号当该信号足够强时MLP 会优先学习长度而非语义。在没有长度归一化或平衡采样等缓解措施的情况下高区分度 高长度方差的组合将导致严重的质量退化。06多模态验证视觉文档检索文本检索中多向量的优势在近似后大幅缩水仅在部分场景保持。视觉文档检索场景是否也如此我们在 DocVQA 上使用 ColQwen2、ColQwen3 和 Dense Qwen3-VL-Embedding 进行了验证实验设计见 3.2 节。E2E nDCG10DocVQAratio5.0与文本检索的对比有以下发现多向量优势更加显著且近似后稳定保持。BruteForce 层面ColQwen2 和 ColQwen3 分别比 Dense 高出 8.9pp 和 17.7pp nDCG10。经过近似策略后ColQwen2 最优策略 LEMUR0.596仍超过 Dense 7.5ppColQwen3 最优策略 LEMUR0.704超过 Dense 18.3pp。相比文本检索中多向量优势在 MS MARCO、SciFact 上被近似损耗抹平的情况视觉文档检索的多向量优势更加稳固。TokenANN 完全失效。两个模型的 TokenANN nDCG10 均不足 0.05。视觉模型的 patch 向量数量极大ColQwen2 每文档 5143 个、ColQwen3 每文档 1250 个单个 patch 仅编码局部图像区域语义信息有限per-token ANN 无法有效定位相关文档导致候选质量极差。MUVERA 和 LEMUR 均有效。排除 TokenANN 后两种压缩策略都能较好地保持 BruteForce 质量。ColQwen3 LEMUR 的 nDCG100.704甚至略高于 BF0.698这一 0.006 的差异在 100 条查询的小样本上更可能是评测噪声。视觉文档的多向量价值更大。文档图像包含表格、图表、排版等复杂视觉元素单个向量难以捕捉这些多层次的信息而 patch 级多向量能在空间上保留局部视觉特征。这使得多向量相对于 Dense 的增量远大于文本场景近似策略的损耗也不足以抹平这一优势。07探索直接在 Embedding List 上构建 HNSW前文的三种策略都需要将多向量压缩或拆解为单向量后再建 ANN 索引不可避免地引入信息损失。一个自然的问题是能否跳过压缩直接在 embedding list 粒度上构建 HNSW7.1 方法将每个文档的 embedding list 作为 HNSW 中的一个节点节点间的相似度定义为双向 MeanMaxSimsim(A, B) MeanMaxSim(A, B) MeanMaxSim(B, A实现上通过取负转为距离传入 HNSW。这一设计涉及三个关键选择为什么双向HNSW 建图要求距离函数具有对称性而 MaxSim 本身不对称MaxSim(A,B) ≠ MaxSim(B,A)因此需要双向计算。为什么取 MeanMaxSim 的值随左侧向量数量增长——文档越长求和项越多分数越高。除以左侧长度消除这一偏置使不同长度的文档在建图时获得可比的相似度度量。为什么搜索时用 MaxSim 而非 MeanMaxSim检索排序只需要 MaxSim(query, doc)即查询中每个 token 在文档中的最佳匹配之和这直接衡量查询相对于文档的匹配程度。反向的 MaxSim(doc, query) 衡量的是文档中每个 token 在查询中的配对由于文档远长于查询大量文档 token 与查询无关反向分数主要是噪声不具备检索意义。建图时双向计算是合理的节点都是文档文档之间的双向 MeanMaxSim 能有效衡量彼此的语义相关性而搜索时查询与文档角色不对等应回到语义上有意义的单向 MaxSim(query, doc)。7.2 实验结果我们在 MS MARCOJinaavg_len87和 TREC-COVIDAnsweraiavg_len236上进行了测试。E2E nDCG10Math nDCG10EmbList HNSW 的 Math nDCG10 远高于三种策略0.98 vs 0.87~0.89近似阶段几乎无损。E2E 上 TREC-COVID 完全达到 BF 水平0.516MS MARCO 也几乎持平0.957 vs 0.966。7.3 代价与局限构建时间是主要瓶颈。EmbList HNSW 的每次距离计算是双向 MeanMaxSim需要计算两个 embedding list 间所有 token 对的内积复杂度为 O(avg_len² × dim)相比单向量的 O(dim) 贵 avg_len² 倍但节点数从 N × avg_len 降为 N少 avg_len 倍。两者相抵理论建图耗时比为 O(avg_len)。实测比值约为 avg_len × 0.07~0.08比值 / avg_len 分别为 0.07、0.077与理论 O(avg_len) 一致。更关键的限制是embedding list 长度的上界。当文档包含数千个向量时ColQwen2 每文档 5143距离计算代价随 list 长度急剧增长构建和搜索的延迟都将变得不可接受。这一限制排除了长文档和多模态等核心应用场景因此该方案暂不纳入 Knowhere 的实现。尽管如此该实验验证了一个重要的上界当近似阶段几乎无损时多向量检索的 E2E 质量可以非常接近 BruteForce。这也说明当前三种策略的主要瓶颈确实在近似阶段的信息损失。08结论与策略选择指南8.1 核心发现本文通过三个 ColBERT 模型、四个文本数据集和一个多模态数据集的系统评测得出以下结论多向量在多模态检索中价值突出。视觉文档包含表格、图表、排版等复杂视觉元素单向量无法充分表达这些多层次信息。DocVQA 实验中ColQwen3 BruteForce nDCG10 比 Dense 高出 17.7pp经过近似策略LEMUR后依然高出 18.3pp近似损耗几乎为零——这一优势幅度远超文本场景。在本文的实验中多模态检索是 embedding list 方案最具说服力的应用场景。文本场景中多向量的价值是有条件的。BruteForce 层面多向量始终优于 Dense 单向量但经过近似策略后这一优势仅在长文档复杂查询如 TREC-COVID中稳定保持。在本文评测设定下短文档简单场景如 MS MARCO中 Dense 单向量可能是更务实的选择。模型与策略之间存在强烈的亲和性。本文观察到embedding 空间的区分度是解释最优策略差异的一个很强的变量高区分度模型如 Jina倾向于在 TokenANN / MUVERA 上表现更好低区分度模型如 Answerai倾向于在 LEMUR 上表现更好。选错策略的代价可能远大于选错模型——Jina LEMUR 在 LoTTE 上 nDCG10 仅 0.109而 Jina TokenANN 达 0.701。LEMUR 存在系统性的长度偏置风险。当高 embedding 区分度与高文档长度方差叠加时LEMUR 会出现灾难性的质量崩溃。这是 MaxSim 标签中固有的长度信号导致的算法层面风险。近似阶段是主要瓶颈。EmbList HNSW 实验表明当近似阶段几乎无损时Math nDCG10 0.98E2E 质量可以非常接近 BruteForce。当前三种策略的质量损失主要来自近似阶段的信息压缩。8.2 策略选择指南以上推荐基于本文的超参配置ratio5.0固定 MUVERA/LEMUR 参数。实际部署时可以通过采样 token 向量计算跨文档 MaxSim 分布作为快速启发式诊断注意该指标本身混有文档长度效应再结合具体超参调优和小规模评测选择策略。8.3 关于延迟本文聚焦检索质量延迟不作详细展开但值得简要说明三种策略的延迟特征。搜索分为两个阶段候选筛选ANN 搜索和MaxSim 重排序。LEMUR延迟最低且最稳定候选筛选是标准的单向量 HNSW 搜索hidden_dim 固定速度很快。MUVERA候选筛选延迟受 FDE 维度影响维度越大num_projections 和 num_repeats 越高一阶段越慢。TokenANN延迟最高需要对每个 query token 分别进行 ANN 搜索再聚合搜索次数与查询长度成正比显著慢于另外两种策略。对于 MUVERA 和 LEMUR候选筛选速度较快MaxSim 重排序占据了绝大部分延迟——这也意味着在这两种策略下ratio 参数对总延迟的影响远大于策略本身的选择。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】