多向量模型对检索延迟的关键影响因素

多向量模型对检索延迟的影响，不是简单地“向量数量变多，所以响应变慢”。真正决定延迟的，是查询编码、索引访问、候选评分、结果整理等阶段如何共同变化，以及多向量交互带来的计算量是否被缓存、硬件和候选规模放大。

延迟从哪里增加

传统单向量检索通常只需比较查询向量与文档向量。ColBERT 风格的多向量模型则为文本保留多个词元级向量，并在检索阶段通过晚期交互完成匹配。以 MaxSim 为代表的机制，需要让查询中的词元与候选文档中的多个词元建立对应关系，因此候选数量、每个文档包含的向量数量，以及交互计算方式，都会影响评分阶段的耗时。

查询编码未必是主要瓶颈。即使编码阶段变化有限，候选文档评分仍可能因多组向量交互而增加计算；同时，索引体积扩大后，数据读取、缓存命中和内存占用也可能改变。文档切分方式还会影响每个文档对应的向量数量，进而影响索引访问和评分成本。换言之，延迟上升可能来自计算，也可能来自存储访问，不能只盯着模型推理时间。

因此，评测必须拆分阶段记录：查询编码、索引检索、候选评分和结果整理分别耗时多少，并同时观察平均延迟与高分位延迟。冷启动、缓存命中、缓存未命中也应分开测试，否则平均值可能掩盖长尾请求。查询集、并发条件、硬件环境、索引状态和候选数量必须保持一致，才能判断延迟变化究竟来自模型，还是来自实验条件。

不能脱离质量看速度

多向量模型的价值通常出现在多条件查询、局部证据查询和包含专有表达的查询中。若它能显著改善这些关键场景的召回覆盖和排序位置，即使增加一定延迟，也可能具备上线价值；但如果收益只体现在少量边缘查询，却同步带来更大的索引体积、构建成本和长尾风险，单向量方案或针对特定查询启用多向量路径，可能更合理。

上线判断应同时记录检索质量、阶段延迟、索引大小、构建与更新成本，以及并发下的资源变化。最终要回答的不是“多向量模型是否更快”，而是它在企业关键查询上的质量收益，是否足以抵消新增的计算、存储和运维成本。