Python 实战检索优化:BM25、向量与重排
“ 从 BM25 到重排:Python 检索链路的原理、代价与边界 检索优化最常见的误区,是把 BM25、向量召回和重排当成三个可以互相替代的选项,然后争论“哪个更强”。真实的检索系统是一条流水线:每一级只负责把候选集缩小一点、把顺序调准一点, ”
从 BM25 到重排:Python 检索链路的原理、代价与边界
检索优化最常见的误区,是把 BM25、向量召回和重排当成三个可以互相替代的选项,然后争论“哪个更强”。真实的检索系统是一条流水线:每一级只负责把候选集缩小一点、把顺序调准一点,而每一级都有自己的失效模式和算力账单。这篇文章从开发者视角拆开这条链路:BM25 的打分公式到底在惩罚什么、向量索引的参数在拿什么换什么、重排为什么必须放在最后、以及一个 Python 团队在不动模型的前提下还能调哪些旋钮。
先明确问题:召回与排序是两件事
一个搜索请求进来,工程上要回答两个不同的问题。第一个是“相关文档有没有进候选集”,这由召回决定,衡量指标是 Recall@k;第二个是“进了候选集的文档排得对不对”,这由排序决定,衡量指标是 nDCG@10、MRR 之类。这两件事的优化手段几乎不重叠,但线上效果变差时,两者的症状很容易被混淆:用户搜不到,可能是召回漏了;用户搜到了但没点,可能是排序错了。如果不把这两层拆开做评估,后面的调参全是盲调。
词法召回(BM25)和语义召回(向量)的差异,本质上是匹配信号的差异。BM25 匹配的是词项,要求 query 和文档共享同一个 token;向量匹配的是 embedding 空间里的方向,要求两者在模型看来语义相近。前者对精确串(型号、错误码、人名、法规条款号)极其可靠,对同义改写无能为力;后者反过来,能跨过“笔记本电脑”和“便携式计算机”的鸿沟,却经常在“iPhone 15”和“iPhone 14”之间给出几乎一样高的相似度——因为在这个 embedding 空间里,它们确实很像。
所以工业界的默认答案不是二选一,而是混合召回加两级排序:稀疏召回与稠密召回并行取候选,融合去重,再用 cross-encoder 精排。这条链路之所以稳定,不是因为哪一级特别强,而是因为各级的失效模式不重合:BM25 漏掉的可能被向量捞回来,向量误判的精确串可能被 BM25 顶上去。
BM25:一个概率模型在工程里的具体形状
BM25 的打分公式在几乎所有实现里都是同一个形状:
score(q, d) = Σ_t IDF(t) · [ f(t,d) · (k1 + 1) ] / [ f(t,d) + k1 · (1 - b + b · |d| / avgdl) ]
IDF(t) = ln( (N - n(t) + 0.5) / (n(t) + 0.5) + 1 )
理解它只需要抓住三件事。IDF 衡量词项的区分度:出现在越少文档里的词权重越高,所以停用词即使不删也几乎不影响排序。tf 饱和由 k1 控制:一个词在文档里出现 1 次和 5 次的差距,远大于 5 次和 50 次的差距,k1 越小饱和越快。长度归一化由 b 控制:b=1 时完全按文档长度惩罚长文档,b=0 时彻底关闭。Elasticsearch / OpenSearch 的 BM25Similarity 默认 k1=1.2、b=0.75,这是一个通用起点,不是定律。
b 是最值得按业务重调的参数。短文本场景(标题、商品名、FAQ 问句)里文档长度差异本身就携带信息量,b 调低甚至归零往往更稳;长文档(合同、工单、技术手册)里如果不做长度归一化,长文档会因为“什么词都出现过”而系统性地压过精准的短文档。有些团队会按字段拆开打分,标题字段用一套参数、正文字段用另一套,再线性加权——这就是 BM25F 的思路,Elasticsearch 的 multi_match 配合 boost 可以近似实现。
Python 侧的三条实现路径
纯 Python 库:rank_bm25 的 BM25Okapi 是最常见的入门选择,几十行代码就能跑起来,适合做原型和离线评估。它有两个容易踩的坑:一是它需要你预先传一个分词后的语料列表,本质上是把倒排索引退化成了全量扫描,文档量上万之后查询延迟会肉眼可见地变差;二是它对 IDF 为负的词项做了处理(把负值压到一个与平均 IDF 相关的小正数),这会让极高频词的行为与 Elasticsearch 略有差异——做离线对比实验时,这个差异足以让结论偏移。
检索引擎:生产环境更常见的是直接调 Elasticsearch / OpenSearch,让 Lucene 去管倒排、段合并和删除标记。这时候 BM25 不是你要实现的东西,而是你要配置的东西:k1、b、字段 boost、分词器、同义词表。好处是增量更新、权限过滤、聚合统计全都现成;代价是排序逻辑被封装在引擎里,想加自定义特征就得走 function score 或二次排序,链路开始变长。
轻量嵌入式:SQLite 的 FTS5 扩展提供了 bm25() 排序函数,单机、零运维、可以直接嵌进 Python 服务。需要注意的是 FTS5 的 bm25() 返回的是负值,越小越相关,直接拿去和别的分数做加权会得到完全相反的排序,必须取负或用 ORDER BY bm25(tbl) 让它自己排。这个符号问题在混合检索里尤其危险,因为错误的分数会静默地污染融合结果。
中文场景:分词就是一半的效果
BM25 的效果上限很大程度上由分词决定。中文没有空格,jieba、HanLP、pkuseg 是常见选择,其中 jieba.cut_for_search 的搜索模式会额外产出长词内部的短词(“中华人民共和国”同时产出“中华”“人民”“共和国”),这种重叠切分在召回阶段通常比精确模式更划算——多出来的 token 提高了召回,噪声交给后面的重排去处理。
工程上还有几件必须做的事:全半角统一、大小写归一、繁简转换、停用词与标点过滤。领域词典要自己维护,尤其是产品名、缩写、型号——分词器把“X200 Pro”切成“X200”和“Pro”,BM25 的精确匹配能力就丢了一半。对于实在切不准的场景(型号、代码、URL),一个实用的兜底是加一路字符 n-gram 索引,让子串匹配也能命中。
BM25 的边界也很清楚:它完全不懂同义和改写,对长 query(一句话的自然语言提问)噪声 tolerant 能力差,对否定语义(“不含酒精的饮料”)无从表达。这些不是调参能解决的,只能靠第二路召回去补。
向量召回:把语义压成一个点,然后为这个点建索引
向量召回分两步:编码和索引。编码把 query 和文档各自映射成一个定长向量,索引负责在高维空间里快速找最近邻。这两步的坑完全不同。
编码:模型选型之外,更容易被忽略的是“怎么用”
Python 生态里 sentence-transformers 是事实标准,FlagEmbedding(BGE 系列)、transformers 直接加载也都很常见。选型时看三件事:语言覆盖、最大输入长度、以及是否区分 query / passage 的编码方式。
第三点经常被忽略,但影响很大。不少检索模型在训练时对 query 和 passage 使用了不同的前缀或指令(例如给 query 加“为这个问题检索相关段落:”之类的 instruction),推理时如果不加,等于在分布外使用模型,召回率会明显下降。BGE、E5 这类模型的模型卡里都写清楚了推荐用法,照做即可;自己微调过的模型则要把训练时的模板原样搬到线上,并且版本化——换了模板或换了模型,旧索引必须全量重编码,绝对不能新旧向量混在同一个索引里。
最大输入长度是第二个硬约束。多数通用 embedding 模型的上下文是 512 token,超长文档会被直接截断,被截掉的部分对检索完全不可见。对策是分块(chunking):按段落或固定窗口切,窗口之间留一定重叠避免语义被切断,每个 chunk 独立编码。代价是同一篇文档会产生多个命中,需要在融合阶段按文档聚合去重,否则 top 10 里可能出现同一篇文章的五个片段。长上下文模型(支持 8k 的模型)能缓解但解决不了根本问题——把整篇文档压成一个向量,信息密度必然稀释。
向量还要归一化。归一化之后内积等价于余弦相似度,FAISS 里可以直接用 IndexFlatIP;不归一化又用 IP 索引,结果是“向量模长大的文档更容易被召回”,这是一个非常隐蔽的偏差。
索引:HNSW 的参数在拿召回率换延迟
精确最近邻(IndexFlat)在几十万条以内完全够用,延迟稳定、结果可复现,做离线评估时应该以它为基准。超过这个量级就要上近似索引,主流是 HNSW 和 IVF 系列。
HNSW 有三个关键参数:M(每个节点的连边数,决定图的质量和内存)、efConstruction(建图时的搜索宽度,只影响建索引时间和索引质量)、efSearch(查询时的搜索宽度,直接决定延迟与召回率的权衡)。实践中 M 取 16~32、efConstruction 取 100~200 是常见起点,真正需要在线调节的只有 efSearch:调大召回率上升、延迟线性上升。FAISS 里通过 ParameterSpace 在查询时动态设置,这意味着可以按请求的重要程度做差异化——普通请求 efSearch=32,重要请求拉到 128。
IVF 系列(含 PQ 量化)省内存但需要训练、需要调 nprobe,且对数据分布敏感。如果向量要落盘到数据库,pgvector 的 HNSW 索引、Qdrant / Milvus 这些专用服务都是可选路径,区别主要在过滤能力:带权限、租户、时间范围的检索,过滤条件必须能下推到索引层,否则先取 top 100 再过滤,很可能过滤完只剩个位数,召回被人为砍断。这是混合检索里最常见、也最难从指标上看出来的性能损失。
内存要提前算清楚:N × d × 4 字节。一百万条 768 维的 float32 向量大约是 3GB,加上 HNSW 的图结构还要再涨一截。int8 量化能把每维压到 1 字节,Matryoshka 表示学习(MRL)训练的模型支持直接截断维度(比如 1024 维取前 256 维)而不用重训,这两种手段在成本敏感的场景里比换更小的模型更实用。
向量召回的失效模式和 BM25 几乎互补:精确串、罕见专有名词、否定、数值比较(“价格低于 500”)、多条件组合,都是它的弱项;而它的强项恰好是 BM25 的死角——同义改写、跨语言、口语化提问。
融合:分数不可比,名次可比
两路召回各返回一个带分数的列表,最直接的诱惑是按权重加权求和。这个做法通常不成立:BM25 的分数是无界的(取决于 IDF 分布和 query 长度),cosine 相似度落在 -1 到 1 之间且实际分布非常集中(大量文档挤在 0.6~0.8),两者的量纲和分布形状完全不同,权重就变成了一个靠试出来的魔数。更糟的是分布会随 query 漂移——同一个权重在不同 query 上等效于不同的相对重要性。
更稳的做法是 Reciprocal Rank Fusion:
RRF(d) = Σ_i 1 / (k + rank_i(d))
只使用名次,不使用分数,因此天然免疫量纲问题。k=60 是文献里的经验值,作用是压缩头部差异:k 越大,第 1 名和第 2 名的得分差距越小,融合越“平权”;k 越小,单路的头部结果越强势。这个参数对效果的影响通常小于“两路各自召回多少条”的影响。
工程上,融合阶段要做四件事:按 doc_id 去重合并、按规则加权(比如精确匹配命中的文档直接加分或置顶)、过滤(权限、时效、状态)、截断到重排能承受的候选数。候选数是一个真实的预算决策:每路取 50~200 条、融合后送 30~100 条进重排,是比较常见的区间。取太少,重排没有腾挪空间;取太多,延迟和成本线性上升而收益迅速递减。
重排:用算力换精度,但它救不了召回
重排模型(cross-encoder)和召回用的双塔模型(bi-encoder)在结构上是根本不同的。双塔把 query 和文档分别编码成向量,文档向量可以离线算好、建索引,所以能支撑百万级库;cross-encoder 把 [query, 文档] 拼成一个序列送进 Transformer,让注意力在两者的 token 之间直接交互,输出的相关性判断质量明显更高——但每对 (query, doc) 都要跑一次前向,不可能对全库做。
这就是重排只能放在最后的原因,也是它收益与代价的来源。它能看到 query 和文档之间的词级交互,所以对“文档包含了 query 的所有词但语义答非所问”这类问题特别有效,而这正是 BM25 和向量都容易犯的错。
实际使用时有几个参数要盯:
- 候选数与截断长度。重排成本大致正比于候选数 × 序列长度的平方项,把
max_length从 512 降到 256,延迟可能降一半以上,而多数情况下排序质量损失很小——因为判断相关性通常不需要读完整篇文档。前提是分块或截断策略要保证关键信息(标题、首段)在前 256 个 token 里。 - 批量与设备。CPU 上跑 cross-encoder 很容易成为整条链路的瓶颈,batch size 32~64 配上 ONNX Runtime 或 int8 量化是常见的加速手段;GPU 上则更受显存约束,需要限制并发。
- 分数校准。不同重排模型输出的 logit 尺度完全不同,有些模型训练时用二分类目标、需要过 sigmoid 才落到 0~1,有些直接输出 logit。这些分数不能跨模型比较,也不天然是概率。要设“低于阈值就不展示”的门槛,必须用自己业务的标注数据重新校准,否则会出现“全部结果都被过滤”或“阈值形同虚设”两种极端。
- 级联。候选多、延迟紧的场景可以做两级重排:先用小模型(6 层左右)从 100 条筛到 20 条,再用大模型精排。这是纯粹的工程折中,收益取决于两级模型的分歧有多大。
- LLM 做重排(listwise,把候选列表交给大模型排序)在离线实验中常有亮眼表现,但延迟、成本、输出格式稳定性都要额外兜底:模型可能返回不存在的 doc_id、可能漏掉部分候选、可能对顺序过度敏感。除非场景对质量极度敏感且流量可控,不建议作为默认路径。
必须说清楚的一点:重排的上限由召回决定。如果正确文档根本没进候选集,再强的 cross-encoder 也无能为力。很多团队在重排上反复换模型却收益甚微,真正的问题往往在召回侧——分词切错了、向量模型没加 instruction、过滤条件把结果砍没了。
| 环节 | 匹配信号 | 数据结构 | 主要成本 | 典型失效 |
|---|---|---|---|---|
| BM25 召回 | 词项重叠 | 倒排索引 | 索引存储与更新 | 同义改写、长 query、否定 |
| 向量召回 | 语义相似 | HNSW / IVF | 编码算力、向量内存 | 精确串、数值、专名 |
| 融合 | 名次 | 内存合并 | 可忽略 | 权重与 k 值失配 |
| 重排 | token 级交互 | Transformer | GPU/CPU 前向 | 召回缺失、阈值错设 |
一条最小可用的链路骨架
下面这段伪代码把上面的讨论串起来,重点不在代码本身,而在于每一级的输入输出边界——尤其是“融合只用名次”“重排只吃融合后的候选”这两个约束:
python
def hybrid_search(query, k_each=100, k_rrf=60, top_n=30, threshold=None):
bm25_hits = bm25_index.search(tokenize(query), k_each) # [(doc_id, score)]
dense_hits = dense_index.search(encode_query(query), k_each)
fused = {}
for hits in (bm25_hits, dense_hits):
for rank, (doc_id, _) in enumerate(hits, start=1):
fused[doc_id] = fused.get(doc_id, 0.0) + 1.0 / (k_rrf + rank)
cand = sorted(fused.items(), key=lambda kv: -kv[1])[:top_n]
cand = apply_filters(cand) # 权限 / 时效,理论上应下推到召回
pairs = [(query, doc_text[d]) for d, _ in cand]
scores = reranker.predict(pairs, batch_size=32, max_length=256)
ranked = sorted(zip([d for d, _ in cand], scores), key=lambda kv: -kv[1])
if threshold is not None:
ranked = [(d, s) for d, s in ranked if s >= threshold]
return ranked
真正要落到生产,还差三块:索引的双缓冲重建与别名切换(避免重建期间查询报错)、embedding 模型与索引版本的绑定(模型换了索引必须重建)、以及全链路的延迟打点(分位数而不是均值)。
评估:没有标注集,所有优化都是玄学
检索优化最容易被跳过、也最不能跳过的一步是建立评估集。最小可行的做法是:从真实查询日志里采样几百条 query,对每条 query 用当前的混合召回取回 top 20,人工标注相关性分级(比如 0 不相关、1 部分相关、2 完全相关),形成一份固定不变的“黄金集”。之后任何改动——换分词器、调 k1、换 embedding 模型、加重排——都在这份集合上跑一遍。
指标要分阶段看:召回阶段看 Recall@100(正确文档进没进候选),排序阶段看 nDCG@10(前排排得准不准)。如果 Recall@100 已经很高而 nDCG@10 上不去,问题在排序,加重排有意义;如果 Recall@100 本身就低,加重排纯属浪费算力,应该去查分词、向量模型和过滤条件。
标注成本可以用 LLM 辅助降低:让模型对 query-文档对打相关性分,再人工抽检一部分校准。需要注意的是,如果线上用的也是同一家族的模型做重排,用 LLM 标注去评估它会引入乐观偏差,抽检比例不能太低。
线上指标则要看行为信号:首条点击率、换 query 率、零结果率、以及延迟的 p95 / p99。离线指标涨了但线上不动,常见原因是离线评估集和真实流量分布不一致,或者延迟上升吞掉了质量收益——搜索是一个对延迟极度敏感的场景,慢 200ms 带来的体验损失可能超过 nDCG 涨的那两个点。
代价与边界:什么时候不该上这套链路
把这条链路完整搭起来的成本,远不止几行 Python。向量要占内存、编码要占算力、重排要占 GPU、索引重建要占运维窗口,此外还有 embedding 模型版本管理、索引与模型绑定、过滤下推、监控告警这些“看不到但会出事”的部分。所以先问一个问题:当前场景真的需要向量和重排吗?
如果语料规模在十万以内、领域术语密集、用户查询以短关键词为主(内部文档、法规库、商品型号检索),一个调好分词和 k1/b 的 BM25 往往已经够用,加向量带来的边际收益可能还不如把领域词典补齐。反过来,如果是面向普通用户的自然语言问答、跨语言检索、或者 query 与文档用词差异极大的场景,向量的价值立刻体现出来。
判断顺序建议是:先用 BM25 建基线并测出 Recall@100,再判断召回缺口是不是“词汇鸿沟”造成的——如果是,加向量;如果候选集已经够了但排序不准,直接上重排;如果两者都不缺,去优化 query 理解(同义扩展、纠错、意图分类)和过滤逻辑,收益可能更大。
最后一层边界是可解释性与合规。BM25 的排序理由可以逐词拆开给用户或审核看,cross-encoder 的分数不能。在需要给出“为什么这条结果排在前面”的场景里(企业搜索、合规审查、广告审核),重排可以用于内部排序,但解释层仍要回到词项命中上。
回到最初那个争论:BM25、向量、重排不是三个候选方案,而是三个不同职责的工位。把它们放在同一条流水线上,每一级只做自己最擅长的事,用评估集量化每一级的边际贡献,再用延迟预算约束每一级的规模——这才是“检索优化”在工程上的实际含义。至于下一个值得投入的方向,大概率不是换更大的模型,而是把 query 理解(改写、扩展、意图分类)做扎实,因为那才是整条链路的信息源头。
📚 参考来源





