feat(recall): ZHIYI_RERANK_HOLD(rerank 保位,默认关)——实测任何 N 都负收益,留档不再重试

主尺 84 DA 题同窗口配对(no_cache,漂移 0.0000):
  hold=0  0.5258   基准
  hold=1  0.4881   -3.8pp
  hold=2  0.3591   -16.7pp(24 题掉零)
  hold=3  0.3532   -17.3pp(26 题掉零)
原因:向量序头部正是 cross-encoder 要压下去的空壳句,钉住它=废掉 rerank 的主要作用。
11-12 离线重放「保 top3 最好」的结论不成立——那是在向量 cosine 代理尺上测的,与真 cross-encoder 行为相反。
默认 0 ⇒ MMRSelect 原样调用、逐位等价;代码保留为常开旋钮(观测/回归用),生产不设此 env。
This commit is contained in:
xiaoyi
2026-11-16 20:43:01 +08:00
parent d2e9f086cb
commit 085a407f68
+29 -1
View File
@@ -1138,7 +1138,35 @@ func (p *RecallPipeline) recallUncached(ctx context.Context, query, namespace st
return nil, RecallMeta{CandidatesScanned: poolSize, Truncated: truncated, Status: "partial", PartialReason: "deadline_exceeded"}, nil
}
stMMR := time.Now()
finalIndices := MMRSelect(reranked, candidates, topK*2, diversity)
// 2026-11-16 t_rerank_hold:rerank「保位」——把**重排前向量序**的前 N 条钉死在头部,
// 只让其余条目参与 cross-encoder/MMR 竞争。
// 背景:真 rerank 上线后主尺 0.2639→0.5258(+99%),但 6 道 n_da=1 的窄 how-to 题
// 从 1.00 掉到 0(cross-encoder 把唯一答案那一批压出了 top5)。11-12 离线重放同结论:
// 全重排 0.3724 < 保 top3 0.3900。默认 0 ⇒ MMRSelect 原样调用,逐位等价现状。
hold := envInt("ZHIYI_RERANK_HOLD", 0)
var finalIndices []int
if hold > 0 && hold < len(candidates) {
keep := hold
if maxKeep := topK * 2; keep > maxKeep {
keep = maxKeep
}
finalIndices = make([]int, 0, topK*2)
for i := 0; i < keep; i++ {
finalIndices = append(finalIndices, i)
}
rest := make([]models.RerankResult, 0, len(reranked))
for _, r := range reranked {
if r.Index >= keep {
rest = append(rest, r)
}
}
if need := topK*2 - len(finalIndices); need > 0 {
finalIndices = append(finalIndices, MMRSelect(rest, candidates, need, diversity)...)
}
log.Printf("[recall][hold] rerank 保位前 %d 条(共 %d 候选,池 %d)", keep, len(candidates), len(finalIndices))
} else {
finalIndices = MMRSelect(reranked, candidates, topK*2, diversity)
}
// RRF 开启时多取一倍候选进融合池:只在 topK 内部重排不会改变 top5 的**集合**(等于没效果),
// 第 6~10 名必须有机会被词面秩抬进前 5,融合才可能有增益。门控关 ⇒ poolN==topK,逐位等价现状。