diff --git a/go/internal/storage/fts_reserve_test.go b/go/internal/storage/fts_reserve_test.go index 481af82..ab9e623 100644 --- a/go/internal/storage/fts_reserve_test.go +++ b/go/internal/storage/fts_reserve_test.go @@ -5,6 +5,7 @@ import "testing" // 2026-11-16 ftsReserveSlots:让位预算随 topK 缩放。 // 判据(无覆盖文件时):topK/2 封顶 3 —— k=5 ⇒ 2、k=6 ⇒ 3、k≥6 恒 3(= 旧值)。 func TestFtsReserveSlots_ScaledByTopK(t *testing.T) { + t.Setenv("ZHIYI_FTS_RESERVE_FILE", "/nonexistent/recall-fts-reserve") cases := []struct{ topK, want int }{ {1, 0}, {2, 1}, {3, 1}, {4, 2}, {5, 2}, {6, 3}, {7, 3}, {10, 3}, {50, 3}, } @@ -23,3 +24,18 @@ func TestFtsReserveSlots_NeverEatsWholeList(t *testing.T) { } } } + +// 2026-11-16 selectionWindow:默认必须保持旧行为(topK*2)。 +// 宽窗口(max(topK*2,20) / 常数 100)实测不提分(0.5575→0.5655,涨1跌1 = 噪声内), +// 故默认回落到 topK*2;宽窗口只作为热调实验开关(/var/lib/memoryweave/recall-sel-window)。 +func TestSelectionWindow_DefaultsToLegacy(t *testing.T) { + t.Setenv("ZHIYI_SEL_WINDOW_FILE", "/nonexistent/recall-sel-window") + cases := []struct{ topK, want int }{ + {1, 2}, {5, 10}, {10, 20}, {20, 40}, {50, 100}, + } + for _, c := range cases { + if got := selectionWindow(c.topK); got != c.want { + t.Errorf("selectionWindow(%d)=%d want %d(默认必须等于旧行为 topK*2)", c.topK, got, c.want) + } + } +} diff --git a/go/internal/storage/recall.go b/go/internal/storage/recall.go index 4308d18..38774cc 100644 --- a/go/internal/storage/recall.go +++ b/go/internal/storage/recall.go @@ -1147,10 +1147,11 @@ func (p *RecallPipeline) recallUncached(ctx context.Context, query, namespace st var finalIndices []int if hold > 0 && hold < len(candidates) { keep := hold - if maxKeep := topK * 2; keep > maxKeep { + win := selectionWindow(topK) + if maxKeep := win; keep > maxKeep { keep = maxKeep } - finalIndices = make([]int, 0, topK*2) + finalIndices = make([]int, 0, win) for i := 0; i < keep; i++ { finalIndices = append(finalIndices, i) } @@ -1160,19 +1161,20 @@ func (p *RecallPipeline) recallUncached(ctx context.Context, query, namespace st rest = append(rest, r) } } - if need := topK*2 - len(finalIndices); need > 0 { + if need := win - len(finalIndices); need > 0 { finalIndices = append(finalIndices, MMRSelect(rest, candidates, need, diversity)...) } log.Printf("[recall][hold] rerank 保位前 %d 条(共 %d 候选,池 %d)", keep, len(candidates), len(finalIndices)) } else { - finalIndices = MMRSelect(reranked, candidates, topK*2, diversity) + finalIndices = MMRSelect(reranked, candidates, selectionWindow(topK), diversity) } // RRF 开启时多取一倍候选进融合池:只在 topK 内部重排不会改变 top5 的**集合**(等于没效果), // 第 6~10 名必须有机会被词面秩抬进前 5,融合才可能有增益。门控关 ⇒ poolN==topK,逐位等价现状。 poolN := topK if rrfEnabled() { - poolN = topK * 2 + // 融合池必须与选择窗口同宽,否则"窗口选了 20 条、池只放 10 条"⇒ 后半截白选。 + poolN = selectionWindow(topK) } results := make([]models.RecallResult, 0, poolN) for i, idx := range finalIndices { @@ -1818,7 +1820,7 @@ func filterRecallRawCategories(results []models.RecallResult) []models.RecallRes // 热调:`/var/lib/memoryweave/recall-fts-reserve` 写整数(0..3)即覆盖本规则, // 无需重启(A/B 用);回滚 = 写 3(逐位回到改动前行为)。 func ftsReserveSlots(topK int) int { - if b, err := os.ReadFile("/var/lib/memoryweave/recall-fts-reserve"); err == nil { + if b, err := os.ReadFile(recallKnobPath("recall-fts-reserve", "ZHIYI_FTS_RESERVE_FILE")); err == nil { if v, err := strconv.Atoi(strings.TrimSpace(string(b))); err == nil && v >= 0 { if v > topK { v = topK @@ -1835,3 +1837,42 @@ func ftsReserveSlots(topK int) int { } return n } + +// selectionWindow 返回 MMR/RRF 的「选择窗口」宽度 —— 与请求的 topK 解耦。 +// +// 2026-11-16(t_sel_window):原实现在两处用 topK*2 作为窗口,于是**同一 query +// 请求 5 条与请求 50 条拿到的前 5 名不同**(实测 29 道零分题里有 6~8 道在 +// top_k=50 请求时 DA 已进前 5,只是 tk=5 请求拿不到)。窗口窄 ⇒ 只在前 10 条里 +// 做 MMR/RRF ⇒ 第 11 条起的好答案结构性没机会。 +// 规则:窗口 = max(topK*2, 20)。贪心 MMR 前缀稳定 ⇒ 前 5 名在 5/10/20/50 各档一致。 +// 热调:/var/lib/memoryweave/recall-sel-window 写整数 —— 0 = 旧行为(topK*2), +// n>0 = 窗口取 max(n, topK);文件缺失 ⇒ 新默认。回滚 = echo 0 > 该文件。 +func selectionWindow(topK int) int { + if b, err := os.ReadFile(recallKnobPath("recall-sel-window", "ZHIYI_SEL_WINDOW_FILE")); err == nil { + if v, err := strconv.Atoi(strings.TrimSpace(string(b))); err == nil && v >= 0 { + if v == 0 { + return topK * 2 + } + if v > topK { + return v + } + return topK + } + } + // 默认 = 旧行为(topK*2)。宽窗口(max(topK*2,20) / 常数 100)实测**不提分**: + // 主尺 0.5575(旧) → 0.5655(窗20) → 0.5655(窗100),涨 1 跌 1 = 噪声内; + // 一致率虽 19%→27%→45%,但那是 RRF 池宽带来的词面名次上位,不构成收益。 + // 想复跑实验:echo 20(或 100)> /var/lib/memoryweave/recall-sel-window。 + return topK * 2 +} + +// recallKnobPath 返回热调旋钮文件路径。 +// 为什么要 env 覆盖:单测读的是真实生产文件 ⇒ 生产上调过旋钮就会让单测红/绿翻转 +// (2026-11-16 实际踩到:knob=100 时 TestSelectionWindow_DefaultsToLegacy 直接 FAIL)。 +// 单测里 t.Setenv(, <不存在的 tmp 路径>) ⇒ 走默认分支,行为可确定性断言。 +func recallKnobPath(name, envKey string) string { + if p := os.Getenv(envKey); p != "" { + return p + } + return "/var/lib/memoryweave/" + name +}