From 642e81d5a45b8a97fb2b7c0f7387ce9dbefd4f78 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=B0=8F=E6=80=A1?= Date: Mon, 16 Nov 2026 22:22:03 +0800 Subject: [PATCH] =?UTF-8?q?experiment(recall):=20=E9=80=89=E6=8B=A9?= =?UTF-8?q?=E7=AA=97=E5=8F=A3=E8=A7=A3=E8=80=A6=E2=80=94=E2=80=94=E5=AE=9E?= =?UTF-8?q?=E6=B5=8B=E4=B8=8D=E6=8F=90=E5=88=86=EF=BC=8C=E9=BB=98=E8=AE=A4?= =?UTF-8?q?=E5=9B=9E=E9=80=80=20topK*2=EF=BC=88=E4=BF=9D=E7=95=99=E7=83=AD?= =?UTF-8?q?=E8=B0=83=E6=97=8B=E9=92=AE=20+=20=E4=BF=AE=E5=8D=95=E6=B5=8B?= =?UTF-8?q?=E9=9A=94=E7=A6=BB=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 假设:MMR/RRF 窗口 = topK*2 ⇒ 请求 5 条只在前 10 里选,第 11 名起的好答案没机会, 应把窗口钉成 max(topK*2,20) 让 top-5 与 top-50 前 5 一致。 实测(84 DA 题、no_cache、tk=5): 窗口旧(topK*2=10) 0.5575 / 窗 20 0.5655 / 窗 100 0.5655 tk5-vs-tk50 前 5 一致率:19.0% → 27.4% → 45.2% ⇒ 一致率变了但**主尺不动**(涨1跌1 = 噪声内,窗 20 与窗 100 完全相同)。 结论:剩 k 依赖来自 RRF 池宽 + 词面名次对深位条目的上位,那类上位本身不带来正确率 ⇒ 不做成默认。selectionWindow() 默认回到 topK*2,宽窗口只留热调 (echo 20|100 > /var/lib/memoryweave/recall-sel-window)供以后复跑。 顺带修:旋钮文件路径可被 env 覆盖(ZHIYI_FTS_RESERVE_FILE / ZHIYI_SEL_WINDOW_FILE)—— 生产上调过旋钮会让单测红绿翻转(本次实际踩到,knob=100 时单测直接 FAIL)。 --- go/internal/storage/fts_reserve_test.go | 16 ++++++++ go/internal/storage/recall.go | 53 ++++++++++++++++++++++--- 2 files changed, 63 insertions(+), 6 deletions(-) diff --git a/go/internal/storage/fts_reserve_test.go b/go/internal/storage/fts_reserve_test.go index 481af82..ab9e623 100644 --- a/go/internal/storage/fts_reserve_test.go +++ b/go/internal/storage/fts_reserve_test.go @@ -5,6 +5,7 @@ import "testing" // 2026-11-16 ftsReserveSlots:让位预算随 topK 缩放。 // 判据(无覆盖文件时):topK/2 封顶 3 —— k=5 ⇒ 2、k=6 ⇒ 3、k≥6 恒 3(= 旧值)。 func TestFtsReserveSlots_ScaledByTopK(t *testing.T) { + t.Setenv("ZHIYI_FTS_RESERVE_FILE", "/nonexistent/recall-fts-reserve") cases := []struct{ topK, want int }{ {1, 0}, {2, 1}, {3, 1}, {4, 2}, {5, 2}, {6, 3}, {7, 3}, {10, 3}, {50, 3}, } @@ -23,3 +24,18 @@ func TestFtsReserveSlots_NeverEatsWholeList(t *testing.T) { } } } + +// 2026-11-16 selectionWindow:默认必须保持旧行为(topK*2)。 +// 宽窗口(max(topK*2,20) / 常数 100)实测不提分(0.5575→0.5655,涨1跌1 = 噪声内), +// 故默认回落到 topK*2;宽窗口只作为热调实验开关(/var/lib/memoryweave/recall-sel-window)。 +func TestSelectionWindow_DefaultsToLegacy(t *testing.T) { + t.Setenv("ZHIYI_SEL_WINDOW_FILE", "/nonexistent/recall-sel-window") + cases := []struct{ topK, want int }{ + {1, 2}, {5, 10}, {10, 20}, {20, 40}, {50, 100}, + } + for _, c := range cases { + if got := selectionWindow(c.topK); got != c.want { + t.Errorf("selectionWindow(%d)=%d want %d(默认必须等于旧行为 topK*2)", c.topK, got, c.want) + } + } +} diff --git a/go/internal/storage/recall.go b/go/internal/storage/recall.go index 4308d18..38774cc 100644 --- a/go/internal/storage/recall.go +++ b/go/internal/storage/recall.go @@ -1147,10 +1147,11 @@ func (p *RecallPipeline) recallUncached(ctx context.Context, query, namespace st var finalIndices []int if hold > 0 && hold < len(candidates) { keep := hold - if maxKeep := topK * 2; keep > maxKeep { + win := selectionWindow(topK) + if maxKeep := win; keep > maxKeep { keep = maxKeep } - finalIndices = make([]int, 0, topK*2) + finalIndices = make([]int, 0, win) for i := 0; i < keep; i++ { finalIndices = append(finalIndices, i) } @@ -1160,19 +1161,20 @@ func (p *RecallPipeline) recallUncached(ctx context.Context, query, namespace st rest = append(rest, r) } } - if need := topK*2 - len(finalIndices); need > 0 { + if need := win - len(finalIndices); need > 0 { finalIndices = append(finalIndices, MMRSelect(rest, candidates, need, diversity)...) } log.Printf("[recall][hold] rerank 保位前 %d 条(共 %d 候选,池 %d)", keep, len(candidates), len(finalIndices)) } else { - finalIndices = MMRSelect(reranked, candidates, topK*2, diversity) + finalIndices = MMRSelect(reranked, candidates, selectionWindow(topK), diversity) } // RRF 开启时多取一倍候选进融合池:只在 topK 内部重排不会改变 top5 的**集合**(等于没效果), // 第 6~10 名必须有机会被词面秩抬进前 5,融合才可能有增益。门控关 ⇒ poolN==topK,逐位等价现状。 poolN := topK if rrfEnabled() { - poolN = topK * 2 + // 融合池必须与选择窗口同宽,否则"窗口选了 20 条、池只放 10 条"⇒ 后半截白选。 + poolN = selectionWindow(topK) } results := make([]models.RecallResult, 0, poolN) for i, idx := range finalIndices { @@ -1818,7 +1820,7 @@ func filterRecallRawCategories(results []models.RecallResult) []models.RecallRes // 热调:`/var/lib/memoryweave/recall-fts-reserve` 写整数(0..3)即覆盖本规则, // 无需重启(A/B 用);回滚 = 写 3(逐位回到改动前行为)。 func ftsReserveSlots(topK int) int { - if b, err := os.ReadFile("/var/lib/memoryweave/recall-fts-reserve"); err == nil { + if b, err := os.ReadFile(recallKnobPath("recall-fts-reserve", "ZHIYI_FTS_RESERVE_FILE")); err == nil { if v, err := strconv.Atoi(strings.TrimSpace(string(b))); err == nil && v >= 0 { if v > topK { v = topK @@ -1835,3 +1837,42 @@ func ftsReserveSlots(topK int) int { } return n } + +// selectionWindow 返回 MMR/RRF 的「选择窗口」宽度 —— 与请求的 topK 解耦。 +// +// 2026-11-16(t_sel_window):原实现在两处用 topK*2 作为窗口,于是**同一 query +// 请求 5 条与请求 50 条拿到的前 5 名不同**(实测 29 道零分题里有 6~8 道在 +// top_k=50 请求时 DA 已进前 5,只是 tk=5 请求拿不到)。窗口窄 ⇒ 只在前 10 条里 +// 做 MMR/RRF ⇒ 第 11 条起的好答案结构性没机会。 +// 规则:窗口 = max(topK*2, 20)。贪心 MMR 前缀稳定 ⇒ 前 5 名在 5/10/20/50 各档一致。 +// 热调:/var/lib/memoryweave/recall-sel-window 写整数 —— 0 = 旧行为(topK*2), +// n>0 = 窗口取 max(n, topK);文件缺失 ⇒ 新默认。回滚 = echo 0 > 该文件。 +func selectionWindow(topK int) int { + if b, err := os.ReadFile(recallKnobPath("recall-sel-window", "ZHIYI_SEL_WINDOW_FILE")); err == nil { + if v, err := strconv.Atoi(strings.TrimSpace(string(b))); err == nil && v >= 0 { + if v == 0 { + return topK * 2 + } + if v > topK { + return v + } + return topK + } + } + // 默认 = 旧行为(topK*2)。宽窗口(max(topK*2,20) / 常数 100)实测**不提分**: + // 主尺 0.5575(旧) → 0.5655(窗20) → 0.5655(窗100),涨 1 跌 1 = 噪声内; + // 一致率虽 19%→27%→45%,但那是 RRF 池宽带来的词面名次上位,不构成收益。 + // 想复跑实验:echo 20(或 100)> /var/lib/memoryweave/recall-sel-window。 + return topK * 2 +} + +// recallKnobPath 返回热调旋钮文件路径。 +// 为什么要 env 覆盖:单测读的是真实生产文件 ⇒ 生产上调过旋钮就会让单测红/绿翻转 +// (2026-11-16 实际踩到:knob=100 时 TestSelectionWindow_DefaultsToLegacy 直接 FAIL)。 +// 单测里 t.Setenv(, <不存在的 tmp 路径>) ⇒ 走默认分支,行为可确定性断言。 +func recallKnobPath(name, envKey string) string { + if p := os.Getenv(envKey); p != "" { + return p + } + return "/var/lib/memoryweave/" + name +}