From 06d88c6003cfbdec558ce3b95947699aa8199cf8 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=B0=8F=E5=94=AF?= Date: Wed, 18 Nov 2026 16:37:55 +0800 Subject: [PATCH] =?UTF-8?q?test(storage):=20=E6=B5=8B=E8=AF=95=E4=B8=8E?= =?UTF-8?q?=E7=94=9F=E4=BA=A7=E7=83=AD=E8=B0=83=E6=97=8B=E9=92=AE=E9=9A=94?= =?UTF-8?q?=E7=A6=BB=20+=20=E9=94=81=E6=AD=BB=20topK=20=E5=89=8D=E7=BC=80?= =?UTF-8?q?=E4=B8=8D=E5=8F=98=E9=87=8F=EF=BC=882026-11-18=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 病根(实测,不是推断):/var/lib/memoryweave/recall-fts-tail-head 内容为 "5"(生产热调值), ftsTailHeadProtect() 直接读该文件 ⇒ 测试进程里 head 恒 5, TestFTS_SmallTopKTailMatrix / TestFTS_RecallFullListTailSlots / TestFTS_TailHeadProtect/head=0 全红。 看上去像「82d8a70 改了窗口语义、旧断言过期」,实际是环境泄漏: ZHIYI_FTS_TAIL_HEAD_FILE=/nonexistent 重跑立刻全绿。 改动: 1) 新增 TestMain(knob_isolation_test.go):把 recall-fts-reserve / recall-sel-window / recall-fts-tail-head / recall-rerank-depth / recall-fts.on / recall-rrf.on 六个旋钮 全部指到 /nonexistent。新增旋钮必须同步加进这张表。 2) TestFTS_TailHeadProtect 显式 Setenv ZHIYI_RECALL_FTS=1(此前靠生产标志文件才跑)。 3) 新增 TestRecall_TopKPrefixInvariant:k=5 前 5 必须与 k=20 前 5 逐位相同(82d8a70 的新不变量; 用余弦单调递减的 30 条假候选,避免 tie 噪声)。 验证:go test ./internal/storage/ -count=1 → ok(全包绿,含原先 3 个红测试) --- go/internal/storage/knob_isolation_test.go | 33 +++++++++ .../storage/recall_smalltopk_tail_test.go | 4 + .../storage/topk_prefix_invariant_test.go | 73 +++++++++++++++++++ 3 files changed, 110 insertions(+) create mode 100644 go/internal/storage/knob_isolation_test.go create mode 100644 go/internal/storage/topk_prefix_invariant_test.go diff --git a/go/internal/storage/knob_isolation_test.go b/go/internal/storage/knob_isolation_test.go new file mode 100644 index 0000000..da27133 --- /dev/null +++ b/go/internal/storage/knob_isolation_test.go @@ -0,0 +1,33 @@ +package storage + +// 2026-11-18:storage 包的测试必须与**生产热调旋钮文件**隔离。 +// +// 病根(当天实测):`/var/lib/memoryweave/recall-fts-tail-head` 内容是 "5"(生产热调值), +// 而 ftsTailHeadProtect() 直接读这个路径 ⇒ 测试进程里 head 恒为 5, +// TestFTS_SmallTopKTailMatrix / TestFTS_RecallFullListTailSlots / TestFTS_TailHeadProtect/head=0 +// 全部变红。看上去像「82d8a70 改了窗口语义、旧断言过期」,**实际是环境泄漏**: +// 加一句 `ZHIYI_FTS_TAIL_HEAD_FILE=/nonexistent` 重跑,三个测试立刻全绿。 +// +// 规则:任何读 /var/lib/memoryweave/recall-* 的开关,都必须在 TestMain 里指到 /nonexistent; +// 以后新增旋钮(recallKnobPath 的每一个 name 或 *_FLAG)都往下面这张表里加一行, +// 否则下一个写测试的人又会把「这台机器上恰好开着什么」当成代码行为。 + +import ( + "os" + "testing" +) + +func TestMain(m *testing.M) { + isolate := map[string]string{ + "ZHIYI_FTS_RESERVE_FILE": "/nonexistent/recall-fts-reserve", + "ZHIYI_SEL_WINDOW_FILE": "/nonexistent/recall-sel-window", + "ZHIYI_FTS_TAIL_HEAD_FILE": "/nonexistent/recall-fts-tail-head", + "ZHIYI_RERANK_DEPTH_FILE": "/nonexistent/recall-rerank-depth", + "ZHIYI_RECALL_FTS_FLAG": "/nonexistent/recall-fts.on", + "ZHIYI_RRF_FLAG": "/nonexistent/recall-rrf.on", + } + for k, v := range isolate { + os.Setenv(k, v) + } + os.Exit(m.Run()) +} diff --git a/go/internal/storage/recall_smalltopk_tail_test.go b/go/internal/storage/recall_smalltopk_tail_test.go index f3c58b1..33e40bc 100644 --- a/go/internal/storage/recall_smalltopk_tail_test.go +++ b/go/internal/storage/recall_smalltopk_tail_test.go @@ -234,6 +234,10 @@ func TestFTS_SmallTopKGolden(t *testing.T) { // 生产用 ZHIYI_FTS_TAIL_HEAD=5 时,topK<=5 的让位槽为 0(词面命中不得吃掉答案头部); // 关掉旋钮必须逐位回到旧契约(min(3,topK/2) 个尾部槽位);结果集未满时追加路径不受影响。 func TestFTS_TailHeadProtect(t *testing.T) { + // 2026-11-18:显式开 FTS。此前这条测试是靠生产标志文件 /var/lib/memoryweave/recall-fts.on + // 存在才跑的(TestMain 隔离标志文件后立刻露出来)—— 测试不能依赖机器上恰好开着什么。 + t.Setenv("ZHIYI_RECALL_FTS", "1") + t.Run("head=5_topK5_不占用头部", func(t *testing.T) { t.Setenv("ZHIYI_FTS_TAIL_HEAD", "5") res := runMatrixCell(t, 5, 5, 5) diff --git a/go/internal/storage/topk_prefix_invariant_test.go b/go/internal/storage/topk_prefix_invariant_test.go new file mode 100644 index 0000000..cbc3d68 --- /dev/null +++ b/go/internal/storage/topk_prefix_invariant_test.go @@ -0,0 +1,73 @@ +package storage + +// 2026-11-18(牧尘定 A 案):把 82d8a70 引入的新语义锁成判据。 +// +// 旧不变量(82d8a70 之前):selectionWindow = topK*2 ⇒ 同一 query 在 k=5 与 k=20 下 +// 看的是**不同大小的候选池**,top5 ⊄ top20。实测病症:「日志分析怎么定位根因」k=20 时 +// DA 排第 4、k=5 时完全不在。 +// +// 新不变量:选择窗口与请求 topK 解耦(常数 selectionWindowDefault=100)⇒ +// **同一 query 下 k=5 的前 5 条必须与 k=20 的前 5 条逐位相同**。 +// 这条比"修旧断言"更值:任何人不小心把窗口又改回 topK*2,这里立刻红。 + +import ( + "fmt" + "testing" + + "github.com/xiaoxue/memoryweave/internal/models" +) + +func TestRecall_TopKPrefixInvariant(t *testing.T) { + savedCache := SearchCacheInstance + SearchCacheInstance = nil + t.Cleanup(func() { SearchCacheInstance = savedCache }) + + const nDocs = 30 + query := "窗口解耦前缀不变量" + + // 查询向量 [1,0,...];第 i 条文档 [1, 0.02*i, 0...] ⇒ 余弦随 i 单调下降, + // 排序有唯一解(全等向量会产生 tie,tie 的顺序不稳定,测出来的是噪声不是不变量)。 + qvec := make([]float32, 8) + qvec[0] = 1 + emb := &Embedder{endpoint: "http://127.0.0.1:1/never", dim: 8} + emb.cache.Store(query, qvec) + + rows := make([]models.MemoryRecord, 0, nDocs) + for i := 1; i <= nDocs; i++ { + v := make([]float32, 8) + v[0] = 1 + v[1] = 0.02 * float32(i) + rows = append(rows, models.MemoryRecord{ + ID: fmt.Sprintf("doc%02d", i), + Namespace: "hermes-main", + Category: "distilled", + Content: fmt.Sprintf("第 %d 条候选记忆,用于前缀不变量。", i), + Vector: v, + }) + } + + p := NewRecallPipeline(emb, &smallKPool{poolRows: rows, dim: 8}, &Reranker{}) + + k5, err := p.Recall(query, "hermes-main", 5, 0.5) + if err != nil { + t.Fatalf("k=5 recall 报错: %v", err) + } + k20, err := p.Recall(query, "hermes-main", 20, 0.5) + if err != nil { + t.Fatalf("k=20 recall 报错: %v", err) + } + if len(k5) != 5 { + t.Fatalf("k=5 应返回 5 条,实际 %d: %v", len(k5), idsRes(k5)) + } + if len(k20) != 20 { + t.Fatalf("k=20 应返回 20 条,实际 %d", len(k20)) + } + + for i := 0; i < 5; i++ { + if k5[i].ID != k20[i].ID { + t.Fatalf("前缀不变量被破坏:第 %d 位 k=5 是 %s,k=20 是 %s\nk=5=%v\nk=20=%v\n"+ + "⇒ 说明选择窗口又跟 topK 绑在一起了(82d8a70 的回退)", + i+1, k5[i].ID, k20[i].ID, idsRes(k5), idsRes(k20)) + } + } +}