test(storage): 测试与生产热调旋钮隔离 + 锁死 topK 前缀不变量(2026-11-18)

病根(实测,不是推断):/var/lib/memoryweave/recall-fts-tail-head 内容为 "5"(生产热调值),
ftsTailHeadProtect() 直接读该文件 ⇒ 测试进程里 head 恒 5,
TestFTS_SmallTopKTailMatrix / TestFTS_RecallFullListTailSlots / TestFTS_TailHeadProtect/head=0 全红。
看上去像「82d8a70 改了窗口语义、旧断言过期」,实际是环境泄漏:
ZHIYI_FTS_TAIL_HEAD_FILE=/nonexistent 重跑立刻全绿。

改动:
1) 新增 TestMain(knob_isolation_test.go):把 recall-fts-reserve / recall-sel-window /
   recall-fts-tail-head / recall-rerank-depth / recall-fts.on / recall-rrf.on 六个旋钮
   全部指到 /nonexistent。新增旋钮必须同步加进这张表。
2) TestFTS_TailHeadProtect 显式 Setenv ZHIYI_RECALL_FTS=1(此前靠生产标志文件才跑)。
3) 新增 TestRecall_TopKPrefixInvariant:k=5 前 5 必须与 k=20 前 5 逐位相同(82d8a70 的新不变量;
   用余弦单调递减的 30 条假候选,避免 tie 噪声)。

验证:go test ./internal/storage/ -count=1 → ok(全包绿,含原先 3 个红测试)
This commit is contained in:
小唯
2026-11-18 16:37:55 +08:00
parent be33d9d8a3
commit 06d88c6003
3 changed files with 110 additions and 0 deletions
@@ -0,0 +1,33 @@
package storage
// 2026-11-18:storage 包的测试必须与**生产热调旋钮文件**隔离。
//
// 病根(当天实测):`/var/lib/memoryweave/recall-fts-tail-head` 内容是 "5"(生产热调值),
// 而 ftsTailHeadProtect() 直接读这个路径 ⇒ 测试进程里 head 恒为 5,
// TestFTS_SmallTopKTailMatrix / TestFTS_RecallFullListTailSlots / TestFTS_TailHeadProtect/head=0
// 全部变红。看上去像「82d8a70 改了窗口语义、旧断言过期」,**实际是环境泄漏**:
// 加一句 `ZHIYI_FTS_TAIL_HEAD_FILE=/nonexistent` 重跑,三个测试立刻全绿。
//
// 规则:任何读 /var/lib/memoryweave/recall-* 的开关,都必须在 TestMain 里指到 /nonexistent;
// 以后新增旋钮(recallKnobPath 的每一个 name 或 *_FLAG)都往下面这张表里加一行,
// 否则下一个写测试的人又会把「这台机器上恰好开着什么」当成代码行为。
import (
"os"
"testing"
)
func TestMain(m *testing.M) {
isolate := map[string]string{
"ZHIYI_FTS_RESERVE_FILE": "/nonexistent/recall-fts-reserve",
"ZHIYI_SEL_WINDOW_FILE": "/nonexistent/recall-sel-window",
"ZHIYI_FTS_TAIL_HEAD_FILE": "/nonexistent/recall-fts-tail-head",
"ZHIYI_RERANK_DEPTH_FILE": "/nonexistent/recall-rerank-depth",
"ZHIYI_RECALL_FTS_FLAG": "/nonexistent/recall-fts.on",
"ZHIYI_RRF_FLAG": "/nonexistent/recall-rrf.on",
}
for k, v := range isolate {
os.Setenv(k, v)
}
os.Exit(m.Run())
}
@@ -234,6 +234,10 @@ func TestFTS_SmallTopKGolden(t *testing.T) {
// 生产用 ZHIYI_FTS_TAIL_HEAD=5 时,topK<=5 的让位槽为 0(词面命中不得吃掉答案头部);
// 关掉旋钮必须逐位回到旧契约(min(3,topK/2) 个尾部槽位);结果集未满时追加路径不受影响。
func TestFTS_TailHeadProtect(t *testing.T) {
// 2026-11-18:显式开 FTS。此前这条测试是靠生产标志文件 /var/lib/memoryweave/recall-fts.on
// 存在才跑的(TestMain 隔离标志文件后立刻露出来)—— 测试不能依赖机器上恰好开着什么。
t.Setenv("ZHIYI_RECALL_FTS", "1")
t.Run("head=5_topK5_不占用头部", func(t *testing.T) {
t.Setenv("ZHIYI_FTS_TAIL_HEAD", "5")
res := runMatrixCell(t, 5, 5, 5)
@@ -0,0 +1,73 @@
package storage
// 2026-11-18(牧尘定 A 案):把 82d8a70 引入的新语义锁成判据。
//
// 旧不变量(82d8a70 之前):selectionWindow = topK*2 ⇒ 同一 query 在 k=5 与 k=20 下
// 看的是**不同大小的候选池**,top5 ⊄ top20。实测病症:「日志分析怎么定位根因」k=20 时
// DA 排第 4、k=5 时完全不在。
//
// 新不变量:选择窗口与请求 topK 解耦(常数 selectionWindowDefault=100)⇒
// **同一 query 下 k=5 的前 5 条必须与 k=20 的前 5 条逐位相同**。
// 这条比"修旧断言"更值:任何人不小心把窗口又改回 topK*2,这里立刻红。
import (
"fmt"
"testing"
"github.com/xiaoxue/memoryweave/internal/models"
)
func TestRecall_TopKPrefixInvariant(t *testing.T) {
savedCache := SearchCacheInstance
SearchCacheInstance = nil
t.Cleanup(func() { SearchCacheInstance = savedCache })
const nDocs = 30
query := "窗口解耦前缀不变量"
// 查询向量 [1,0,...];第 i 条文档 [1, 0.02*i, 0...] ⇒ 余弦随 i 单调下降,
// 排序有唯一解(全等向量会产生 tie,tie 的顺序不稳定,测出来的是噪声不是不变量)。
qvec := make([]float32, 8)
qvec[0] = 1
emb := &Embedder{endpoint: "http://127.0.0.1:1/never", dim: 8}
emb.cache.Store(query, qvec)
rows := make([]models.MemoryRecord, 0, nDocs)
for i := 1; i <= nDocs; i++ {
v := make([]float32, 8)
v[0] = 1
v[1] = 0.02 * float32(i)
rows = append(rows, models.MemoryRecord{
ID: fmt.Sprintf("doc%02d", i),
Namespace: "hermes-main",
Category: "distilled",
Content: fmt.Sprintf("第 %d 条候选记忆,用于前缀不变量。", i),
Vector: v,
})
}
p := NewRecallPipeline(emb, &smallKPool{poolRows: rows, dim: 8}, &Reranker{})
k5, err := p.Recall(query, "hermes-main", 5, 0.5)
if err != nil {
t.Fatalf("k=5 recall 报错: %v", err)
}
k20, err := p.Recall(query, "hermes-main", 20, 0.5)
if err != nil {
t.Fatalf("k=20 recall 报错: %v", err)
}
if len(k5) != 5 {
t.Fatalf("k=5 应返回 5 条,实际 %d: %v", len(k5), idsRes(k5))
}
if len(k20) != 20 {
t.Fatalf("k=20 应返回 20 条,实际 %d", len(k20))
}
for i := 0; i < 5; i++ {
if k5[i].ID != k20[i].ID {
t.Fatalf("前缀不变量被破坏:第 %d 位 k=5 是 %s,k=20 是 %s\nk=5=%v\nk=20=%v\n"+
"⇒ 说明选择窗口又跟 topK 绑在一起了(82d8a70 的回退)",
i+1, k5[i].ID, k20[i].ID, idsRes(k5), idsRes(k20))
}
}
}