From e42d19cfd959573c608eace1fdfa39eeddb61845 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=B0=8F=E5=94=AF?= Date: Wed, 14 Oct 2026 17:32:09 +0800 Subject: [PATCH] =?UTF-8?q?fix(eval):=20t=5Fdfc93ad0=20AC5=20golden=20?= =?UTF-8?q?=E7=BC=BA=E7=9C=81=E8=B7=AF=E5=BE=84=E5=86=85=E5=B5=8C=E5=85=9C?= =?UTF-8?q?=E5=BA=95=20+=20AC6=20=E5=9B=9E=E6=BB=9A=E6=97=B6=E6=95=88?= =?UTF-8?q?=E8=AF=B4=E6=98=8E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit AC5:部署二进制 CWD=/home/muc,旧版 LoadGoldenSet("") 回落相对 testdata/golden-set.json ⇒ POST /api/v1/eval/golden 不传 golden_path 时 500(2026-10-14 实测复现)。修://go:embed testdata/golden-set.json 打进 二进制,缺省/读不到的路径回落内嵌基线(仍可用);env ZHIYI_GOLDEN_SET 可指定绝对路径临时替换。新增 TestLoadGoldenSet_EmbedFallback_DeployCWD (空 CWD 下缺省/相对路径均 14 条)防回归。 AC6:fts_index.go 门控注释补「撤标志 ≠ 立即生效」——recall 路径 TTL=60s 搜索缓存(cache_hit),撤门控后 60s 内同 query 命中 ON 态缓存 (终审「撤门控仍 14/14」假象根因=两次测量隔 9s)。可证伪判据: 回滚后等 >60s(实操 75s)或重启 zhiyid 再跑 eval/golden,期望 MMR 条 keyword_pass 13/14 且 cache_hit=false。 --- go/internal/api/routes/eval.go | 47 ++++++++++++++++++++++++----- go/internal/api/routes/eval_test.go | 36 ++++++++++++++++++++++ go/internal/storage/fts_index.go | 13 ++++++++ 3 files changed, 89 insertions(+), 7 deletions(-) diff --git a/go/internal/api/routes/eval.go b/go/internal/api/routes/eval.go index b38cd35..0822b83 100644 --- a/go/internal/api/routes/eval.go +++ b/go/internal/api/routes/eval.go @@ -3,6 +3,8 @@ package routes import ( "encoding/json" + _ "embed" + "fmt" "net/http" "os" "strings" @@ -12,6 +14,15 @@ import ( "github.com/xiaoxue/memoryweave/internal/storage" ) +// go:embed testdata/golden-set.json 把金标集打进二进制(t_dfc93ad0 AC5): +// 部署 CWD=/home/muc,旧版「path=="" → 相对 testdata/」解析到 /home/muc/testdata +// ⇒ POST /api/v1/eval/golden 不传 golden_path 时 500(2026-10-14 实测复现)。 +// 内嵌兜底后:缺省/相对路径读不到 ⇒ 回落内嵌基线(仍可用);env ZHIYI_GOLDEN_SET +// 指定绝对路径 ⇒ 读该文件(可临时替换金标集)。测试仍按显式路径调用,行为不变。 +// +//go:embed testdata/golden-set.json +var embeddedGoldenSetJSON []byte + // ─── 金标集定义 ────────────────────────────────────────────── // GoldenSetItem 单条金标:query + 具体 expected_ids + 关键词相关性判据 @@ -35,15 +46,37 @@ type GoldenSet struct { Items []GoldenSetItem `json:"items"` } -// LoadGoldenSet 从 testdata/ 加载金标集,支持相对路径(生产用)和绝对路径(测试用) +// LoadGoldenSet 加载金标集。路径解析(t_dfc93ad0 AC5,部署 CWD=/home/muc): +// 1. env ZHIYI_GOLDEN_SET 指定路径 ⇒ 优先读它(临时替换金标集用,不重编译); +// 2. 显式 path 非空且能读到 ⇒ 用它(绝对/相对皆按调用方语义); +// 3. path 为空、或上面读不到(典型:部署二进制 CWD=/home/muc 无 testdata/, +// 旧版相对路径解析失败 ⇒ 500)⇒ 回落 **内嵌** 基线 embeddedGoldenSetJSON。 +// 校验(空断言自守)在拿到内容后统一跑,三种来源同口径。 func LoadGoldenSet(path string) (*GoldenSet, error) { - if path == "" { - // 编译后无法直接拿到源码路径,回退到 CWD 的 testdata/ - path = "testdata/golden-set.json" + var data []byte + usedSource := "env:ZHIYI_GOLDEN_SET" + if p := os.Getenv("ZHIYI_GOLDEN_SET"); p != "" { + var err error + data, err = os.ReadFile(p) + if err != nil { + return nil, err + } + } else if path != "" { + usedSource = "path:" + path + d, err := os.ReadFile(path) + if err != nil { + // 相对路径在部署 CWD 下读不到 ⇒ 内嵌兜底(AC5 根因) + data = embeddedGoldenSetJSON + usedSource = "embedded" + } else { + data = d + } + } else { + data = embeddedGoldenSetJSON + usedSource = "embedded" } - data, err := os.ReadFile(path) - if err != nil { - return nil, err + if len(data) == 0 { + return nil, fmt.Errorf("golden set 不可用(%s 为空且无内嵌基线)", usedSource) } var gs GoldenSet if err := json.Unmarshal(data, &gs); err != nil { diff --git a/go/internal/api/routes/eval_test.go b/go/internal/api/routes/eval_test.go index 024ef86..e098960 100644 --- a/go/internal/api/routes/eval_test.go +++ b/go/internal/api/routes/eval_test.go @@ -218,6 +218,42 @@ func TestLoadGoldenSet_RejectsVacuousIDs(t *testing.T) { } } +// t_dfc93ad0 AC5 回归:部署二进制 CWD=/home/muc(无 testdata/), +// POST /api/v1/eval/golden 不传 golden_path 时,旧版「相对 testdata/ 读不到」⇒ 500。 +// 修复后:缺省路径 / 读不到的路径 ⇒ 回落 **内嵌** 基线(//go:embed),仍可用。 +// 判据(可复算):在**没有 testdata/ 的 CWD** 里 LoadGoldenSet("") 与 +// LoadGoldenSet("testdata/golden-set.json")(相对路径读不到)都必须成功 +// 且返回 14 条 —— 即部署态「缺省命令可用」。 +func TestLoadGoldenSet_EmbedFallback_DeployCWD(t *testing.T) { + empty := t.TempDir() // 模拟部署 CWD:里面没有 testdata/ + orig, err := os.Getwd() + if err != nil { + t.Fatalf("取 CWD 失败: %v", err) + } + if err := os.Chdir(empty); err != nil { + t.Fatalf("chdir 到空目录失败: %v", err) + } + t.Cleanup(func() { _ = os.Chdir(orig) }) + + // ① 缺省(path=""):不传 golden_path 的部署态 ⇒ 必须成功 + 14 条(内嵌兜底) + gs, err := LoadGoldenSet("") + if err != nil { + t.Fatalf("✗ AC5:缺省路径加载金标集失败(旧版这里 500): %v", err) + } + if len(gs.Items) != 14 { + t.Fatalf("✗ AC5:内嵌基线期望 14 条,实际 %d", len(gs.Items)) + } + // ② 相对路径读不到(部署 CWD 无 testdata/):也回落内嵌,不 500 + gs2, err := LoadGoldenSet(filepath.Join("testdata", "golden-set.json")) + if err != nil { + t.Fatalf("✗ AC5:相对路径读不到时应回落内嵌基线而非报错: %v", err) + } + if len(gs2.Items) != 14 { + t.Fatalf("✗ AC5:回落基线期望 14 条,实际 %d", len(gs2.Items)) + } + t.Logf("✓ AC5:空 CWD(无 testdata/)下 缺省/相对路径 均回落内嵌基线(14 条),部署态缺省命令可用") +} + // ─── AC① 反证:故意把某条 expected_id 改成错误 ID → 该条必须 FAIL ─── // 这是本卡核心验收点:证明判据非恒真(改错期望 → 真 FAIL) diff --git a/go/internal/storage/fts_index.go b/go/internal/storage/fts_index.go index e7b94cf..42a4137 100644 --- a/go/internal/storage/fts_index.go +++ b/go/internal/storage/fts_index.go @@ -23,6 +23,19 @@ // - env ZHIYI_RECALL_FTS=1 或 标志文件 /var/lib/memoryweave/recall-fts.on // - 关闭 ⇒ recallUncached 的 FTS 分支整块跳过 ⇒ 行为零变化(AC4/AC6) // +// 回滚时效(t_dfc93ad0 AC6,「撤标志 ≠ 立即生效」): +// 撤标志文件 mv /var/lib/memoryweave/recall-fts.on /var/lib/memoryweave/recall-fts.on.off +// (或重启 zhiyid)⇒ 之后**新的** recall/eval 计算才走关态;但 recall 路径带 +// TTL=60s 搜索缓存(SearchCacheInstance,recall.go Step 6.5,响应带 cache_hit), +// eval 结果同样入缓存 ⇒ **mv 后 60s 内同 query 会命中刚算的 ON 态缓存, +// 读数仍带 FTS 效果(这正是 2026-10-14 终审「撤门控仍 14/14、ON/OFF 0 差异」 +// 假象的根因:两次测量隔 9s)。** +// 可证伪判据:回滚后 **等 >60s(实操 75s)或重启 zhiyid**,再跑 +// POST /api/v1/eval/golden(绝对路径或 env ZHIYI_GOLDEN_SET,见 eval.go), +// 期望 MMR 条 keyword_pass 回落到 13/14、响应 cache_hit=false。 +// 若 75s 后仍是 14/14 且 cache_hit=false ⇒ 判据被打破(缓存 TTL 变了或门控没撤掉), +// 须重新核查。 +// // 注:本索引是 TF-IDF **数据结构**(倒排+文档表),不是结果缓存—— // 项目现有 5 个缓存件(SearchCache L1/L2、RedisCache、CachedGraphStore、memCache) // 管的是「查询结果复用」,本件管的是「内容倒排」,职责不同,不替代任何一个。