diff --git a/go/internal/api/routes/eval.go b/go/internal/api/routes/eval.go index b38cd35..0822b83 100644 --- a/go/internal/api/routes/eval.go +++ b/go/internal/api/routes/eval.go @@ -3,6 +3,8 @@ package routes import ( "encoding/json" + _ "embed" + "fmt" "net/http" "os" "strings" @@ -12,6 +14,15 @@ import ( "github.com/xiaoxue/memoryweave/internal/storage" ) +// go:embed testdata/golden-set.json 把金标集打进二进制(t_dfc93ad0 AC5): +// 部署 CWD=/home/muc,旧版「path=="" → 相对 testdata/」解析到 /home/muc/testdata +// ⇒ POST /api/v1/eval/golden 不传 golden_path 时 500(2026-10-14 实测复现)。 +// 内嵌兜底后:缺省/相对路径读不到 ⇒ 回落内嵌基线(仍可用);env ZHIYI_GOLDEN_SET +// 指定绝对路径 ⇒ 读该文件(可临时替换金标集)。测试仍按显式路径调用,行为不变。 +// +//go:embed testdata/golden-set.json +var embeddedGoldenSetJSON []byte + // ─── 金标集定义 ────────────────────────────────────────────── // GoldenSetItem 单条金标:query + 具体 expected_ids + 关键词相关性判据 @@ -35,15 +46,37 @@ type GoldenSet struct { Items []GoldenSetItem `json:"items"` } -// LoadGoldenSet 从 testdata/ 加载金标集,支持相对路径(生产用)和绝对路径(测试用) +// LoadGoldenSet 加载金标集。路径解析(t_dfc93ad0 AC5,部署 CWD=/home/muc): +// 1. env ZHIYI_GOLDEN_SET 指定路径 ⇒ 优先读它(临时替换金标集用,不重编译); +// 2. 显式 path 非空且能读到 ⇒ 用它(绝对/相对皆按调用方语义); +// 3. path 为空、或上面读不到(典型:部署二进制 CWD=/home/muc 无 testdata/, +// 旧版相对路径解析失败 ⇒ 500)⇒ 回落 **内嵌** 基线 embeddedGoldenSetJSON。 +// 校验(空断言自守)在拿到内容后统一跑,三种来源同口径。 func LoadGoldenSet(path string) (*GoldenSet, error) { - if path == "" { - // 编译后无法直接拿到源码路径,回退到 CWD 的 testdata/ - path = "testdata/golden-set.json" + var data []byte + usedSource := "env:ZHIYI_GOLDEN_SET" + if p := os.Getenv("ZHIYI_GOLDEN_SET"); p != "" { + var err error + data, err = os.ReadFile(p) + if err != nil { + return nil, err + } + } else if path != "" { + usedSource = "path:" + path + d, err := os.ReadFile(path) + if err != nil { + // 相对路径在部署 CWD 下读不到 ⇒ 内嵌兜底(AC5 根因) + data = embeddedGoldenSetJSON + usedSource = "embedded" + } else { + data = d + } + } else { + data = embeddedGoldenSetJSON + usedSource = "embedded" } - data, err := os.ReadFile(path) - if err != nil { - return nil, err + if len(data) == 0 { + return nil, fmt.Errorf("golden set 不可用(%s 为空且无内嵌基线)", usedSource) } var gs GoldenSet if err := json.Unmarshal(data, &gs); err != nil { diff --git a/go/internal/api/routes/eval_test.go b/go/internal/api/routes/eval_test.go index 024ef86..e098960 100644 --- a/go/internal/api/routes/eval_test.go +++ b/go/internal/api/routes/eval_test.go @@ -218,6 +218,42 @@ func TestLoadGoldenSet_RejectsVacuousIDs(t *testing.T) { } } +// t_dfc93ad0 AC5 回归:部署二进制 CWD=/home/muc(无 testdata/), +// POST /api/v1/eval/golden 不传 golden_path 时,旧版「相对 testdata/ 读不到」⇒ 500。 +// 修复后:缺省路径 / 读不到的路径 ⇒ 回落 **内嵌** 基线(//go:embed),仍可用。 +// 判据(可复算):在**没有 testdata/ 的 CWD** 里 LoadGoldenSet("") 与 +// LoadGoldenSet("testdata/golden-set.json")(相对路径读不到)都必须成功 +// 且返回 14 条 —— 即部署态「缺省命令可用」。 +func TestLoadGoldenSet_EmbedFallback_DeployCWD(t *testing.T) { + empty := t.TempDir() // 模拟部署 CWD:里面没有 testdata/ + orig, err := os.Getwd() + if err != nil { + t.Fatalf("取 CWD 失败: %v", err) + } + if err := os.Chdir(empty); err != nil { + t.Fatalf("chdir 到空目录失败: %v", err) + } + t.Cleanup(func() { _ = os.Chdir(orig) }) + + // ① 缺省(path=""):不传 golden_path 的部署态 ⇒ 必须成功 + 14 条(内嵌兜底) + gs, err := LoadGoldenSet("") + if err != nil { + t.Fatalf("✗ AC5:缺省路径加载金标集失败(旧版这里 500): %v", err) + } + if len(gs.Items) != 14 { + t.Fatalf("✗ AC5:内嵌基线期望 14 条,实际 %d", len(gs.Items)) + } + // ② 相对路径读不到(部署 CWD 无 testdata/):也回落内嵌,不 500 + gs2, err := LoadGoldenSet(filepath.Join("testdata", "golden-set.json")) + if err != nil { + t.Fatalf("✗ AC5:相对路径读不到时应回落内嵌基线而非报错: %v", err) + } + if len(gs2.Items) != 14 { + t.Fatalf("✗ AC5:回落基线期望 14 条,实际 %d", len(gs2.Items)) + } + t.Logf("✓ AC5:空 CWD(无 testdata/)下 缺省/相对路径 均回落内嵌基线(14 条),部署态缺省命令可用") +} + // ─── AC① 反证:故意把某条 expected_id 改成错误 ID → 该条必须 FAIL ─── // 这是本卡核心验收点:证明判据非恒真(改错期望 → 真 FAIL) diff --git a/go/internal/storage/fts_index.go b/go/internal/storage/fts_index.go index e7b94cf..42a4137 100644 --- a/go/internal/storage/fts_index.go +++ b/go/internal/storage/fts_index.go @@ -23,6 +23,19 @@ // - env ZHIYI_RECALL_FTS=1 或 标志文件 /var/lib/memoryweave/recall-fts.on // - 关闭 ⇒ recallUncached 的 FTS 分支整块跳过 ⇒ 行为零变化(AC4/AC6) // +// 回滚时效(t_dfc93ad0 AC6,「撤标志 ≠ 立即生效」): +// 撤标志文件 mv /var/lib/memoryweave/recall-fts.on /var/lib/memoryweave/recall-fts.on.off +// (或重启 zhiyid)⇒ 之后**新的** recall/eval 计算才走关态;但 recall 路径带 +// TTL=60s 搜索缓存(SearchCacheInstance,recall.go Step 6.5,响应带 cache_hit), +// eval 结果同样入缓存 ⇒ **mv 后 60s 内同 query 会命中刚算的 ON 态缓存, +// 读数仍带 FTS 效果(这正是 2026-10-14 终审「撤门控仍 14/14、ON/OFF 0 差异」 +// 假象的根因:两次测量隔 9s)。** +// 可证伪判据:回滚后 **等 >60s(实操 75s)或重启 zhiyid**,再跑 +// POST /api/v1/eval/golden(绝对路径或 env ZHIYI_GOLDEN_SET,见 eval.go), +// 期望 MMR 条 keyword_pass 回落到 13/14、响应 cache_hit=false。 +// 若 75s 后仍是 14/14 且 cache_hit=false ⇒ 判据被打破(缓存 TTL 变了或门控没撤掉), +// 须重新核查。 +// // 注:本索引是 TF-IDF **数据结构**(倒排+文档表),不是结果缓存—— // 项目现有 5 个缓存件(SearchCache L1/L2、RedisCache、CachedGraphStore、memCache) // 管的是「查询结果复用」,本件管的是「内容倒排」,职责不同,不替代任何一个。