fix(eval): t_dfc93ad0 AC5 golden 缺省路径内嵌兜底 + AC6 回滚时效说明

AC5:部署二进制 CWD=/home/muc,旧版 LoadGoldenSet("") 回落相对
testdata/golden-set.json ⇒ POST /api/v1/eval/golden 不传 golden_path 时
500(2026-10-14 实测复现)。修://go:embed testdata/golden-set.json 打进
二进制,缺省/读不到的路径回落内嵌基线(仍可用);env ZHIYI_GOLDEN_SET
可指定绝对路径临时替换。新增 TestLoadGoldenSet_EmbedFallback_DeployCWD
(空 CWD 下缺省/相对路径均 14 条)防回归。

AC6:fts_index.go 门控注释补「撤标志 ≠ 立即生效」——recall 路径
TTL=60s 搜索缓存(cache_hit),撤门控后 60s 内同 query 命中 ON 态缓存
(终审「撤门控仍 14/14」假象根因=两次测量隔 9s)。可证伪判据:
回滚后等 >60s(实操 75s)或重启 zhiyid 再跑 eval/golden,期望 MMR 条
keyword_pass 13/14 且 cache_hit=false。
This commit is contained in:
小唯
2026-10-14 17:32:09 +08:00
parent e5bd7c7576
commit e42d19cfd9
3 changed files with 89 additions and 7 deletions
+40 -7
View File
@@ -3,6 +3,8 @@ package routes
import (
"encoding/json"
_ "embed"
"fmt"
"net/http"
"os"
"strings"
@@ -12,6 +14,15 @@ import (
"github.com/xiaoxue/memoryweave/internal/storage"
)
// go:embed testdata/golden-set.json 把金标集打进二进制(t_dfc93ad0 AC5):
// 部署 CWD=/home/muc,旧版「path=="" → 相对 testdata/」解析到 /home/muc/testdata
// ⇒ POST /api/v1/eval/golden 不传 golden_path 时 500(2026-10-14 实测复现)。
// 内嵌兜底后:缺省/相对路径读不到 ⇒ 回落内嵌基线(仍可用);env ZHIYI_GOLDEN_SET
// 指定绝对路径 ⇒ 读该文件(可临时替换金标集)。测试仍按显式路径调用,行为不变。
//
//go:embed testdata/golden-set.json
var embeddedGoldenSetJSON []byte
// ─── 金标集定义 ──────────────────────────────────────────────
// GoldenSetItem 单条金标:query + 具体 expected_ids + 关键词相关性判据
@@ -35,15 +46,37 @@ type GoldenSet struct {
Items []GoldenSetItem `json:"items"`
}
// LoadGoldenSet 从 testdata/ 加载金标集,支持相对路径(生产用)和绝对路径(测试用)
// LoadGoldenSet 加载金标集。路径解析(t_dfc93ad0 AC5,部署 CWD=/home/muc):
// 1. env ZHIYI_GOLDEN_SET 指定路径 ⇒ 优先读它(临时替换金标集用,不重编译);
// 2. 显式 path 非空且能读到 ⇒ 用它(绝对/相对皆按调用方语义);
// 3. path 为空、或上面读不到(典型:部署二进制 CWD=/home/muc 无 testdata/,
// 旧版相对路径解析失败 ⇒ 500)⇒ 回落 **内嵌** 基线 embeddedGoldenSetJSON。
// 校验(空断言自守)在拿到内容后统一跑,三种来源同口径。
func LoadGoldenSet(path string) (*GoldenSet, error) {
if path == "" {
// 编译后无法直接拿到源码路径,回退到 CWD 的 testdata/
path = "testdata/golden-set.json"
var data []byte
usedSource := "env:ZHIYI_GOLDEN_SET"
if p := os.Getenv("ZHIYI_GOLDEN_SET"); p != "" {
var err error
data, err = os.ReadFile(p)
if err != nil {
return nil, err
}
} else if path != "" {
usedSource = "path:" + path
d, err := os.ReadFile(path)
if err != nil {
// 相对路径在部署 CWD 下读不到 ⇒ 内嵌兜底(AC5 根因)
data = embeddedGoldenSetJSON
usedSource = "embedded"
} else {
data = d
}
} else {
data = embeddedGoldenSetJSON
usedSource = "embedded"
}
data, err := os.ReadFile(path)
if err != nil {
return nil, err
if len(data) == 0 {
return nil, fmt.Errorf("golden set 不可用(%s 为空且无内嵌基线)", usedSource)
}
var gs GoldenSet
if err := json.Unmarshal(data, &gs); err != nil {
+36
View File
@@ -218,6 +218,42 @@ func TestLoadGoldenSet_RejectsVacuousIDs(t *testing.T) {
}
}
// t_dfc93ad0 AC5 回归:部署二进制 CWD=/home/muc(无 testdata/),
// POST /api/v1/eval/golden 不传 golden_path 时,旧版「相对 testdata/ 读不到」⇒ 500。
// 修复后:缺省路径 / 读不到的路径 ⇒ 回落 **内嵌** 基线(//go:embed),仍可用。
// 判据(可复算):在**没有 testdata/ 的 CWD** 里 LoadGoldenSet("") 与
// LoadGoldenSet("testdata/golden-set.json")(相对路径读不到)都必须成功
// 且返回 14 条 —— 即部署态「缺省命令可用」。
func TestLoadGoldenSet_EmbedFallback_DeployCWD(t *testing.T) {
empty := t.TempDir() // 模拟部署 CWD:里面没有 testdata/
orig, err := os.Getwd()
if err != nil {
t.Fatalf("取 CWD 失败: %v", err)
}
if err := os.Chdir(empty); err != nil {
t.Fatalf("chdir 到空目录失败: %v", err)
}
t.Cleanup(func() { _ = os.Chdir(orig) })
// ① 缺省(path=""):不传 golden_path 的部署态 ⇒ 必须成功 + 14 条(内嵌兜底)
gs, err := LoadGoldenSet("")
if err != nil {
t.Fatalf("✗ AC5:缺省路径加载金标集失败(旧版这里 500): %v", err)
}
if len(gs.Items) != 14 {
t.Fatalf("✗ AC5:内嵌基线期望 14 条,实际 %d", len(gs.Items))
}
// ② 相对路径读不到(部署 CWD 无 testdata/):也回落内嵌,不 500
gs2, err := LoadGoldenSet(filepath.Join("testdata", "golden-set.json"))
if err != nil {
t.Fatalf("✗ AC5:相对路径读不到时应回落内嵌基线而非报错: %v", err)
}
if len(gs2.Items) != 14 {
t.Fatalf("✗ AC5:回落基线期望 14 条,实际 %d", len(gs2.Items))
}
t.Logf("✓ AC5:空 CWD(无 testdata/)下 缺省/相对路径 均回落内嵌基线(14 条),部署态缺省命令可用")
}
// ─── AC① 反证:故意把某条 expected_id 改成错误 ID → 该条必须 FAIL ───
// 这是本卡核心验收点:证明判据非恒真(改错期望 → 真 FAIL)
+13
View File
@@ -23,6 +23,19 @@
// - env ZHIYI_RECALL_FTS=1 或 标志文件 /var/lib/memoryweave/recall-fts.on
// - 关闭 ⇒ recallUncached 的 FTS 分支整块跳过 ⇒ 行为零变化(AC4/AC6)
//
// 回滚时效(t_dfc93ad0 AC6,「撤标志 ≠ 立即生效」):
// 撤标志文件 mv /var/lib/memoryweave/recall-fts.on /var/lib/memoryweave/recall-fts.on.off
// (或重启 zhiyid)⇒ 之后**新的** recall/eval 计算才走关态;但 recall 路径带
// TTL=60s 搜索缓存(SearchCacheInstance,recall.go Step 6.5,响应带 cache_hit),
// eval 结果同样入缓存 ⇒ **mv 后 60s 内同 query 会命中刚算的 ON 态缓存,
// 读数仍带 FTS 效果(这正是 2026-10-14 终审「撤门控仍 14/14、ON/OFF 0 差异」
// 假象的根因:两次测量隔 9s)。**
// 可证伪判据:回滚后 **等 >60s(实操 75s)或重启 zhiyid**,再跑
// POST /api/v1/eval/golden(绝对路径或 env ZHIYI_GOLDEN_SET,见 eval.go),
// 期望 MMR 条 keyword_pass 回落到 13/14、响应 cache_hit=false。
// 若 75s 后仍是 14/14 且 cache_hit=false ⇒ 判据被打破(缓存 TTL 变了或门控没撤掉),
// 须重新核查。
//
// 注:本索引是 TF-IDF **数据结构**(倒排+文档表),不是结果缓存——
// 项目现有 5 个缓存件(SearchCache L1/L2、RedisCache、CachedGraphStore、memCache)
// 管的是「查询结果复用」,本件管的是「内容倒排」,职责不同,不替代任何一个。