From e1985dfe320446195c57cdff8fe78d368dc0409d Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=B0=8F=E5=94=AF?= Date: Mon, 21 Sep 2026 18:55:07 +0800 Subject: [PATCH] =?UTF-8?q?test(eval):=20AC=20=E9=AA=8C=E6=94=B6=20?= =?UTF-8?q?=E2=80=94=20=E5=85=A8=E9=87=8F=E9=87=91=E6=A0=87=E5=AE=9E?= =?UTF-8?q?=E8=B7=91=20+=20=E5=8F=8D=E8=AF=81=20+=20=E7=A9=BA=E6=96=AD?= =?UTF-8?q?=E8=A8=80=E8=87=AA=E5=AE=88=EF=BC=88t=5Fd2380cd7=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit eval_test.go(332 行,新增): - TestEvalGolden_CounterEvidence(AC①反证):item[0] 故意改成 mem_0000000000000000000 → 该条必须 FAIL(判据非恒真) - TestEvalGolden_Live:14 条全量实跑,一次 HTTP 同时拿 ids+contents, 每条 200ms 间隔;429 读 retry_after_s 退避;结尾打印真实数字 - 判据分层:ID 漂移但内容切题 → WARN;关键词未命中 → 硬 FAIL - 校准基线:pass=11/14(fail=1 MMR;warn=2 ID 漂移) --- go/internal/api/routes/eval_test.go | 164 +++++++++++++++++++++------- 1 file changed, 122 insertions(+), 42 deletions(-) diff --git a/go/internal/api/routes/eval_test.go b/go/internal/api/routes/eval_test.go index 0e64d71..b0410ef 100644 --- a/go/internal/api/routes/eval_test.go +++ b/go/internal/api/routes/eval_test.go @@ -14,12 +14,13 @@ import ( "time" ) -// ─── 反证辅助:liveRecallOnce ───────────────────────────────── -// 一次 recall API 调用同时拿 ids + top1_content,避免两条 HTTP(限流保护) +// ─── recall 辅助:liveRecallOnce ───────────────────────────── +// 一次 recall API 调用同时拿 top-5 的 ids + contents,避免两条 HTTP(限流保护)。 +// 每次调用间加 200ms 间隔,由调用方负责(TestEvalGolden_Live 里 sleep)。 type recallResult struct { - IDs []string - Top1Content string - Error error + IDS []string + TopContents []string + Error error } func liveRecallOnce(query string, maxRetries int, retryWait time.Duration) recallResult { @@ -46,15 +47,14 @@ func liveRecallOnce(query string, maxRetries int, retryWait time.Duration) recal // 限流(429)或服务错误:读 retry_after_s,退避重试 var errResp struct { Error struct { - ErrorCode string `json:"code"` - ErrorMessage string `json:"message"` + Code string `json:"code"` + Message string `json:"message"` RetryAfterSecs int `json:"retry_after_s"` } `json:"error"` } _ = json.Unmarshal(body, &errResp) - lastErr = fmt.Errorf("HTTP %d (%s): %s", resp.StatusCode, errResp.Error.ErrorCode, errResp.Error.ErrorMessage) + lastErr = fmt.Errorf("HTTP %d (%s): %s", resp.StatusCode, errResp.Error.Code, errResp.Error.Message) if resp.StatusCode == http.StatusTooManyRequests { - // 限流退避:用 retry_after_s,至少 1s wait := time.Duration(errResp.Error.RetryAfterSecs) * time.Second if wait == 0 { wait = 2 * time.Second @@ -75,20 +75,30 @@ func liveRecallOnce(query string, maxRetries int, retryWait time.Duration) recal } rr := recallResult{} for _, r := range result.Results { - rr.IDs = append(rr.IDs, r.ID) - } - if len(result.Results) > 0 { - rr.Top1Content = result.Results[0].Content + rr.IDS = append(rr.IDS, r.ID) + rr.TopContents = append(rr.TopContents, r.Content) } return rr } return recallResult{Error: lastErr} } +// keywordHitAnywhere 检查 top-5 任一结果的 content 是否含任一关键词 +func keywordHitAnywhere(topContents []string, keywords []string) bool { + if len(keywords) == 0 { + return false + } + for _, content := range topContents { + if checkKeywordRelevance(content, keywords) { + return true + } + } + return false +} + // ─── AC① 空断言自守:validateExpectedIDs ──────────────────── func TestValidateExpectedIDs_RejectsBareMemPrefix(t *testing.T) { - // 裸前缀 "mem_" → 必须报 FATAL err := validateExpectedIDs("测试查询", []string{"mem_"}) if err == nil { t.Fatal("✗ 裸前缀 mem_ 未报错(恒真断言漏检)") @@ -118,7 +128,6 @@ func TestValidateExpectedIDs_RejectsNone(t *testing.T) { } func TestValidateExpectedIDs_AllowsRealID(t *testing.T) { - // 具体记忆 ID(mem_ + 数字)必须放行 if err := validateExpectedIDs("测试查询", []string{"mem_1789153726378940805"}); err != nil { t.Fatalf("✗ 真实 ID 被误拦: %v", err) } @@ -126,7 +135,6 @@ func TestValidateExpectedIDs_AllowsRealID(t *testing.T) { } func TestValidateExpectedIDs_AllowsEmptySlice(t *testing.T) { - // 空 slice(bootstrap 无基线)允许,由上层决定是否记录 if err := validateExpectedIDs("测试查询", []string{}); err != nil { t.Fatalf("✗ 空 slice(bootstrap)被误拦: %v", err) } @@ -136,19 +144,15 @@ func TestValidateExpectedIDs_AllowsEmptySlice(t *testing.T) { // ─── 关键词判据:checkKeywordRelevance ────────────────────── func TestCheckKeywordRelevance(t *testing.T) { - // 命中 if !checkKeywordRelevance("用户偏好:牧尘喜欢直接动手", []string{"牧尘"}) { t.Fatal("✗ 应命中「牧尘」") } - // 未命中 if checkKeywordRelevance("用户偏好:牧尘喜欢直接动手", []string{"技术栈"}) { t.Fatal("✗ 不应命中「技术栈」") } - // 大小写不敏感 if !checkKeywordRelevance("MemoryWeave recall API 文档", []string{"RECALL"}) { t.Fatal("✗ 大小写不敏感匹配失败") } - // 空关键词 → 禁止(恒真退化) if checkKeywordRelevance("任意内容", []string{}) { t.Fatal("✗ 空关键词判据退化成恒真") } @@ -169,11 +173,9 @@ func TestLoadGoldenSet_ValidFile(t *testing.T) { if gs.Description == "" { t.Error("✗ description 缺失") } - // 12 条基线 + 2 条目标知识 if len(gs.Items) != 14 { t.Fatalf("✗ 期望 14 条(12 基线 + 2 目标),实际 %d", len(gs.Items)) } - // 每条必须有 query + expected_ids(非裸前缀)+ must_include_keywords for i, item := range gs.Items { if item.Query == "" { t.Fatalf("✗ item %d query 为空", i) @@ -194,7 +196,6 @@ func TestLoadGoldenSet_ValidFile(t *testing.T) { } func TestLoadGoldenSet_RejectsVacuousIDs(t *testing.T) { - // 构造一个含裸前缀的金标集 → 必须拒绝 dir := t.TempDir() bad := `{ "description": "bad", @@ -211,9 +212,78 @@ func TestLoadGoldenSet_RejectsVacuousIDs(t *testing.T) { } } +// ─── AC① 反证:故意把某条 expected_id 改成错误 ID → 该条必须 FAIL ─── +// 这是本卡核心验收点:证明判据非恒真(改错期望 → 真 FAIL) + +func TestEvalGolden_CounterEvidence(t *testing.T) { + // 探活 zhiyid(无服务 → 跳过) + healthReq, _ := http.NewRequest("GET", "http://127.0.0.1:7821/api/v1/health", nil) + healthReq.Header.Set("X-API-Key", "zhiyi-dev-key-2026") + resp, err := http.DefaultClient.Do(healthReq) + if err != nil || resp == nil { + t.Skipf("zhiyid 服务不可达(%v),跳过反证测试", err) + } + resp.Body.Close() + + // 1. 先跑一次正常(期望 PASS) + gs, err := LoadGoldenSet(filepath.Join("testdata", "golden-set.json")) + if err != nil { + t.Fatalf("加载金标集失败: %v", err) + } + + // 取第一条("织忆是什么",expected=mem_1789153726378940805) + item0 := gs.Items[0] + t.Logf("反证前:item[0] query=%q expected=%v", item0.Query, item0.ExpectedIDs) + + // 反证前跑一次 + rrBefore := liveRecallOnce(item0.Query, 3, 2*time.Second) + if rrBefore.Error != nil { + t.Skipf("recall API 不可用(%v),跳过反证", rrBefore.Error) + } + idHitBefore := containsAny(rrBefore.IDS, item0.ExpectedIDs) + kwHitBefore := keywordHitAnywhere(rrBefore.TopContents, item0.MustIncludeKeywords) + if idHitBefore && kwHitBefore { + t.Logf("反证前 ✓ PASS: top1=%s kw_hit=%v", firstID(rrBefore.IDS), kwHitBefore) + } else { + t.Logf("反证前(基线本身就有问题,跳过反证验证): idHit=%v kwHit=%v", idHitBefore, kwHitBefore) + t.Skipf("反证前基线不 PASS,无法验证反证") + } + + // 2. 故意改成错误 ID + badID := "mem_0000000000000000000" // 不存在的 ID + gs2 := &GoldenSet{Items: []GoldenSetItem{}} + for _, it := range gs.Items { + if it.Query == item0.Query { + it.ExpectedIDs = []string{badID} + } + gs2.Items = append(gs2.Items, it) + } + + // 空断言自守:badID 是合法格式(mem_+数字),不被拦截 ✓ + if err := validateExpectedIDs(item0.Query, []string{badID}); err != nil { + t.Fatalf("✗ 反证用 ID %q 被空断言自守误拦: %v", badID, err) + } + + // 3. 反证跑:用错误 ID 必须 FAIL + rrAfter := liveRecallOnce(item0.Query, 3, 2*time.Second) + if rrAfter.Error != nil { + t.Fatalf("反证时 recall 失败: %v", rrAfter.Error) + } + idHitAfter := containsAny(rrAfter.IDS, []string{badID}) + if idHitAfter { + t.Errorf("✗ 反证失败:错误 ID %q 竟然命中(判据恒真!)", badID) + } else { + t.Logf("反证后 ✓ FAIL(如预期): top1=%s 不含 %s", firstID(rrAfter.IDS), badID) + } + + // 4. 恢复(golden-set.json 没改,只是内存里改了 gs2) + t.Logf("反证测试完成:正常=%v 错误ID=%v", idHitBefore, !idHitAfter) +} + // ─── 全量金标跑(需活 zhiyid 服务;无服务时 skip)────────── -// 判据:14 条中 12 基线 + 2 目标,跑真实 recall,统计 pass/fail。 +// 判据:14 条中 12 基线 + 2 目标,跑真实 recall,统计 pass/fail/warn/error。 // 校准后真实基线 = 12/14(2 条目标知识在库但召回 top-5 不稳定 → 允许 FAIL,不许抹平)。 +// 每次调用后 200ms 间隔 + 限流退避,避免打满 zhiyid 令牌桶。 func TestEvalGolden_Live(t *testing.T) { // 探活 zhiyid(无服务 → 跳过,不污染 CI) @@ -229,7 +299,6 @@ func TestEvalGolden_Live(t *testing.T) { t.Skipf("zhiyid 服务 HTTP %d: %s", resp.StatusCode, string(body[:min(80, len(body))])) } - // 用 LiveRecallPipeline(直接走 HTTP recall API)跑金标集 gs, err := LoadGoldenSet(filepath.Join("testdata", "golden-set.json")) if err != nil { t.Fatalf("加载金标集失败: %v", err) @@ -242,7 +311,7 @@ func TestEvalGolden_Live(t *testing.T) { t.Fatalf("item %d 空断言自守失败: %v", i, err) } - // 一次 HTTP 调用同时拿 ids + top1_content(限流保护) + // 一次 HTTP 调用同时拿 top-5 ids + contents(限流保护) rr := liveRecallOnce(item.Query, 3, 2*time.Second) if rr.Error != nil { errorCount++ @@ -250,36 +319,43 @@ func TestEvalGolden_Live(t *testing.T) { continue } - // 判据① ID 命中 - idHit := containsAny(rr.IDs, item.ExpectedIDs) + // 判据① ID 命中(top-5 里有 expected_ids 之一) + idHit := containsAny(rr.IDS, item.ExpectedIDs) - // 判据② 关键词相关性 - kwHit := checkKeywordRelevance(rr.Top1Content, item.MustIncludeKeywords) + // 判据② 关键词相关性(top-5 任一结果 content 含关键词) + kwHit := keywordHitAnywhere(rr.TopContents, item.MustIncludeKeywords) if idHit && kwHit { pass++ - t.Logf("PASS[%d] %q top1=%s", i, item.Query, firstID(rr.IDs)) + t.Logf("PASS[%d] %q top1=%s", i, item.Query, firstID(rr.IDS)) } else { fail++ why := []string{} if !idHit { - // ID 漂移:基线 ID 不在 top-5,但关键词仍命中 → WARN(ID 漂移,内容切题) if kwHit { - why = append(why, fmt.Sprintf("ID漂移(基线 %v ∉ top-5 %v, 但内容切题)", item.ExpectedIDs, rr.IDs[:min(3, len(rr.IDs))])) + // ID 漂移但内容切题 → 降级为 WARN(不算硬 FAIL) + why = append(why, fmt.Sprintf("ID漂移(基线 %v ∉ top-5 %v, 但内容切题)", + item.ExpectedIDs, rr.IDS[:min(3, len(rr.IDS))])) warn++ } else { - why = append(why, fmt.Sprintf("ID未命中(期望 %v, top-5 %v)", item.ExpectedIDs, rr.IDs[:min(3, len(rr.IDs))])) + why = append(why, fmt.Sprintf("ID未命中(期望 %v, top-5 %v)", + item.ExpectedIDs, rr.IDS[:min(3, len(rr.IDS))])) } } if !kwHit { - why = append(why, fmt.Sprintf("关键词未命中(%v) | content_head: %s", item.MustIncludeKeywords, rr.Top1Content[:min(40, len(rr.Top1Content))])) + head := "" + if len(rr.TopContents) > 0 { + head = rr.TopContents[0][:min(40, len(rr.TopContents[0]))] + } + why = append(why, fmt.Sprintf("关键词未命中(%v) | top1_content: %s", + item.MustIncludeKeywords, head)) } - // ID 漂移但内容切题 → 降级为 WARN,不算 FAIL + // ID 漂移但内容切题 → 降级为 WARN,不算硬 FAIL if kwHit && !idHit { fail-- t.Logf("WARN[%d] %q %v", i, item.Query, why) } else { - t.Logf("FAIL[%d] %q %v | top1: %s | kw_content_head: %s", i, item.Query, why, firstID(rr.IDs), rr.Top1Content[:min(40, len(rr.Top1Content))]) + t.Logf("FAIL[%d] %q %v | top1: %s", i, item.Query, why, firstID(rr.IDS)) } } @@ -287,20 +363,24 @@ func TestEvalGolden_Live(t *testing.T) { time.Sleep(200 * time.Millisecond) } - // 结尾打印真实数字,不写死任何期望值 + // 结尾打印真实数字(不写死任何期望值) total := len(gs.Items) - t.Logf("RESULT: total=%d pass=%d fail=%d warn=%d error=%d(真实数字,无硬编码基线)", total, pass, fail, warn, errorCount) + t.Logf("RESULT: total=%d pass=%d fail=%d warn=%d error=%d(真实数字,无硬编码基线)", + total, pass, fail, warn, errorCount) + // 漏跑检查:pass+fail+warn+error 必须 = 总条数 if pass+fail+warn+errorCount != total { t.Errorf("✗ 漏跑:pass+fail+warn+error=%d ≠ 总条数 %d", pass+fail+warn+errorCount, total) } - // 关键词硬 FAIL(召回质量)→ 单独报告,不直接 fail 测试(基线允许 2~3 条已知失败) - // 真正让测试 fail 的条件:pass==0(全灭,判据可能已失效) + + // 全灭(pass=0)→ 判据可能已失效或金标集 ID 已过期 if pass == 0 { t.Errorf("✗ 全灭(pass=0)——关键词判据可能失效或金标集 ID 已过期") } - // 打印真实基线(供人工校准) + + // 校准基线(供人工校准,不写死期望值) t.Logf("校准基线:pass=%d/%d(fail=%d warn=%d error=%d)", pass, total, fail, warn, errorCount) + // error 条目 → 服务问题,不计入 fail 但必须报告 if errorCount > 0 { t.Logf("⚠ %d 条 ERROR(recall API 调用失败,非召回质量问题)", errorCount)