From a1021bb70ac91deac43695f08c910e35bc3fc224 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=B0=8F=E5=94=AF?= Date: Sun, 18 Oct 2026 12:54:51 +0800 Subject: [PATCH] =?UTF-8?q?feat(storage):=20t=5F7c0538eb=20AC5=20=E4=BD=8E?= =?UTF-8?q?=E5=88=86=E5=8F=AF=E4=BF=A1=E8=AF=84=E5=88=86=E8=AE=B0=E5=BF=86?= =?UTF-8?q?=E6=A3=80=E7=B4=A2=E9=99=8D=E6=9D=83=EF=BC=88=E5=8F=AF=E9=80=86?= =?UTF-8?q?,=20env-gated,=20=E9=BB=98=E8=AE=A4=E5=85=B3=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit fuseQuality 对「可信且 0=阈值 ⇒ 1.0(不降权,逐位等价现状)。 +func lowScoreDownweight(rawQuality float64) float64 { + if !lowScoreDwGate() { + return 1.0 + } + if rawQuality <= 0 || !models.IsReliableQuality(rawQuality) { + return 1.0 + } + if rawQuality >= lowScoreDWThreshold { + return 1.0 + } + f := rawQuality / lowScoreDWThreshold + if f < lowScoreDWFloor { + f = lowScoreDWFloor + } + return f +} + // 召回排序「频率 + 时间衰减」融合公式 —— 从 lancedb_ipc.go Search() 内联代码抽出的纯函数。 // 行为逐位等价于原内联实现(t_5028c14d),不改任何数值常量。 // 调用链:recall.go Recall() → Search() → 本文件三函数 → QualityScore 供排序。 @@ -52,10 +94,13 @@ func computeImportance(days float64, recallSeenCount int64, volatile bool) float // rawQuality 经 models.IsReliableQuality 判定可信度(0=未打分/历史常量 bug 视为不可信)。 func fuseQuality(computedImportance, rawQuality, vValue float64) float64 { qsTrusted := models.IsReliableQuality(rawQuality) + // t_7c0538eb:低分(可信)降权因子;gate 关时恒 1.0(逐位等价现状,零行为变化)。 + dw := lowScoreDownweight(rawQuality) var finalQuality float64 if qsTrusted { // QualityScore from LLM (0-1) + computed importance, capped at 1.0 - finalQuality = math.Min(0.4*computedImportance+0.6*rawQuality, 1.0) + // t_7c0538eb:quality 贡献 × dw(可信低分按比例压低、可逆;不删数据) + finalQuality = math.Min(0.4*computedImportance+0.6*rawQuality*dw, 1.0) } else { // 质量分不可信 → 仅用 importance([qstrust-ipc] 日志留在调用处) finalQuality = math.Min(computedImportance, 1.0) @@ -65,8 +110,8 @@ func fuseQuality(computedImportance, rawQuality, vValue float64) float64 { // 等价于现状 vValue<=0 行为;0.5:0.5 分支的 V 半边移除后归一回到无 V 式)。 if vFuseUseV && vValue > 0 { if qsTrusted { - // 30% V值 + 30% importance + 40% LLM quality - finalQuality = 0.3*vValue + 0.3*computedImportance + 0.4*rawQuality + // 30% V值 + 30% importance + 40% LLM quality(t_7c0538eb:quality 半边 × dw) + finalQuality = 0.3*vValue + 0.3*computedImportance + 0.4*rawQuality*dw } else { // 质量分不可信 → 去掉它的 40%,剩余 30:30 重新归一为 50:50。 finalQuality = 0.5*vValue + 0.5*computedImportance diff --git a/go/internal/storage/quality_fusion_lowscdw_test.go b/go/internal/storage/quality_fusion_lowscdw_test.go new file mode 100644 index 0000000..5300bbf --- /dev/null +++ b/go/internal/storage/quality_fusion_lowscdw_test.go @@ -0,0 +1,134 @@ +package storage + +import ( + "math" + "testing" +) + +// t_7c0538eb AC5:低分(可信评分)记忆在检索排序里降权(可逆,不删数据)+ 回滚开关。 +// +// 召回排序的单一融合点 = fuseQuality(lancedb_ipc.go:333 调用;纯函数)。本测试用一组 +// 固定候选(computedImportance + rawQuality,vValue=0 以隔离基线分支)按 fuseQuality 降序 +// 排序,验证: +// ① gate 关(默认/回滚)= 基线序; +// ② gate 开 = 「可信低分但高重要性」的记忆被压到「普通分低重要性」记忆之后(reorder); +// ③ gate 再关 = 逐位复原到基线序(可逆)。 +// 另验证 0.0(未打分 / bug 残留)与 0.755(echo 常量)走「不可信→仅 importance」分支, +// 不受本降权影响(dw 只作用于「可信低分」一档)——数值在 gate 开/关下不变。 +func TestFuseQuality_LowScoreDownweight_Ac5(t *testing.T) { + // 固定候选:imp、rawQuality、id。vValue=0。 + type mem struct{ + id string + imp float64 + qs float64 + } + cands := []mem{ + {"L_low_hiimp", 1.0, 0.25}, // 可信低分 + 高重要性 → 被降权应下沉 + {"M_norm_loimp", 0.8, 0.35}, // 普通分(>=0.30 不降权)+ 较低重要性 + {"H_high", 0.5, 0.85}, // 高质量 + {"U_unscored", 1.0, 0.0}, // 0.0 未打分(bug 残留,不可信) + {"E_echo", 0.6, 0.755}, // 0.755 echo 常量(不可信) + } + + // rank(order 用):按 fuseQuality(imp, qs, 0) 降序返回 id 列表 + 各 id 的 finalQuality。 + rank := func() (order []string, scores map[string]float64) { + scores = map[string]float64{} + type sc struct { + m mem + f float64 + } + sclice := make([]sc, 0, len(cands)) + for _, m := range cands { + sclice = append(sclice, sc{m, fuseQuality(m.imp, m.qs, 0)}) + } + for i := 1; i < len(sclice); i++ { + for j := i; j > 0 && sclice[j].f > sclice[j-1].f; j-- { + sclice[j], sclice[j-1] = sclice[j-1], sclice[j] + } + } + order = make([]string, 0, len(sclice)) + for _, s := range sclice { + order = append(order, s.m.id) + scores[s.m.id] = s.f + } + return order, scores + } + + approxEq := func(a, b float64) bool { return math.Abs(a-b) < 1e-9 } + + // ── ① 基线(gate 关)───────────────────────────────────────────── + t.Setenv("ZHIYI_LOWSCORE_DOWNWEIGHT", "0") + baseOrder, baseScores := rank() + t.Logf("基线(gate关) 序: %v 分: L=%.4f M=%.4f H=%.4f U=%.4f E=%.4f", + baseOrder, baseScores["L_low_hiimp"], baseScores["M_norm_loimp"], baseScores["H_high"], + baseScores["U_unscored"], baseScores["E_echo"]) + + // ── ② gate 开(降权生效)────────────────────────────────────────── + t.Setenv("ZHIYI_LOWSCORE_DOWNWEIGHT", "1") + onOrder, onScores := rank() + t.Logf("gate开 序: %v 分: L=%.4f M=%.4f H=%.4f U=%.4f E=%.4f", + onOrder, onScores["L_low_hiimp"], onScores["M_norm_loimp"], onScores["H_high"], + onScores["U_unscored"], onScores["E_echo"]) + + // 断言①:可信低分 L 被压低(分数下降),普通分 M / 高质量 H 不变。 + if !(onScores["L_low_hiimp"] < baseScores["L_low_hiimp"]) { + t.Fatalf("AC5 降权未生效:L 开gate后(%.4f) 未低于 基线(%.4f)", + onScores["L_low_hiimp"], baseScores["L_low_hiimp"]) + } + if !approxEq(onScores["M_norm_loimp"], baseScores["M_norm_loimp"]) { + t.Fatalf("AC5 误伤普通分:M(q=0.35>=阈值) 开gate后(%.4f) ≠ 基线(%.4f),本应不变", + onScores["M_norm_loimp"], baseScores["M_norm_loimp"]) + } + if !approxEq(onScores["H_high"], baseScores["H_high"]) { + t.Fatalf("AC5 误伤高质量:H 开gate后(%.4f) ≠ 基线(%.4f)", onScores["H_high"], baseScores["H_high"]) + } + // 断言②:0.0 / 0.755 不可信行不受降权影响(数值在开/关下逐位不变)。 + if !approxEq(onScores["U_unscored"], baseScores["U_unscored"]) { + t.Fatalf("AC5 误伤 0.0 未打分行:U 开gate后(%.4f) ≠ 基线(%.4f),本应不变(不可信分支)", + onScores["U_unscored"], baseScores["U_unscored"]) + } + if !approxEq(onScores["E_echo"], baseScores["E_echo"]) { + t.Fatalf("AC5 误伤 0.755 echo 行:E 开gate后(%.4f) ≠ 基线(%.4f)", onScores["E_echo"], baseScores["E_echo"]) + } + // 断言③:出现 reorder —— 基线里 L 排在 M 前,开 gate 后 M 反超 L。 + if !(_idx(baseOrder, "L_low_hiimp") < _idx(baseOrder, "M_norm_loimp")) { + t.Fatalf("前置不成立:基线序 L 应在 M 前,得 %v", baseOrder) + } + if !(_idx(onOrder, "M_norm_loimp") < _idx(onOrder, "L_low_hiimp")) { + t.Fatalf("AC5 未 reorder:开gate后 M 应反超低分 L,得 %v", onOrder) + } + + // ── ③ 回滚(gate 再关)= 逐位复原基线 ─────────────────────────── + t.Setenv("ZHIYI_LOWSCORE_DOWNWEIGHT", "0") + backOrder, backScores := rank() + if !equalStrs(backOrder, baseOrder) { + t.Fatalf("AC5 回滚未复原:gate 再关序 %v ≠ 基线 %v", backOrder, baseOrder) + } + for _, id := range []string{"L_low_hiimp", "M_norm_loimp", "H_high", "U_unscored", "E_echo"} { + if !approxEq(backScores[id], baseScores[id]) { + t.Fatalf("AC5 回滚未复原 %s:再关(%.6f) ≠ 基线(%.6f)", id, backScores[id], baseScores[id]) + } + } + t.Logf("回滚(gate再关) 序: %v —— 与基线逐位一致,低分 L 复原到 %.4f", backOrder, backScores["L_low_hiimp"]) +} + +func _idx(order []string, id string) int { + for i, x := range order { + if x == id { + return i + } + } + return -1 +} + +func equalStrs(a, b []string) bool { + if len(a) != len(b) { + return false + } + for i := range a { + if a[i] != b[i] { + return false + } + } + return true +}