diff --git a/go/internal/storage/quality_fusion.go b/go/internal/storage/quality_fusion.go index 80baf94..647446e 100644 --- a/go/internal/storage/quality_fusion.go +++ b/go/internal/storage/quality_fusion.go @@ -3,6 +3,7 @@ package storage import ( "math" "os" + "strings" "github.com/xiaoxue/memoryweave/internal/models" ) @@ -19,6 +20,47 @@ import ( // 不新增缓存/Redis 依赖;部署走既有「停→构建→起」流程(本卡仅 sidecar A/B,不动生产)。 var vFuseUseV = os.Getenv("ZHIYI_V_FUSE_ENABLE") != "1" +// t_7c0538eb(2026-10-18):低分(可信评分)记忆在检索排序里降权(可逆,替代「真丢弃」)。 +// ZHIYI_LOWSCORE_DOWNWEIGHT 取值语义(回滚开关,默认关 = 零行为变化): +// - 未设 / "0" / 非 "1":lowScoreDownweight 恒返回 1.0 ⇒ fuseQuality 逐位等价现状(零风险); +// - "1":对「可靠打分且低分」(0=阈值 ⇒ 1.0(不降权,逐位等价现状)。 +func lowScoreDownweight(rawQuality float64) float64 { + if !lowScoreDwGate() { + return 1.0 + } + if rawQuality <= 0 || !models.IsReliableQuality(rawQuality) { + return 1.0 + } + if rawQuality >= lowScoreDWThreshold { + return 1.0 + } + f := rawQuality / lowScoreDWThreshold + if f < lowScoreDWFloor { + f = lowScoreDWFloor + } + return f +} + // 召回排序「频率 + 时间衰减」融合公式 —— 从 lancedb_ipc.go Search() 内联代码抽出的纯函数。 // 行为逐位等价于原内联实现(t_5028c14d),不改任何数值常量。 // 调用链:recall.go Recall() → Search() → 本文件三函数 → QualityScore 供排序。 @@ -52,10 +94,13 @@ func computeImportance(days float64, recallSeenCount int64, volatile bool) float // rawQuality 经 models.IsReliableQuality 判定可信度(0=未打分/历史常量 bug 视为不可信)。 func fuseQuality(computedImportance, rawQuality, vValue float64) float64 { qsTrusted := models.IsReliableQuality(rawQuality) + // t_7c0538eb:低分(可信)降权因子;gate 关时恒 1.0(逐位等价现状,零行为变化)。 + dw := lowScoreDownweight(rawQuality) var finalQuality float64 if qsTrusted { // QualityScore from LLM (0-1) + computed importance, capped at 1.0 - finalQuality = math.Min(0.4*computedImportance+0.6*rawQuality, 1.0) + // t_7c0538eb:quality 贡献 × dw(可信低分按比例压低、可逆;不删数据) + finalQuality = math.Min(0.4*computedImportance+0.6*rawQuality*dw, 1.0) } else { // 质量分不可信 → 仅用 importance([qstrust-ipc] 日志留在调用处) finalQuality = math.Min(computedImportance, 1.0) @@ -65,8 +110,8 @@ func fuseQuality(computedImportance, rawQuality, vValue float64) float64 { // 等价于现状 vValue<=0 行为;0.5:0.5 分支的 V 半边移除后归一回到无 V 式)。 if vFuseUseV && vValue > 0 { if qsTrusted { - // 30% V值 + 30% importance + 40% LLM quality - finalQuality = 0.3*vValue + 0.3*computedImportance + 0.4*rawQuality + // 30% V值 + 30% importance + 40% LLM quality(t_7c0538eb:quality 半边 × dw) + finalQuality = 0.3*vValue + 0.3*computedImportance + 0.4*rawQuality*dw } else { // 质量分不可信 → 去掉它的 40%,剩余 30:30 重新归一为 50:50。 finalQuality = 0.5*vValue + 0.5*computedImportance diff --git a/go/internal/storage/quality_fusion_lowscdw_test.go b/go/internal/storage/quality_fusion_lowscdw_test.go new file mode 100644 index 0000000..5300bbf --- /dev/null +++ b/go/internal/storage/quality_fusion_lowscdw_test.go @@ -0,0 +1,134 @@ +package storage + +import ( + "math" + "testing" +) + +// t_7c0538eb AC5:低分(可信评分)记忆在检索排序里降权(可逆,不删数据)+ 回滚开关。 +// +// 召回排序的单一融合点 = fuseQuality(lancedb_ipc.go:333 调用;纯函数)。本测试用一组 +// 固定候选(computedImportance + rawQuality,vValue=0 以隔离基线分支)按 fuseQuality 降序 +// 排序,验证: +// ① gate 关(默认/回滚)= 基线序; +// ② gate 开 = 「可信低分但高重要性」的记忆被压到「普通分低重要性」记忆之后(reorder); +// ③ gate 再关 = 逐位复原到基线序(可逆)。 +// 另验证 0.0(未打分 / bug 残留)与 0.755(echo 常量)走「不可信→仅 importance」分支, +// 不受本降权影响(dw 只作用于「可信低分」一档)——数值在 gate 开/关下不变。 +func TestFuseQuality_LowScoreDownweight_Ac5(t *testing.T) { + // 固定候选:imp、rawQuality、id。vValue=0。 + type mem struct{ + id string + imp float64 + qs float64 + } + cands := []mem{ + {"L_low_hiimp", 1.0, 0.25}, // 可信低分 + 高重要性 → 被降权应下沉 + {"M_norm_loimp", 0.8, 0.35}, // 普通分(>=0.30 不降权)+ 较低重要性 + {"H_high", 0.5, 0.85}, // 高质量 + {"U_unscored", 1.0, 0.0}, // 0.0 未打分(bug 残留,不可信) + {"E_echo", 0.6, 0.755}, // 0.755 echo 常量(不可信) + } + + // rank(order 用):按 fuseQuality(imp, qs, 0) 降序返回 id 列表 + 各 id 的 finalQuality。 + rank := func() (order []string, scores map[string]float64) { + scores = map[string]float64{} + type sc struct { + m mem + f float64 + } + sclice := make([]sc, 0, len(cands)) + for _, m := range cands { + sclice = append(sclice, sc{m, fuseQuality(m.imp, m.qs, 0)}) + } + for i := 1; i < len(sclice); i++ { + for j := i; j > 0 && sclice[j].f > sclice[j-1].f; j-- { + sclice[j], sclice[j-1] = sclice[j-1], sclice[j] + } + } + order = make([]string, 0, len(sclice)) + for _, s := range sclice { + order = append(order, s.m.id) + scores[s.m.id] = s.f + } + return order, scores + } + + approxEq := func(a, b float64) bool { return math.Abs(a-b) < 1e-9 } + + // ── ① 基线(gate 关)───────────────────────────────────────────── + t.Setenv("ZHIYI_LOWSCORE_DOWNWEIGHT", "0") + baseOrder, baseScores := rank() + t.Logf("基线(gate关) 序: %v 分: L=%.4f M=%.4f H=%.4f U=%.4f E=%.4f", + baseOrder, baseScores["L_low_hiimp"], baseScores["M_norm_loimp"], baseScores["H_high"], + baseScores["U_unscored"], baseScores["E_echo"]) + + // ── ② gate 开(降权生效)────────────────────────────────────────── + t.Setenv("ZHIYI_LOWSCORE_DOWNWEIGHT", "1") + onOrder, onScores := rank() + t.Logf("gate开 序: %v 分: L=%.4f M=%.4f H=%.4f U=%.4f E=%.4f", + onOrder, onScores["L_low_hiimp"], onScores["M_norm_loimp"], onScores["H_high"], + onScores["U_unscored"], onScores["E_echo"]) + + // 断言①:可信低分 L 被压低(分数下降),普通分 M / 高质量 H 不变。 + if !(onScores["L_low_hiimp"] < baseScores["L_low_hiimp"]) { + t.Fatalf("AC5 降权未生效:L 开gate后(%.4f) 未低于 基线(%.4f)", + onScores["L_low_hiimp"], baseScores["L_low_hiimp"]) + } + if !approxEq(onScores["M_norm_loimp"], baseScores["M_norm_loimp"]) { + t.Fatalf("AC5 误伤普通分:M(q=0.35>=阈值) 开gate后(%.4f) ≠ 基线(%.4f),本应不变", + onScores["M_norm_loimp"], baseScores["M_norm_loimp"]) + } + if !approxEq(onScores["H_high"], baseScores["H_high"]) { + t.Fatalf("AC5 误伤高质量:H 开gate后(%.4f) ≠ 基线(%.4f)", onScores["H_high"], baseScores["H_high"]) + } + // 断言②:0.0 / 0.755 不可信行不受降权影响(数值在开/关下逐位不变)。 + if !approxEq(onScores["U_unscored"], baseScores["U_unscored"]) { + t.Fatalf("AC5 误伤 0.0 未打分行:U 开gate后(%.4f) ≠ 基线(%.4f),本应不变(不可信分支)", + onScores["U_unscored"], baseScores["U_unscored"]) + } + if !approxEq(onScores["E_echo"], baseScores["E_echo"]) { + t.Fatalf("AC5 误伤 0.755 echo 行:E 开gate后(%.4f) ≠ 基线(%.4f)", onScores["E_echo"], baseScores["E_echo"]) + } + // 断言③:出现 reorder —— 基线里 L 排在 M 前,开 gate 后 M 反超 L。 + if !(_idx(baseOrder, "L_low_hiimp") < _idx(baseOrder, "M_norm_loimp")) { + t.Fatalf("前置不成立:基线序 L 应在 M 前,得 %v", baseOrder) + } + if !(_idx(onOrder, "M_norm_loimp") < _idx(onOrder, "L_low_hiimp")) { + t.Fatalf("AC5 未 reorder:开gate后 M 应反超低分 L,得 %v", onOrder) + } + + // ── ③ 回滚(gate 再关)= 逐位复原基线 ─────────────────────────── + t.Setenv("ZHIYI_LOWSCORE_DOWNWEIGHT", "0") + backOrder, backScores := rank() + if !equalStrs(backOrder, baseOrder) { + t.Fatalf("AC5 回滚未复原:gate 再关序 %v ≠ 基线 %v", backOrder, baseOrder) + } + for _, id := range []string{"L_low_hiimp", "M_norm_loimp", "H_high", "U_unscored", "E_echo"} { + if !approxEq(backScores[id], baseScores[id]) { + t.Fatalf("AC5 回滚未复原 %s:再关(%.6f) ≠ 基线(%.6f)", id, backScores[id], baseScores[id]) + } + } + t.Logf("回滚(gate再关) 序: %v —— 与基线逐位一致,低分 L 复原到 %.4f", backOrder, backScores["L_low_hiimp"]) +} + +func _idx(order []string, id string) int { + for i, x := range order { + if x == id { + return i + } + } + return -1 +} + +func equalStrs(a, b []string) bool { + if len(a) != len(b) { + return false + } + for i := range a { + if a[i] != b[i] { + return false + } + } + return true +}