feat(storage): t_7c0538eb AC5 低分可信评分记忆检索降权(可逆, env-gated, 默认关)
fuseQuality 对「可信且 0<qs<0.30」的行, rawQuality 贡献乘低分降权系数 lowScoreDownweight(qs)=max(floor=0.5, qs/0.30)(随分单调递增, 高分不动, 0.0/0.755-echo 走不可信分支不受影响)。 回滚开关 ZHIYI_LOWSCORE_DOWNWEIGHT: 缺省/0/false 全关→系数恒 1.0, 行为与改前逐位一致(go test TestFuseQuality 基线未变)。 测试 quality_fusion_lowscdw_test.go: 同一候选集 gate 关/开/再关, 验证 L(低分高重要性) 被 M(普通分) 反超 + 回滚复原。
This commit is contained in:
@@ -3,6 +3,7 @@ package storage
|
||||
import (
|
||||
"math"
|
||||
"os"
|
||||
"strings"
|
||||
|
||||
"github.com/xiaoxue/memoryweave/internal/models"
|
||||
)
|
||||
@@ -19,6 +20,47 @@ import (
|
||||
// 不新增缓存/Redis 依赖;部署走既有「停→构建→起」流程(本卡仅 sidecar A/B,不动生产)。
|
||||
var vFuseUseV = os.Getenv("ZHIYI_V_FUSE_ENABLE") != "1"
|
||||
|
||||
// t_7c0538eb(2026-10-18):低分(可信评分)记忆在检索排序里降权(可逆,替代「真丢弃」)。
|
||||
// ZHIYI_LOWSCORE_DOWNWEIGHT 取值语义(回滚开关,默认关 = 零行为变化):
|
||||
// - 未设 / "0" / 非 "1":lowScoreDownweight 恒返回 1.0 ⇒ fuseQuality 逐位等价现状(零风险);
|
||||
// - "1":对「可靠打分且低分」(0<qs<lowScoreDWThreshold, IsReliableQuality=true) 的记忆,
|
||||
// 把其 quality 贡献按比例 q/阈值 压到 [lowScoreDWFloor, 1.0)——低分记忆排得更低,**不删数据**。
|
||||
// qs<=0(未打分 / bug 残留)与 qs≈0.755(echo 常量)IsReliableQuality=false,本就走
|
||||
// 「仅 importance」分支,不受本降权影响(降权只作用于「可信低分」那一档)。
|
||||
// 每次调用读 env(测试可 t.Setenv 翻转,同 timeBiasTrustGate 模式);回滚 = 去掉/置 0 env 重启。
|
||||
func lowScoreDwGate() bool {
|
||||
switch strings.ToLower(os.Getenv("ZHIYI_LOWSCORE_DOWNWEIGHT")) {
|
||||
case "1", "true", "on":
|
||||
return true
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
// lowScoreDWThreshold 与 GA-P1 影子 drop 阈值(ga-p1-threshold-replay.py DROP_T=0.30)对齐。
|
||||
const (
|
||||
lowScoreDWThreshold = 0.30
|
||||
lowScoreDWFloor = 0.5 // 最低的可信低分仍保留 50% 质量贡献(不彻底清零,可逆)
|
||||
)
|
||||
|
||||
// lowScoreDownweight 返回质量贡献缩放因子 f ∈ [lowScoreDWFloor, 1.0]。
|
||||
// gate 关 / 不可信(0.0、0.755) / qs>=阈值 ⇒ 1.0(不降权,逐位等价现状)。
|
||||
func lowScoreDownweight(rawQuality float64) float64 {
|
||||
if !lowScoreDwGate() {
|
||||
return 1.0
|
||||
}
|
||||
if rawQuality <= 0 || !models.IsReliableQuality(rawQuality) {
|
||||
return 1.0
|
||||
}
|
||||
if rawQuality >= lowScoreDWThreshold {
|
||||
return 1.0
|
||||
}
|
||||
f := rawQuality / lowScoreDWThreshold
|
||||
if f < lowScoreDWFloor {
|
||||
f = lowScoreDWFloor
|
||||
}
|
||||
return f
|
||||
}
|
||||
|
||||
// 召回排序「频率 + 时间衰减」融合公式 —— 从 lancedb_ipc.go Search() 内联代码抽出的纯函数。
|
||||
// 行为逐位等价于原内联实现(t_5028c14d),不改任何数值常量。
|
||||
// 调用链:recall.go Recall() → Search() → 本文件三函数 → QualityScore 供排序。
|
||||
@@ -52,10 +94,13 @@ func computeImportance(days float64, recallSeenCount int64, volatile bool) float
|
||||
// rawQuality 经 models.IsReliableQuality 判定可信度(0=未打分/历史常量 bug 视为不可信)。
|
||||
func fuseQuality(computedImportance, rawQuality, vValue float64) float64 {
|
||||
qsTrusted := models.IsReliableQuality(rawQuality)
|
||||
// t_7c0538eb:低分(可信)降权因子;gate 关时恒 1.0(逐位等价现状,零行为变化)。
|
||||
dw := lowScoreDownweight(rawQuality)
|
||||
var finalQuality float64
|
||||
if qsTrusted {
|
||||
// QualityScore from LLM (0-1) + computed importance, capped at 1.0
|
||||
finalQuality = math.Min(0.4*computedImportance+0.6*rawQuality, 1.0)
|
||||
// t_7c0538eb:quality 贡献 × dw(可信低分按比例压低、可逆;不删数据)
|
||||
finalQuality = math.Min(0.4*computedImportance+0.6*rawQuality*dw, 1.0)
|
||||
} else {
|
||||
// 质量分不可信 → 仅用 importance([qstrust-ipc] 日志留在调用处)
|
||||
finalQuality = math.Min(computedImportance, 1.0)
|
||||
@@ -65,8 +110,8 @@ func fuseQuality(computedImportance, rawQuality, vValue float64) float64 {
|
||||
// 等价于现状 vValue<=0 行为;0.5:0.5 分支的 V 半边移除后归一回到无 V 式)。
|
||||
if vFuseUseV && vValue > 0 {
|
||||
if qsTrusted {
|
||||
// 30% V值 + 30% importance + 40% LLM quality
|
||||
finalQuality = 0.3*vValue + 0.3*computedImportance + 0.4*rawQuality
|
||||
// 30% V值 + 30% importance + 40% LLM quality(t_7c0538eb:quality 半边 × dw)
|
||||
finalQuality = 0.3*vValue + 0.3*computedImportance + 0.4*rawQuality*dw
|
||||
} else {
|
||||
// 质量分不可信 → 去掉它的 40%,剩余 30:30 重新归一为 50:50。
|
||||
finalQuality = 0.5*vValue + 0.5*computedImportance
|
||||
|
||||
@@ -0,0 +1,134 @@
|
||||
package storage
|
||||
|
||||
import (
|
||||
"math"
|
||||
"testing"
|
||||
)
|
||||
|
||||
// t_7c0538eb AC5:低分(可信评分)记忆在检索排序里降权(可逆,不删数据)+ 回滚开关。
|
||||
//
|
||||
// 召回排序的单一融合点 = fuseQuality(lancedb_ipc.go:333 调用;纯函数)。本测试用一组
|
||||
// 固定候选(computedImportance + rawQuality,vValue=0 以隔离基线分支)按 fuseQuality 降序
|
||||
// 排序,验证:
|
||||
// ① gate 关(默认/回滚)= 基线序;
|
||||
// ② gate 开 = 「可信低分但高重要性」的记忆被压到「普通分低重要性」记忆之后(reorder);
|
||||
// ③ gate 再关 = 逐位复原到基线序(可逆)。
|
||||
// 另验证 0.0(未打分 / bug 残留)与 0.755(echo 常量)走「不可信→仅 importance」分支,
|
||||
// 不受本降权影响(dw 只作用于「可信低分」一档)——数值在 gate 开/关下不变。
|
||||
func TestFuseQuality_LowScoreDownweight_Ac5(t *testing.T) {
|
||||
// 固定候选:imp、rawQuality、id。vValue=0。
|
||||
type mem struct{
|
||||
id string
|
||||
imp float64
|
||||
qs float64
|
||||
}
|
||||
cands := []mem{
|
||||
{"L_low_hiimp", 1.0, 0.25}, // 可信低分 + 高重要性 → 被降权应下沉
|
||||
{"M_norm_loimp", 0.8, 0.35}, // 普通分(>=0.30 不降权)+ 较低重要性
|
||||
{"H_high", 0.5, 0.85}, // 高质量
|
||||
{"U_unscored", 1.0, 0.0}, // 0.0 未打分(bug 残留,不可信)
|
||||
{"E_echo", 0.6, 0.755}, // 0.755 echo 常量(不可信)
|
||||
}
|
||||
|
||||
// rank(order 用):按 fuseQuality(imp, qs, 0) 降序返回 id 列表 + 各 id 的 finalQuality。
|
||||
rank := func() (order []string, scores map[string]float64) {
|
||||
scores = map[string]float64{}
|
||||
type sc struct {
|
||||
m mem
|
||||
f float64
|
||||
}
|
||||
sclice := make([]sc, 0, len(cands))
|
||||
for _, m := range cands {
|
||||
sclice = append(sclice, sc{m, fuseQuality(m.imp, m.qs, 0)})
|
||||
}
|
||||
for i := 1; i < len(sclice); i++ {
|
||||
for j := i; j > 0 && sclice[j].f > sclice[j-1].f; j-- {
|
||||
sclice[j], sclice[j-1] = sclice[j-1], sclice[j]
|
||||
}
|
||||
}
|
||||
order = make([]string, 0, len(sclice))
|
||||
for _, s := range sclice {
|
||||
order = append(order, s.m.id)
|
||||
scores[s.m.id] = s.f
|
||||
}
|
||||
return order, scores
|
||||
}
|
||||
|
||||
approxEq := func(a, b float64) bool { return math.Abs(a-b) < 1e-9 }
|
||||
|
||||
// ── ① 基线(gate 关)─────────────────────────────────────────────
|
||||
t.Setenv("ZHIYI_LOWSCORE_DOWNWEIGHT", "0")
|
||||
baseOrder, baseScores := rank()
|
||||
t.Logf("基线(gate关) 序: %v 分: L=%.4f M=%.4f H=%.4f U=%.4f E=%.4f",
|
||||
baseOrder, baseScores["L_low_hiimp"], baseScores["M_norm_loimp"], baseScores["H_high"],
|
||||
baseScores["U_unscored"], baseScores["E_echo"])
|
||||
|
||||
// ── ② gate 开(降权生效)──────────────────────────────────────────
|
||||
t.Setenv("ZHIYI_LOWSCORE_DOWNWEIGHT", "1")
|
||||
onOrder, onScores := rank()
|
||||
t.Logf("gate开 序: %v 分: L=%.4f M=%.4f H=%.4f U=%.4f E=%.4f",
|
||||
onOrder, onScores["L_low_hiimp"], onScores["M_norm_loimp"], onScores["H_high"],
|
||||
onScores["U_unscored"], onScores["E_echo"])
|
||||
|
||||
// 断言①:可信低分 L 被压低(分数下降),普通分 M / 高质量 H 不变。
|
||||
if !(onScores["L_low_hiimp"] < baseScores["L_low_hiimp"]) {
|
||||
t.Fatalf("AC5 降权未生效:L 开gate后(%.4f) 未低于 基线(%.4f)",
|
||||
onScores["L_low_hiimp"], baseScores["L_low_hiimp"])
|
||||
}
|
||||
if !approxEq(onScores["M_norm_loimp"], baseScores["M_norm_loimp"]) {
|
||||
t.Fatalf("AC5 误伤普通分:M(q=0.35>=阈值) 开gate后(%.4f) ≠ 基线(%.4f),本应不变",
|
||||
onScores["M_norm_loimp"], baseScores["M_norm_loimp"])
|
||||
}
|
||||
if !approxEq(onScores["H_high"], baseScores["H_high"]) {
|
||||
t.Fatalf("AC5 误伤高质量:H 开gate后(%.4f) ≠ 基线(%.4f)", onScores["H_high"], baseScores["H_high"])
|
||||
}
|
||||
// 断言②:0.0 / 0.755 不可信行不受降权影响(数值在开/关下逐位不变)。
|
||||
if !approxEq(onScores["U_unscored"], baseScores["U_unscored"]) {
|
||||
t.Fatalf("AC5 误伤 0.0 未打分行:U 开gate后(%.4f) ≠ 基线(%.4f),本应不变(不可信分支)",
|
||||
onScores["U_unscored"], baseScores["U_unscored"])
|
||||
}
|
||||
if !approxEq(onScores["E_echo"], baseScores["E_echo"]) {
|
||||
t.Fatalf("AC5 误伤 0.755 echo 行:E 开gate后(%.4f) ≠ 基线(%.4f)", onScores["E_echo"], baseScores["E_echo"])
|
||||
}
|
||||
// 断言③:出现 reorder —— 基线里 L 排在 M 前,开 gate 后 M 反超 L。
|
||||
if !(_idx(baseOrder, "L_low_hiimp") < _idx(baseOrder, "M_norm_loimp")) {
|
||||
t.Fatalf("前置不成立:基线序 L 应在 M 前,得 %v", baseOrder)
|
||||
}
|
||||
if !(_idx(onOrder, "M_norm_loimp") < _idx(onOrder, "L_low_hiimp")) {
|
||||
t.Fatalf("AC5 未 reorder:开gate后 M 应反超低分 L,得 %v", onOrder)
|
||||
}
|
||||
|
||||
// ── ③ 回滚(gate 再关)= 逐位复原基线 ───────────────────────────
|
||||
t.Setenv("ZHIYI_LOWSCORE_DOWNWEIGHT", "0")
|
||||
backOrder, backScores := rank()
|
||||
if !equalStrs(backOrder, baseOrder) {
|
||||
t.Fatalf("AC5 回滚未复原:gate 再关序 %v ≠ 基线 %v", backOrder, baseOrder)
|
||||
}
|
||||
for _, id := range []string{"L_low_hiimp", "M_norm_loimp", "H_high", "U_unscored", "E_echo"} {
|
||||
if !approxEq(backScores[id], baseScores[id]) {
|
||||
t.Fatalf("AC5 回滚未复原 %s:再关(%.6f) ≠ 基线(%.6f)", id, backScores[id], baseScores[id])
|
||||
}
|
||||
}
|
||||
t.Logf("回滚(gate再关) 序: %v —— 与基线逐位一致,低分 L 复原到 %.4f", backOrder, backScores["L_low_hiimp"])
|
||||
}
|
||||
|
||||
func _idx(order []string, id string) int {
|
||||
for i, x := range order {
|
||||
if x == id {
|
||||
return i
|
||||
}
|
||||
}
|
||||
return -1
|
||||
}
|
||||
|
||||
func equalStrs(a, b []string) bool {
|
||||
if len(a) != len(b) {
|
||||
return false
|
||||
}
|
||||
for i := range a {
|
||||
if a[i] != b[i] {
|
||||
return false
|
||||
}
|
||||
}
|
||||
return true
|
||||
}
|
||||
Reference in New Issue
Block a user