From 754437b5bfb92ffc2c387beffe08704ffe3e0e1b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=B0=8F=E6=80=A1?= Date: Wed, 11 Nov 2026 22:50:36 +0800 Subject: [PATCH] =?UTF-8?q?feat(supersede):=20=E7=A1=AE=E5=AE=9A=E6=80=A7?= =?UTF-8?q?=E7=89=88=E6=9C=AC=E5=8F=96=E4=BB=A3=E9=93=BE=E8=B7=AF=E6=8E=A5?= =?UTF-8?q?=E9=80=9A=20=E2=80=94=20=E5=90=8C=E4=B8=BB=E4=BD=93+=E5=90=8C?= =?UTF-8?q?=E5=B1=9E=E6=80=A7+=E4=B8=8D=E5=90=8C=E5=8F=96=E5=80=BC?= =?UTF-8?q?=E6=89=8D=E9=A1=B6=E6=97=A7=E7=89=88=20(=E5=AD=98=E7=9C=9F?= =?UTF-8?q?=E5=8E=BB=E4=BC=AA=E9=98=B6=E6=AE=B53)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 背景:memories 表 supersedes/superseded_by 两列全为 '[]'(44,934 行零使用), 旧 IP/旧端口/旧版本号/旧规则永远和新值并存 ⇒ 注入可能取到错的。 写时四算子 2026-11-10 退役(LLM 判定 ADD 98%/UPDATE 1%),合并能力实际关闭。 本笔: - 新增 internal/distill/supersede.go:SupersedeMode(off|shadow|apply,默认 off) + FindSupersedeTarget(复用 conflict_gate.SameAttrValueConflict,零 LLM/零新依赖) - 保护:sim<0.80 不判、tier=core 不顶、已是旧版不二次标记、每条最多顶 1 条 - server.go 蒸馏写路径接上:shadow 只打日志;apply 才写 freshness=superseded + superseded_by + valid_to - 6 个单测(判准/同值不判/低相似不判/core 保护/不二次标记/门控默认 off) 生产部署:ZHIYI_SUPERSEDE=shadow(只留痕),观察 2-3 天判准率 >90% 再切 apply。 --- go/internal/api/server.go | 47 +++++++++++++- go/internal/distill/supersede.go | 92 +++++++++++++++++++++++++++ go/internal/distill/supersede_test.go | 78 +++++++++++++++++++++++ 3 files changed, 215 insertions(+), 2 deletions(-) create mode 100644 go/internal/distill/supersede.go create mode 100644 go/internal/distill/supersede_test.go diff --git a/go/internal/api/server.go b/go/internal/api/server.go index 6e3ff84..d6b4b11 100644 --- a/go/internal/api/server.go +++ b/go/internal/api/server.go @@ -364,6 +364,17 @@ func NewServer() http.Handler { // verdict==nil(off 未跑判定;理论死分支——off 不进 WriteOpsEnabled 块) // 或 shadow(标记零调用)⇒ 基础插入无条件执行。 } + // 2026-11-11 存真去伪·阶段 3:确定性版本取代(env ZHIYI_SUPERSEDE=off|shadow|apply, + // 默认 off ⇒ 逐字零行为变化)。判据 = SameAttrValueConflict(同主体+同属性+不同取值), + // 零 LLM。shadow 只打日志;apply 才把旧行标 superseded + superseded_by + valid_to。 + // 依据:表里 supersedes/superseded_by 两列全为 '[]'(零使用),旧值永远和新值并存。 + var supersedeHit distill.SupersedeHit + var hasSupersede bool + if distill.SupersedeEnabled() { + if h, ok := distill.FindSupersedeTarget(fact, sim, qvec); ok { + supersedeHit, hasSupersede = h, true + } + } // t_ab5b2461 信息密度判据(env ZHIYI_DISTILL_DENSITY=1 灰度,默认关): // 三项判据(①可执行/命令/路径 ②判据/阈值 ③因果)满足 ≥2 项才保持 // Category="distilled";<2 项降级 Category="observe" —— 行照写、量照计 @@ -375,8 +386,13 @@ func NewServer() http.Handler { log.Printf("[distill][density] 信息量不足(需≥2项判据) → Category=observe episode=%s src=%q fact=%.48s", input.EpisodeID, input.Source, fact) } + memID := memIDFor(fact, input) + supersedes := conflictSupersedes + if hasSupersede { + supersedes = append(append([]string{}, supersedes...), supersedeHit.OldID) + } mem := models.MemoryRecord{ - ID: fmt.Sprintf("mem_%d", time.Now().UnixNano()), + ID: memID, AgentID: input.AgentID, Namespace: input.Namespace, Content: fact, @@ -393,7 +409,7 @@ func NewServer() http.Handler { Freshness: "fresh", // AC-1.2(t_e3f5cb79):真矛盾的新行带 supersedes=[旧id](双向指针的 // 新行半边;旧行半边在 ldbWriteOpsStore.MarkConflict 写 superseded_by)。 - Supersedes: conflictSupersedes, + Supersedes: supersedes, Source: srcOrLLMDistill(input.Source), // 2026-09-26:有笔记出处→"wiki:<路径>";否则沿用 llm_distill(2026-09-07 方案C provenance) // 2026-10-08 (t_7e3577c5):血缘字段——写入方经 metadata 携带;缺省兜底 // embedding_model→bge-m3(实际嵌入模型),script_version→unknown。 @@ -414,6 +430,26 @@ func NewServer() http.Handler { log.Printf("[distill] commit fact failed: %v", err) } else { factsLanded = true // t_1c12e000:确有 distilled fact 落库 + // 阶段 3:取代动作分模式执行(shadow 只留痕,不碰库) + if hasSupersede { + switch distill.SupersedeMode() { + case "apply": + if uErr := ldb.Update("memories", supersedeHit.OldID, map[string]any{ + "freshness": "superseded", + "superseded_by": jsonStrList([]string{memID}), + "valid_to": time.Now().Format(time.RFC3339), + }); uErr != nil { + log.Printf("[supersede][apply] 标旧版失败 old=%s new=%s: %v", supersedeHit.OldID, memID, uErr) + } else { + log.Printf("[supersede][apply] old=%s → superseded_by=%s sim=%.3f 证据=%s", + supersedeHit.OldID, memID, supersedeHit.Sim, supersedeHit.Evidence) + } + default: // shadow + log.Printf("[supersede][shadow] 将顶掉 old=%s new=%s sim=%.3f 证据=%s ep=%s candidate=%.48s", + supersedeHit.OldID, memID, supersedeHit.Sim, supersedeHit.Evidence, + input.EpisodeID, fact) + } + } } } // t_2595b626 经验层(ZHIYI_DISTILL_EXPERIENCE=1 灰度,默认关):EXP 产物落库。 @@ -2357,6 +2393,13 @@ func (s *ldbWriteOpsStore) MarkConflict(oldID, newID string) error { }) } +// jsonStrList 序列化 []string(LanceDB 里 supersedes/superseded_by 的存储形态是 +// JSON 数组字符串,如 `["mem_123"]`)。2026-11-11 阶段 3 新增。 +func jsonStrList(v []string) string { + b, _ := json.Marshal(v) + return string(b) +} + // memIDFor 为写时四操作 apply 预生成新记忆 ID(与下方 InsertMemory 同格式)。 func memIDFor(fact string, input distill.DistillInput) string { _ = fact diff --git a/go/internal/distill/supersede.go b/go/internal/distill/supersede.go new file mode 100644 index 0000000..4744385 --- /dev/null +++ b/go/internal/distill/supersede.go @@ -0,0 +1,92 @@ +// 织忆 MemoryWeave — 确定性版本取代(supersede)判定 +// +// 2026-11-11 存真去伪·阶段 3(牧尘批准「两件事,按你的建议做」)。 +// +// 为什么需要它(硬事实,非推测): +// +// memories 表 44,934 行里 `supersedes`/`superseded_by` 两列**全为字符串 '[]'(零使用)**, +// 只有 valid_to 被填过(1,169 条已过期)。⇒「旧版被新版取代」这条链路代码里有、 +// 运行时没接:写时四算子(ZHIYI_WRITE_SEMANTIC_OPS)2026-11-10 已退役(LLM 判定 +// ADD 98%、UPDATE 1%,因为 sim<0.95 直接「不判,新建」)。 +// ⇒ 结果:旧 IP / 旧端口 / 旧版本号 / 旧决策永远和新的并存,注入时可能取到错的。 +// +// 本文件只做一件事:**用确定性判据**(SameAttrValueConflict:同主体+同属性+不同取值) +// 把「新事实顶掉哪条旧事实」判出来,零 LLM、零额外编码、零新依赖。 +// +// 门控(env `ZHIYI_SUPERSEDE`,默认 off ⇒ 行为与现状逐字一致): +// +// off —— 不判定(默认) +// shadow —— 只打日志([supersede][shadow] …),不改库 —— 观察期用 +// apply —— 真打标:旧行 freshness=superseded + superseded_by=[新ID] + valid_to=now +// +// 保护(宁漏勿误,与 conflict_gate 同纪律): +// - 相似度 < 0.80 不看(差值太大的「不同取值」多半是同名不同物) +// - tier=core 不看(核心记忆不自动被顶) +// - 已经是旧版(SupersededBy 非空)不看(不二次标记) +// - 每条新事实最多顶掉 1 条(相似度最高的那条) +package distill + +import ( + "os" + "strings" + + "github.com/xiaoxue/memoryweave/internal/models" +) + +// SupersedeMinSim 最低相似度门槛(低于此值不参与取代判定)。 +const SupersedeMinSim = 0.80 + +// SupersedeMode 返回当前模式:off / shadow / apply(env ZHIYI_SUPERSEDE,默认 off)。 +// 未知取值一律 off——安全默认:拼错不会意外改库。 +func SupersedeMode() string { + switch strings.ToLower(strings.TrimSpace(os.Getenv("ZHIYI_SUPERSEDE"))) { + case "apply": + return "apply" + case "shadow": + return "shadow" + default: + return "off" + } +} + +// SupersedeEnabled 是否跑判定(shadow/apply 都跑,off 不跑)。 +func SupersedeEnabled() bool { return SupersedeMode() != "off" } + +// SupersedeHit 一条「新事实 → 应被顶掉的旧记忆」判定结果。 +type SupersedeHit struct { + OldID string // 旧记忆 ID + Evidence string // 判据证据(同属性不同取值的原文对,审计用) + Sim float64 // 新旧余弦相似度 +} + +// FindSupersedeTarget 判定 candidate 是否顶掉 similar 中某条旧记忆。 +// similar:**同 namespace** 的近似记忆(调用方已按相似度降序给出,最多 5 条); +// qvec:candidate 的向量(用于算相似度;nil ⇒ 相似度按 0 处理,全部因门槛不过而弃)。 +func FindSupersedeTarget(candidate string, similar []models.MemoryRecord, qvec []float32) (SupersedeHit, bool) { + cand := strings.TrimSpace(candidate) + if cand == "" { + return SupersedeHit{}, false + } + for _, r := range similar { + if r.ID == "" || strings.TrimSpace(r.Content) == "" { + continue + } + if len(r.SupersededBy) > 0 { // 已是旧版,不二次标记 + continue + } + if r.Tier == "core" { // 核心记忆不自动被顶 + continue + } + sim := 0.0 + if qvec != nil && len(r.Vector) == len(qvec) { + sim = cosineSim(qvec, r.Vector) + } + if sim < SupersedeMinSim { + continue + } + if ev, ok := SameAttrValueConflict(cand, r.Content); ok { + return SupersedeHit{OldID: r.ID, Evidence: ev, Sim: sim}, true + } + } + return SupersedeHit{}, false +} diff --git a/go/internal/distill/supersede_test.go b/go/internal/distill/supersede_test.go new file mode 100644 index 0000000..06ac699 --- /dev/null +++ b/go/internal/distill/supersede_test.go @@ -0,0 +1,78 @@ +package distill + +import ( + "testing" + + "github.com/xiaoxue/memoryweave/internal/models" +) + +func mkVecMem(id, content string, vec []float32) models.MemoryRecord { + return models.MemoryRecord{ID: id, Content: content, Vector: vec} +} + +func TestFindSupersedeTarget_ConflictWins(t *testing.T) { + q := []float32{1, 0.05} + sims := []models.MemoryRecord{ + mkVecMem("mem_old", "织忆 API 端口为 7821", []float32{1, 0.04}), + } + hit, ok := FindSupersedeTarget("织忆 API 端口为 7822", sims, q) + if !ok || hit.OldID != "mem_old" { + t.Fatalf("期望命中 mem_old,实得 ok=%v hit=%+v", ok, hit) + } + if hit.Evidence == "" { + t.Fatalf("命中必须带判据证据(审计用),实得空") + } +} + +func TestFindSupersedeTarget_SameValueNoHit(t *testing.T) { + q := []float32{1, 0.05} + sims := []models.MemoryRecord{mkVecMem("mem_a", "织忆 API 端口为 7821", []float32{1, 0.04})} + if _, ok := FindSupersedeTarget("织忆 API 端口为 7821", sims, q); ok { + t.Fatalf("同值 = 同事实,不是矛盾,不得判取代") + } +} + +func TestFindSupersedeTarget_LowSimNoHit(t *testing.T) { + q := []float32{1, 0} + sims := []models.MemoryRecord{mkVecMem("mem_far", "织忆 API 端口为 7821", []float32{0, 1})} // cosine=0 + if _, ok := FindSupersedeTarget("织忆 API 端口为 7822", sims, q); ok { + t.Fatalf("相似度 < %.2f 不得判取代", SupersedeMinSim) + } +} + +func TestFindSupersedeTarget_CoreProtected(t *testing.T) { + q := []float32{1, 0.05} + m := mkVecMem("mem_core", "织忆 API 端口为 7821", []float32{1, 0.04}) + m.Tier = "core" + if _, ok := FindSupersedeTarget("织忆 API 端口为 7822", []models.MemoryRecord{m}, q); ok { + t.Fatalf("tier=core 不得被自动顶掉") + } +} + +func TestFindSupersedeTarget_AlreadySupersededSkipped(t *testing.T) { + q := []float32{1, 0.05} + m := mkVecMem("mem_old2", "织忆 API 端口为 7821", []float32{1, 0.04}) + m.SupersededBy = []string{"mem_newer"} + if _, ok := FindSupersedeTarget("织忆 API 端口为 7822", []models.MemoryRecord{m}, q); ok { + t.Fatalf("已是旧版不得二次标记") + } +} + +func TestSupersedeMode_DefaultOff(t *testing.T) { + t.Setenv("ZHIYI_SUPERSEDE", "") + if got := SupersedeMode(); got != "off" { + t.Fatalf("默认必须 off(零行为变化),实得 %q", got) + } + t.Setenv("ZHIYI_SUPERSEDE", "typo") + if got := SupersedeMode(); got != "off" { + t.Fatalf("拼错必须落 off(安全默认),实得 %q", got) + } + t.Setenv("ZHIYI_SUPERSEDE", "shadow") + if got := SupersedeMode(); got != "shadow" { + t.Fatalf("shadow 解析失败,实得 %q", got) + } + t.Setenv("ZHIYI_SUPERSEDE", "APPLY") + if got := SupersedeMode(); got != "apply" { + t.Fatalf("apply 大小写不敏感,实得 %q", got) + } +}