feat(supersede): 确定性版本取代链路接通 — 同主体+同属性+不同取值才顶旧版 (存真去伪阶段3)

背景:memories 表 supersedes/superseded_by 两列全为 '[]'(44,934 行零使用),
旧 IP/旧端口/旧版本号/旧规则永远和新值并存 ⇒ 注入可能取到错的。
写时四算子 2026-11-10 退役(LLM 判定 ADD 98%/UPDATE 1%),合并能力实际关闭。

本笔:
- 新增 internal/distill/supersede.go:SupersedeMode(off|shadow|apply,默认 off) +
  FindSupersedeTarget(复用 conflict_gate.SameAttrValueConflict,零 LLM/零新依赖)
- 保护:sim<0.80 不判、tier=core 不顶、已是旧版不二次标记、每条最多顶 1 条
- server.go 蒸馏写路径接上:shadow 只打日志;apply 才写 freshness=superseded
  + superseded_by + valid_to
- 6 个单测(判准/同值不判/低相似不判/core 保护/不二次标记/门控默认 off)

生产部署:ZHIYI_SUPERSEDE=shadow(只留痕),观察 2-3 天判准率 >90% 再切 apply。
This commit is contained in:
小怡
2026-11-11 22:50:36 +08:00
parent c5ff3b8937
commit 754437b5bf
3 changed files with 215 additions and 2 deletions
+45 -2
View File
@@ -364,6 +364,17 @@ func NewServer() http.Handler {
// verdict==nil(off 未跑判定;理论死分支——off 不进 WriteOpsEnabled 块)
// 或 shadow(标记零调用)⇒ 基础插入无条件执行。
}
// 2026-11-11 存真去伪·阶段 3:确定性版本取代(env ZHIYI_SUPERSEDE=off|shadow|apply,
// 默认 off ⇒ 逐字零行为变化)。判据 = SameAttrValueConflict(同主体+同属性+不同取值),
// 零 LLM。shadow 只打日志;apply 才把旧行标 superseded + superseded_by + valid_to。
// 依据:表里 supersedes/superseded_by 两列全为 '[]'(零使用),旧值永远和新值并存。
var supersedeHit distill.SupersedeHit
var hasSupersede bool
if distill.SupersedeEnabled() {
if h, ok := distill.FindSupersedeTarget(fact, sim, qvec); ok {
supersedeHit, hasSupersede = h, true
}
}
// t_ab5b2461 信息密度判据(env ZHIYI_DISTILL_DENSITY=1 灰度,默认关):
// 三项判据(①可执行/命令/路径 ②判据/阈值 ③因果)满足 ≥2 项才保持
// Category="distilled";<2 项降级 Category="observe" —— 行照写、量照计
@@ -375,8 +386,13 @@ func NewServer() http.Handler {
log.Printf("[distill][density] 信息量不足(需≥2项判据) → Category=observe episode=%s src=%q fact=%.48s",
input.EpisodeID, input.Source, fact)
}
memID := memIDFor(fact, input)
supersedes := conflictSupersedes
if hasSupersede {
supersedes = append(append([]string{}, supersedes...), supersedeHit.OldID)
}
mem := models.MemoryRecord{
ID: fmt.Sprintf("mem_%d", time.Now().UnixNano()),
ID: memID,
AgentID: input.AgentID,
Namespace: input.Namespace,
Content: fact,
@@ -393,7 +409,7 @@ func NewServer() http.Handler {
Freshness: "fresh",
// AC-1.2(t_e3f5cb79):真矛盾的新行带 supersedes=[旧id](双向指针的
// 新行半边;旧行半边在 ldbWriteOpsStore.MarkConflict 写 superseded_by)。
Supersedes: conflictSupersedes,
Supersedes: supersedes,
Source: srcOrLLMDistill(input.Source), // 2026-09-26:有笔记出处→"wiki:<路径>";否则沿用 llm_distill(2026-09-07 方案C provenance)
// 2026-10-08 (t_7e3577c5):血缘字段——写入方经 metadata 携带;缺省兜底
// embedding_model→bge-m3(实际嵌入模型),script_version→unknown。
@@ -414,6 +430,26 @@ func NewServer() http.Handler {
log.Printf("[distill] commit fact failed: %v", err)
} else {
factsLanded = true // t_1c12e000:确有 distilled fact 落库
// 阶段 3:取代动作分模式执行(shadow 只留痕,不碰库)
if hasSupersede {
switch distill.SupersedeMode() {
case "apply":
if uErr := ldb.Update("memories", supersedeHit.OldID, map[string]any{
"freshness": "superseded",
"superseded_by": jsonStrList([]string{memID}),
"valid_to": time.Now().Format(time.RFC3339),
}); uErr != nil {
log.Printf("[supersede][apply] 标旧版失败 old=%s new=%s: %v", supersedeHit.OldID, memID, uErr)
} else {
log.Printf("[supersede][apply] old=%s → superseded_by=%s sim=%.3f 证据=%s",
supersedeHit.OldID, memID, supersedeHit.Sim, supersedeHit.Evidence)
}
default: // shadow
log.Printf("[supersede][shadow] 将顶掉 old=%s new=%s sim=%.3f 证据=%s ep=%s candidate=%.48s",
supersedeHit.OldID, memID, supersedeHit.Sim, supersedeHit.Evidence,
input.EpisodeID, fact)
}
}
}
}
// t_2595b626 经验层(ZHIYI_DISTILL_EXPERIENCE=1 灰度,默认关):EXP 产物落库。
@@ -2357,6 +2393,13 @@ func (s *ldbWriteOpsStore) MarkConflict(oldID, newID string) error {
})
}
// jsonStrList 序列化 []string(LanceDB 里 supersedes/superseded_by 的存储形态是
// JSON 数组字符串,如 `["mem_123"]`)。2026-11-11 阶段 3 新增。
func jsonStrList(v []string) string {
b, _ := json.Marshal(v)
return string(b)
}
// memIDFor 为写时四操作 apply 预生成新记忆 ID(与下方 InsertMemory 同格式)。
func memIDFor(fact string, input distill.DistillInput) string {
_ = fact
+92
View File
@@ -0,0 +1,92 @@
// 织忆 MemoryWeave — 确定性版本取代(supersede)判定
//
// 2026-11-11 存真去伪·阶段 3(牧尘批准「两件事,按你的建议做」)。
//
// 为什么需要它(硬事实,非推测):
//
// memories 表 44,934 行里 `supersedes`/`superseded_by` 两列**全为字符串 '[]'(零使用)**,
// 只有 valid_to 被填过(1,169 条已过期)。⇒「旧版被新版取代」这条链路代码里有、
// 运行时没接:写时四算子(ZHIYI_WRITE_SEMANTIC_OPS)2026-11-10 已退役(LLM 判定
// ADD 98%、UPDATE 1%,因为 sim<0.95 直接「不判,新建」)。
// ⇒ 结果:旧 IP / 旧端口 / 旧版本号 / 旧决策永远和新的并存,注入时可能取到错的。
//
// 本文件只做一件事:**用确定性判据**(SameAttrValueConflict:同主体+同属性+不同取值)
// 把「新事实顶掉哪条旧事实」判出来,零 LLM、零额外编码、零新依赖。
//
// 门控(env `ZHIYI_SUPERSEDE`,默认 off ⇒ 行为与现状逐字一致):
//
// off —— 不判定(默认)
// shadow —— 只打日志([supersede][shadow] …),不改库 —— 观察期用
// apply —— 真打标:旧行 freshness=superseded + superseded_by=[新ID] + valid_to=now
//
// 保护(宁漏勿误,与 conflict_gate 同纪律):
// - 相似度 < 0.80 不看(差值太大的「不同取值」多半是同名不同物)
// - tier=core 不看(核心记忆不自动被顶)
// - 已经是旧版(SupersededBy 非空)不看(不二次标记)
// - 每条新事实最多顶掉 1 条(相似度最高的那条)
package distill
import (
"os"
"strings"
"github.com/xiaoxue/memoryweave/internal/models"
)
// SupersedeMinSim 最低相似度门槛(低于此值不参与取代判定)。
const SupersedeMinSim = 0.80
// SupersedeMode 返回当前模式:off / shadow / apply(env ZHIYI_SUPERSEDE,默认 off)。
// 未知取值一律 off——安全默认:拼错不会意外改库。
func SupersedeMode() string {
switch strings.ToLower(strings.TrimSpace(os.Getenv("ZHIYI_SUPERSEDE"))) {
case "apply":
return "apply"
case "shadow":
return "shadow"
default:
return "off"
}
}
// SupersedeEnabled 是否跑判定(shadow/apply 都跑,off 不跑)。
func SupersedeEnabled() bool { return SupersedeMode() != "off" }
// SupersedeHit 一条「新事实 → 应被顶掉的旧记忆」判定结果。
type SupersedeHit struct {
OldID string // 旧记忆 ID
Evidence string // 判据证据(同属性不同取值的原文对,审计用)
Sim float64 // 新旧余弦相似度
}
// FindSupersedeTarget 判定 candidate 是否顶掉 similar 中某条旧记忆。
// similar:**同 namespace** 的近似记忆(调用方已按相似度降序给出,最多 5 条);
// qvec:candidate 的向量(用于算相似度;nil ⇒ 相似度按 0 处理,全部因门槛不过而弃)。
func FindSupersedeTarget(candidate string, similar []models.MemoryRecord, qvec []float32) (SupersedeHit, bool) {
cand := strings.TrimSpace(candidate)
if cand == "" {
return SupersedeHit{}, false
}
for _, r := range similar {
if r.ID == "" || strings.TrimSpace(r.Content) == "" {
continue
}
if len(r.SupersededBy) > 0 { // 已是旧版,不二次标记
continue
}
if r.Tier == "core" { // 核心记忆不自动被顶
continue
}
sim := 0.0
if qvec != nil && len(r.Vector) == len(qvec) {
sim = cosineSim(qvec, r.Vector)
}
if sim < SupersedeMinSim {
continue
}
if ev, ok := SameAttrValueConflict(cand, r.Content); ok {
return SupersedeHit{OldID: r.ID, Evidence: ev, Sim: sim}, true
}
}
return SupersedeHit{}, false
}
+78
View File
@@ -0,0 +1,78 @@
package distill
import (
"testing"
"github.com/xiaoxue/memoryweave/internal/models"
)
func mkVecMem(id, content string, vec []float32) models.MemoryRecord {
return models.MemoryRecord{ID: id, Content: content, Vector: vec}
}
func TestFindSupersedeTarget_ConflictWins(t *testing.T) {
q := []float32{1, 0.05}
sims := []models.MemoryRecord{
mkVecMem("mem_old", "织忆 API 端口为 7821", []float32{1, 0.04}),
}
hit, ok := FindSupersedeTarget("织忆 API 端口为 7822", sims, q)
if !ok || hit.OldID != "mem_old" {
t.Fatalf("期望命中 mem_old,实得 ok=%v hit=%+v", ok, hit)
}
if hit.Evidence == "" {
t.Fatalf("命中必须带判据证据(审计用),实得空")
}
}
func TestFindSupersedeTarget_SameValueNoHit(t *testing.T) {
q := []float32{1, 0.05}
sims := []models.MemoryRecord{mkVecMem("mem_a", "织忆 API 端口为 7821", []float32{1, 0.04})}
if _, ok := FindSupersedeTarget("织忆 API 端口为 7821", sims, q); ok {
t.Fatalf("同值 = 同事实,不是矛盾,不得判取代")
}
}
func TestFindSupersedeTarget_LowSimNoHit(t *testing.T) {
q := []float32{1, 0}
sims := []models.MemoryRecord{mkVecMem("mem_far", "织忆 API 端口为 7821", []float32{0, 1})} // cosine=0
if _, ok := FindSupersedeTarget("织忆 API 端口为 7822", sims, q); ok {
t.Fatalf("相似度 < %.2f 不得判取代", SupersedeMinSim)
}
}
func TestFindSupersedeTarget_CoreProtected(t *testing.T) {
q := []float32{1, 0.05}
m := mkVecMem("mem_core", "织忆 API 端口为 7821", []float32{1, 0.04})
m.Tier = "core"
if _, ok := FindSupersedeTarget("织忆 API 端口为 7822", []models.MemoryRecord{m}, q); ok {
t.Fatalf("tier=core 不得被自动顶掉")
}
}
func TestFindSupersedeTarget_AlreadySupersededSkipped(t *testing.T) {
q := []float32{1, 0.05}
m := mkVecMem("mem_old2", "织忆 API 端口为 7821", []float32{1, 0.04})
m.SupersededBy = []string{"mem_newer"}
if _, ok := FindSupersedeTarget("织忆 API 端口为 7822", []models.MemoryRecord{m}, q); ok {
t.Fatalf("已是旧版不得二次标记")
}
}
func TestSupersedeMode_DefaultOff(t *testing.T) {
t.Setenv("ZHIYI_SUPERSEDE", "")
if got := SupersedeMode(); got != "off" {
t.Fatalf("默认必须 off(零行为变化),实得 %q", got)
}
t.Setenv("ZHIYI_SUPERSEDE", "typo")
if got := SupersedeMode(); got != "off" {
t.Fatalf("拼错必须落 off(安全默认),实得 %q", got)
}
t.Setenv("ZHIYI_SUPERSEDE", "shadow")
if got := SupersedeMode(); got != "shadow" {
t.Fatalf("shadow 解析失败,实得 %q", got)
}
t.Setenv("ZHIYI_SUPERSEDE", "APPLY")
if got := SupersedeMode(); got != "apply" {
t.Fatalf("apply 大小写不敏感,实得 %q", got)
}
}