feat(supersede): 确定性版本取代链路接通 — 同主体+同属性+不同取值才顶旧版 (存真去伪阶段3)
背景:memories 表 supersedes/superseded_by 两列全为 '[]'(44,934 行零使用), 旧 IP/旧端口/旧版本号/旧规则永远和新值并存 ⇒ 注入可能取到错的。 写时四算子 2026-11-10 退役(LLM 判定 ADD 98%/UPDATE 1%),合并能力实际关闭。 本笔: - 新增 internal/distill/supersede.go:SupersedeMode(off|shadow|apply,默认 off) + FindSupersedeTarget(复用 conflict_gate.SameAttrValueConflict,零 LLM/零新依赖) - 保护:sim<0.80 不判、tier=core 不顶、已是旧版不二次标记、每条最多顶 1 条 - server.go 蒸馏写路径接上:shadow 只打日志;apply 才写 freshness=superseded + superseded_by + valid_to - 6 个单测(判准/同值不判/低相似不判/core 保护/不二次标记/门控默认 off) 生产部署:ZHIYI_SUPERSEDE=shadow(只留痕),观察 2-3 天判准率 >90% 再切 apply。
This commit is contained in:
@@ -364,6 +364,17 @@ func NewServer() http.Handler {
|
||||
// verdict==nil(off 未跑判定;理论死分支——off 不进 WriteOpsEnabled 块)
|
||||
// 或 shadow(标记零调用)⇒ 基础插入无条件执行。
|
||||
}
|
||||
// 2026-11-11 存真去伪·阶段 3:确定性版本取代(env ZHIYI_SUPERSEDE=off|shadow|apply,
|
||||
// 默认 off ⇒ 逐字零行为变化)。判据 = SameAttrValueConflict(同主体+同属性+不同取值),
|
||||
// 零 LLM。shadow 只打日志;apply 才把旧行标 superseded + superseded_by + valid_to。
|
||||
// 依据:表里 supersedes/superseded_by 两列全为 '[]'(零使用),旧值永远和新值并存。
|
||||
var supersedeHit distill.SupersedeHit
|
||||
var hasSupersede bool
|
||||
if distill.SupersedeEnabled() {
|
||||
if h, ok := distill.FindSupersedeTarget(fact, sim, qvec); ok {
|
||||
supersedeHit, hasSupersede = h, true
|
||||
}
|
||||
}
|
||||
// t_ab5b2461 信息密度判据(env ZHIYI_DISTILL_DENSITY=1 灰度,默认关):
|
||||
// 三项判据(①可执行/命令/路径 ②判据/阈值 ③因果)满足 ≥2 项才保持
|
||||
// Category="distilled";<2 项降级 Category="observe" —— 行照写、量照计
|
||||
@@ -375,8 +386,13 @@ func NewServer() http.Handler {
|
||||
log.Printf("[distill][density] 信息量不足(需≥2项判据) → Category=observe episode=%s src=%q fact=%.48s",
|
||||
input.EpisodeID, input.Source, fact)
|
||||
}
|
||||
memID := memIDFor(fact, input)
|
||||
supersedes := conflictSupersedes
|
||||
if hasSupersede {
|
||||
supersedes = append(append([]string{}, supersedes...), supersedeHit.OldID)
|
||||
}
|
||||
mem := models.MemoryRecord{
|
||||
ID: fmt.Sprintf("mem_%d", time.Now().UnixNano()),
|
||||
ID: memID,
|
||||
AgentID: input.AgentID,
|
||||
Namespace: input.Namespace,
|
||||
Content: fact,
|
||||
@@ -393,7 +409,7 @@ func NewServer() http.Handler {
|
||||
Freshness: "fresh",
|
||||
// AC-1.2(t_e3f5cb79):真矛盾的新行带 supersedes=[旧id](双向指针的
|
||||
// 新行半边;旧行半边在 ldbWriteOpsStore.MarkConflict 写 superseded_by)。
|
||||
Supersedes: conflictSupersedes,
|
||||
Supersedes: supersedes,
|
||||
Source: srcOrLLMDistill(input.Source), // 2026-09-26:有笔记出处→"wiki:<路径>";否则沿用 llm_distill(2026-09-07 方案C provenance)
|
||||
// 2026-10-08 (t_7e3577c5):血缘字段——写入方经 metadata 携带;缺省兜底
|
||||
// embedding_model→bge-m3(实际嵌入模型),script_version→unknown。
|
||||
@@ -414,6 +430,26 @@ func NewServer() http.Handler {
|
||||
log.Printf("[distill] commit fact failed: %v", err)
|
||||
} else {
|
||||
factsLanded = true // t_1c12e000:确有 distilled fact 落库
|
||||
// 阶段 3:取代动作分模式执行(shadow 只留痕,不碰库)
|
||||
if hasSupersede {
|
||||
switch distill.SupersedeMode() {
|
||||
case "apply":
|
||||
if uErr := ldb.Update("memories", supersedeHit.OldID, map[string]any{
|
||||
"freshness": "superseded",
|
||||
"superseded_by": jsonStrList([]string{memID}),
|
||||
"valid_to": time.Now().Format(time.RFC3339),
|
||||
}); uErr != nil {
|
||||
log.Printf("[supersede][apply] 标旧版失败 old=%s new=%s: %v", supersedeHit.OldID, memID, uErr)
|
||||
} else {
|
||||
log.Printf("[supersede][apply] old=%s → superseded_by=%s sim=%.3f 证据=%s",
|
||||
supersedeHit.OldID, memID, supersedeHit.Sim, supersedeHit.Evidence)
|
||||
}
|
||||
default: // shadow
|
||||
log.Printf("[supersede][shadow] 将顶掉 old=%s new=%s sim=%.3f 证据=%s ep=%s candidate=%.48s",
|
||||
supersedeHit.OldID, memID, supersedeHit.Sim, supersedeHit.Evidence,
|
||||
input.EpisodeID, fact)
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
// t_2595b626 经验层(ZHIYI_DISTILL_EXPERIENCE=1 灰度,默认关):EXP 产物落库。
|
||||
@@ -2357,6 +2393,13 @@ func (s *ldbWriteOpsStore) MarkConflict(oldID, newID string) error {
|
||||
})
|
||||
}
|
||||
|
||||
// jsonStrList 序列化 []string(LanceDB 里 supersedes/superseded_by 的存储形态是
|
||||
// JSON 数组字符串,如 `["mem_123"]`)。2026-11-11 阶段 3 新增。
|
||||
func jsonStrList(v []string) string {
|
||||
b, _ := json.Marshal(v)
|
||||
return string(b)
|
||||
}
|
||||
|
||||
// memIDFor 为写时四操作 apply 预生成新记忆 ID(与下方 InsertMemory 同格式)。
|
||||
func memIDFor(fact string, input distill.DistillInput) string {
|
||||
_ = fact
|
||||
|
||||
@@ -0,0 +1,92 @@
|
||||
// 织忆 MemoryWeave — 确定性版本取代(supersede)判定
|
||||
//
|
||||
// 2026-11-11 存真去伪·阶段 3(牧尘批准「两件事,按你的建议做」)。
|
||||
//
|
||||
// 为什么需要它(硬事实,非推测):
|
||||
//
|
||||
// memories 表 44,934 行里 `supersedes`/`superseded_by` 两列**全为字符串 '[]'(零使用)**,
|
||||
// 只有 valid_to 被填过(1,169 条已过期)。⇒「旧版被新版取代」这条链路代码里有、
|
||||
// 运行时没接:写时四算子(ZHIYI_WRITE_SEMANTIC_OPS)2026-11-10 已退役(LLM 判定
|
||||
// ADD 98%、UPDATE 1%,因为 sim<0.95 直接「不判,新建」)。
|
||||
// ⇒ 结果:旧 IP / 旧端口 / 旧版本号 / 旧决策永远和新的并存,注入时可能取到错的。
|
||||
//
|
||||
// 本文件只做一件事:**用确定性判据**(SameAttrValueConflict:同主体+同属性+不同取值)
|
||||
// 把「新事实顶掉哪条旧事实」判出来,零 LLM、零额外编码、零新依赖。
|
||||
//
|
||||
// 门控(env `ZHIYI_SUPERSEDE`,默认 off ⇒ 行为与现状逐字一致):
|
||||
//
|
||||
// off —— 不判定(默认)
|
||||
// shadow —— 只打日志([supersede][shadow] …),不改库 —— 观察期用
|
||||
// apply —— 真打标:旧行 freshness=superseded + superseded_by=[新ID] + valid_to=now
|
||||
//
|
||||
// 保护(宁漏勿误,与 conflict_gate 同纪律):
|
||||
// - 相似度 < 0.80 不看(差值太大的「不同取值」多半是同名不同物)
|
||||
// - tier=core 不看(核心记忆不自动被顶)
|
||||
// - 已经是旧版(SupersededBy 非空)不看(不二次标记)
|
||||
// - 每条新事实最多顶掉 1 条(相似度最高的那条)
|
||||
package distill
|
||||
|
||||
import (
|
||||
"os"
|
||||
"strings"
|
||||
|
||||
"github.com/xiaoxue/memoryweave/internal/models"
|
||||
)
|
||||
|
||||
// SupersedeMinSim 最低相似度门槛(低于此值不参与取代判定)。
|
||||
const SupersedeMinSim = 0.80
|
||||
|
||||
// SupersedeMode 返回当前模式:off / shadow / apply(env ZHIYI_SUPERSEDE,默认 off)。
|
||||
// 未知取值一律 off——安全默认:拼错不会意外改库。
|
||||
func SupersedeMode() string {
|
||||
switch strings.ToLower(strings.TrimSpace(os.Getenv("ZHIYI_SUPERSEDE"))) {
|
||||
case "apply":
|
||||
return "apply"
|
||||
case "shadow":
|
||||
return "shadow"
|
||||
default:
|
||||
return "off"
|
||||
}
|
||||
}
|
||||
|
||||
// SupersedeEnabled 是否跑判定(shadow/apply 都跑,off 不跑)。
|
||||
func SupersedeEnabled() bool { return SupersedeMode() != "off" }
|
||||
|
||||
// SupersedeHit 一条「新事实 → 应被顶掉的旧记忆」判定结果。
|
||||
type SupersedeHit struct {
|
||||
OldID string // 旧记忆 ID
|
||||
Evidence string // 判据证据(同属性不同取值的原文对,审计用)
|
||||
Sim float64 // 新旧余弦相似度
|
||||
}
|
||||
|
||||
// FindSupersedeTarget 判定 candidate 是否顶掉 similar 中某条旧记忆。
|
||||
// similar:**同 namespace** 的近似记忆(调用方已按相似度降序给出,最多 5 条);
|
||||
// qvec:candidate 的向量(用于算相似度;nil ⇒ 相似度按 0 处理,全部因门槛不过而弃)。
|
||||
func FindSupersedeTarget(candidate string, similar []models.MemoryRecord, qvec []float32) (SupersedeHit, bool) {
|
||||
cand := strings.TrimSpace(candidate)
|
||||
if cand == "" {
|
||||
return SupersedeHit{}, false
|
||||
}
|
||||
for _, r := range similar {
|
||||
if r.ID == "" || strings.TrimSpace(r.Content) == "" {
|
||||
continue
|
||||
}
|
||||
if len(r.SupersededBy) > 0 { // 已是旧版,不二次标记
|
||||
continue
|
||||
}
|
||||
if r.Tier == "core" { // 核心记忆不自动被顶
|
||||
continue
|
||||
}
|
||||
sim := 0.0
|
||||
if qvec != nil && len(r.Vector) == len(qvec) {
|
||||
sim = cosineSim(qvec, r.Vector)
|
||||
}
|
||||
if sim < SupersedeMinSim {
|
||||
continue
|
||||
}
|
||||
if ev, ok := SameAttrValueConflict(cand, r.Content); ok {
|
||||
return SupersedeHit{OldID: r.ID, Evidence: ev, Sim: sim}, true
|
||||
}
|
||||
}
|
||||
return SupersedeHit{}, false
|
||||
}
|
||||
@@ -0,0 +1,78 @@
|
||||
package distill
|
||||
|
||||
import (
|
||||
"testing"
|
||||
|
||||
"github.com/xiaoxue/memoryweave/internal/models"
|
||||
)
|
||||
|
||||
func mkVecMem(id, content string, vec []float32) models.MemoryRecord {
|
||||
return models.MemoryRecord{ID: id, Content: content, Vector: vec}
|
||||
}
|
||||
|
||||
func TestFindSupersedeTarget_ConflictWins(t *testing.T) {
|
||||
q := []float32{1, 0.05}
|
||||
sims := []models.MemoryRecord{
|
||||
mkVecMem("mem_old", "织忆 API 端口为 7821", []float32{1, 0.04}),
|
||||
}
|
||||
hit, ok := FindSupersedeTarget("织忆 API 端口为 7822", sims, q)
|
||||
if !ok || hit.OldID != "mem_old" {
|
||||
t.Fatalf("期望命中 mem_old,实得 ok=%v hit=%+v", ok, hit)
|
||||
}
|
||||
if hit.Evidence == "" {
|
||||
t.Fatalf("命中必须带判据证据(审计用),实得空")
|
||||
}
|
||||
}
|
||||
|
||||
func TestFindSupersedeTarget_SameValueNoHit(t *testing.T) {
|
||||
q := []float32{1, 0.05}
|
||||
sims := []models.MemoryRecord{mkVecMem("mem_a", "织忆 API 端口为 7821", []float32{1, 0.04})}
|
||||
if _, ok := FindSupersedeTarget("织忆 API 端口为 7821", sims, q); ok {
|
||||
t.Fatalf("同值 = 同事实,不是矛盾,不得判取代")
|
||||
}
|
||||
}
|
||||
|
||||
func TestFindSupersedeTarget_LowSimNoHit(t *testing.T) {
|
||||
q := []float32{1, 0}
|
||||
sims := []models.MemoryRecord{mkVecMem("mem_far", "织忆 API 端口为 7821", []float32{0, 1})} // cosine=0
|
||||
if _, ok := FindSupersedeTarget("织忆 API 端口为 7822", sims, q); ok {
|
||||
t.Fatalf("相似度 < %.2f 不得判取代", SupersedeMinSim)
|
||||
}
|
||||
}
|
||||
|
||||
func TestFindSupersedeTarget_CoreProtected(t *testing.T) {
|
||||
q := []float32{1, 0.05}
|
||||
m := mkVecMem("mem_core", "织忆 API 端口为 7821", []float32{1, 0.04})
|
||||
m.Tier = "core"
|
||||
if _, ok := FindSupersedeTarget("织忆 API 端口为 7822", []models.MemoryRecord{m}, q); ok {
|
||||
t.Fatalf("tier=core 不得被自动顶掉")
|
||||
}
|
||||
}
|
||||
|
||||
func TestFindSupersedeTarget_AlreadySupersededSkipped(t *testing.T) {
|
||||
q := []float32{1, 0.05}
|
||||
m := mkVecMem("mem_old2", "织忆 API 端口为 7821", []float32{1, 0.04})
|
||||
m.SupersededBy = []string{"mem_newer"}
|
||||
if _, ok := FindSupersedeTarget("织忆 API 端口为 7822", []models.MemoryRecord{m}, q); ok {
|
||||
t.Fatalf("已是旧版不得二次标记")
|
||||
}
|
||||
}
|
||||
|
||||
func TestSupersedeMode_DefaultOff(t *testing.T) {
|
||||
t.Setenv("ZHIYI_SUPERSEDE", "")
|
||||
if got := SupersedeMode(); got != "off" {
|
||||
t.Fatalf("默认必须 off(零行为变化),实得 %q", got)
|
||||
}
|
||||
t.Setenv("ZHIYI_SUPERSEDE", "typo")
|
||||
if got := SupersedeMode(); got != "off" {
|
||||
t.Fatalf("拼错必须落 off(安全默认),实得 %q", got)
|
||||
}
|
||||
t.Setenv("ZHIYI_SUPERSEDE", "shadow")
|
||||
if got := SupersedeMode(); got != "shadow" {
|
||||
t.Fatalf("shadow 解析失败,实得 %q", got)
|
||||
}
|
||||
t.Setenv("ZHIYI_SUPERSEDE", "APPLY")
|
||||
if got := SupersedeMode(); got != "apply" {
|
||||
t.Fatalf("apply 大小写不敏感,实得 %q", got)
|
||||
}
|
||||
}
|
||||
Reference in New Issue
Block a user