diff --git a/go/internal/distill/engine.go b/go/internal/distill/engine.go index cdc60f2..f2cde49 100644 --- a/go/internal/distill/engine.go +++ b/go/internal/distill/engine.go @@ -600,10 +600,13 @@ func (e *Engine) distillOne(input DistillInput) DistillResult { // 2026-09-07 质量门槛(t_cc07ef4b): LLM 提炼 fact 入库前过滤 // <20字/纯疑问句/状态汇报型 拒绝; 20-50字需含实体或动词短语 // 在源头过滤, 使图谱/AAAK/记忆库一律只看到质量事实 + // t_2ae69bb2: 把上方 lane 结论穿透到 fact 级门禁 —— LaneKeep 时跳过长度类 + // 规则(只保留纯疑问/状态汇报两条硬否定),避免「lane 说放行、fact 级 + // 却全丢」的静默吞噬;LaneDrop/LaneObserve 行为与原来逐字一致。 if before := len(facts); before > 0 { - facts = FilterQualityFacts(facts) + facts = FilterQualityFactsWithLane(facts, lane) if dropped := before - len(facts); dropped > 0 { - log.Printf("[distill] quality gate dropped %d/%d facts for %s", dropped, before, input.EpisodeID) + log.Printf("[distill] quality gate dropped %d/%d facts for %s (lane=%s)", dropped, before, input.EpisodeID, lane) } } diff --git a/go/internal/distill/quality.go b/go/internal/distill/quality.go index bee4279..82d6dbb 100644 --- a/go/internal/distill/quality.go +++ b/go/internal/distill/quality.go @@ -102,6 +102,45 @@ func FilterQualityFacts(facts []string) []string { return out } +// FilterQualityFactsWithLane 感知准入分诊结论地过滤事实列表(kanban t_2ae69bb2)。 +// +// 背景 —— 两门禁判据冲突(2026-10-12 实测复现 ep_1791818823117449804): +// ClassifyAdmission 已确定性判定「决策类高价值 → keep,放行不看分数」,但该结论 +// 没有传到 fact 级门禁,FilterQualityFacts 对每条 fact 独立跑长度启发式,LLM 从 +// 决定正文抽出的碎片(如「路径与日期不混进正文」=10字)一律命中 <20字 拒绝 +// → 整条决定零 fact 落库。 +// +// 语义(只改穿透,不改任何判据/阈值): +// - lane == LaneKeep:保留 纯疑问句(isPureQuestion) 与 状态汇报型(isStatusReportLike) +// 两条硬否定,跳过全部长度类规则(<20字 / 20-50字需含实体)。 +// 理由:长度启发式是筛「碎片噪声」的;lane 已确定性判定本条是高价值内容, +// 两处冲突时以更强的确定性信号(lane)为准。 +// - LaneDrop / LaneObserve:行为与 FilterQualityFacts 逐字一致(原样委托)。 +// +// 边界(刻意不碰): +// - 不动 isSoulfulShortFact 前缀白名单(那是「人侧结构化短事实」的语义, +// 2026-09-20 收账已踩过「开得过宽」的坑,`决定:` 不属于该集合)。 +// - 不动 IsQualityFact 任何阈值数字。 +func FilterQualityFactsWithLane(facts []string, lane AdmissionLane) []string { + if lane != LaneKeep { + return FilterQualityFacts(facts) + } + out := make([]string, 0, len(facts)) + for _, f := range facts { + f = redact.RedactSecrets(f) + s := strings.TrimSpace(f) + if s == "" { + continue + } + // LaneKeep 下仍生效的两条硬否定(任何长度) + if isPureQuestion(s) || isStatusReportLike(s) { + continue + } + out = append(out, f) + } + return out +} + // ─── 纯疑问句判定 ────────────────────────────────────────── var questionSuffixes = []string{"?", "?", "吗?", "呢?", "么?", "嘛?", "吗?", "呢?"} diff --git a/go/internal/distill/quality_lane_test.go b/go/internal/distill/quality_lane_test.go new file mode 100644 index 0000000..a450748 --- /dev/null +++ b/go/internal/distill/quality_lane_test.go @@ -0,0 +1,154 @@ +package distill + +import ( + "testing" + + "github.com/xiaoxue/memoryweave/internal/textfilter" +) + +// t_2ae69bb2: 两门禁判据冲突 —— ClassifyAdmission 判定 LaneKeep("决策类,放行不看分数") +// 的内容,其 fact 仍被 FilterQualityFacts 的长度启发式静默全丢(2026-10-12 实测 +// ep_1791818823117449804 dropped 3/3,零 fact 落库)。 +// 本组测试锁定新入口 FilterQualityFactsWithLane 的穿透语义: +// - LaneKeep:跳过全部长度类规则,只保留 纯疑问/状态汇报 两条硬否定 +// - LaneDrop / LaneObserve:与 FilterQualityFacts 逐字一致(委托原函数) +// 刻意不碰:admission_lane.go 判据、isSoulfulShortFact 白名单、IsQualityFact 阈值。 + +// TestFilterQualityFactsWithLane_KeepPassesShortFacts AC1: +// LaneKeep 内容里 <20 字的 fact 不再被丢(≥3 例,前提:content 确实被分为 keep)。 +func TestFilterQualityFactsWithLane_KeepPassesShortFacts(t *testing.T) { + cases := []struct { + name string + // 每条 content 必须被 ClassifyAdmission 判为 keep(前提断言在子测试内) + content string + // LLM 可能从决策正文里抽出的短碎片(全部 <20 字,旧门槛下会被全拒) + shortFacts []string + }{ + { + "决定录入格式规范(原文复现)", + "【决定】决定录入格式规范:一条只写一个决定,路径与日期不混进正文,避免蒸馏碎片化后宽泛问法召回不到。", + []string{"路径与日期不混进正文", "一条只写一个决定", "避免碎片化后召回不到"}, + }, + { + "决策承诺(测试词表同款)", + "牧尘决定以后都用分身C来处理采集类任务。", + []string{"采集任务交给分身C", "以后都用分身C"}, + }, + { + "自动化边界决定(同批原文复现)", + "【决定】决定类记忆回流不挂 cron:由小怡在每次拍板后主动调用脚本,先跑顺一两周。", + []string{"回流不挂cron", "先跑顺一两周", "拍板后主动调用"}, + }, + } + for _, tc := range cases { + t.Run(tc.name, func(t *testing.T) { + lane, why := ClassifyAdmission(tc.content) + if lane != LaneKeep { + t.Fatalf("前提失败: ClassifyAdmission 未判 keep (lane=%s, %s), content=%.60s", lane, why, tc.content) + } + got := FilterQualityFactsWithLane(tc.shortFacts, lane) + if len(got) != len(tc.shortFacts) { + t.Fatalf("LaneKeep 下短 fact 仍被丢: got %d/%d %v", len(got), len(tc.shortFacts), got) + } + // 对照锚:旧门槛(lane 不感知)确实会全拒这批短碎片 —— 证明测的就是行为差 + old := FilterQualityFacts(tc.shortFacts) + if len(old) == len(tc.shortFacts) { + t.Fatalf("对照锚失效: 旧门槛也全放了 %v,本测试无区分度", tc.shortFacts) + } + t.Logf("新门槛 keep 放行 %d 条;旧门槛仅放行 %d 条: %v", len(got), len(old), old) + }) + } +} + +// TestFilterQualityFactsWithLane_KeepStillRejectsNegatives AC3: +// 纯疑问句 / 状态汇报型即使 LaneKeep 也仍被拒(硬否定两条不动)。 +func TestFilterQualityFactsWithLane_KeepStillRejectsNegatives(t *testing.T) { + keepContent := "牧尘决定以后都用分身C来处理采集类任务。" + lane, why := ClassifyAdmission(keepContent) + if lane != LaneKeep { + t.Fatalf("前提失败: lane=%s (%s)", lane, why) + } + cases := []struct { + name string + fact string + }{ + {"纯疑问(带问号,>20字)", "为什么采集类任务要统一交给分身C来执行处理?"}, + {"状态汇报型(无主句+完成词)", "健康检查完成,所有服务运行正常,无异常"}, + {"状态汇报型(cron噪声)", "cron任务执行完毕,桥接状态同步完成"}, + } + for _, tc := range cases { + t.Run(tc.name, func(t *testing.T) { + if got := FilterQualityFactsWithLane([]string{tc.fact}, lane); len(got) != 0 { + t.Fatalf("LaneKeep 不应放行 %s: %v", tc.name, got) + } + // 同句在旧门槛也拒(保证是"本来就该拒",不是 lane 通道误拒) + if old := FilterQualityFacts([]string{tc.fact}); len(old) != 0 { + t.Fatalf("对照锚异常: 旧门槛放行了 %q", tc.fact) + } + }) + } + // 正对照:同批里的一句短陈述在 LaneKeep 下必须放行(证明不是"全拒") + pos := FilterQualityFactsWithLane([]string{"决定采用单一采集口径"}, lane) + if len(pos) != 1 { + t.Fatalf("短陈述在 LaneKeep 下应放行: %v", pos) + } +} + +// TestFilterQualityFactsWithLane_NonKeepDelegates AC2 补充: +// LaneDrop / LaneObserve 的行为必须与 FilterQualityFacts 逐字一致(同输入同输出)。 +func TestFilterQualityFactsWithLane_NonKeepDelegates(t *testing.T) { + dropContent := "好的" // <8字 → 确定性 drop + dropLane, _ := ClassifyAdmission(dropContent) + if dropLane != LaneDrop { + t.Fatalf("前提失败: 期望 drop, got %s", dropLane) + } + obsContent := "服务已重启完成,当前版本 v0.21.6。" // 不确定带 → observe + obsLane, _ := ClassifyAdmission(obsContent) + if obsLane != LaneObserve { + t.Fatalf("前提失败: 期望 observe, got %s", obsLane) + } + in := []string{ + "重启系统", // <20 碎片 → 拒 + "用户喜欢喝咖啡", // <20 无前缀 → 拒 + "为什么系统会重启?", // 纯疑问 → 拒 + "用户昨天重启了家里的服务器并恢复了所有服务", // 20字+ 带实体 → 过 + "健康检查完成", // 状态汇报 → 拒 + } + for lane, name := range map[AdmissionLane]string{dropLane: "LaneDrop", obsLane: "LaneObserve"} { + t.Run(name, func(t *testing.T) { + want := FilterQualityFacts(in) + got := FilterQualityFactsWithLane(in, lane) + if len(want) != len(got) { + t.Fatalf("非 keep lane 行为漂移: got %d want %d (%v vs %v)", len(got), len(want), got, want) + } + for i := range want { + if got[i] != want[i] { + t.Fatalf("非 keep lane 行为漂移: got[%d]=%q want=%q", i, got[i], want[i]) + } + } + if len(want) != 1 || want[0] != "用户昨天重启了家里的服务器并恢复了所有服务" { + t.Fatalf("对照锚异常: FilterQualityFacts 结果 = %v", want) + } + }) + } +} + +// TestFilterQualityFactsWithLane_EmptyKeep 边界:LaneKeep + 空/纯空白 fact → 原样不过。 +func TestFilterQualityFactsWithLane_EmptyKeep(t *testing.T) { + got := FilterQualityFactsWithLane([]string{"", " "}, LaneKeep) + if len(got) != 0 { + t.Fatalf("空白 fact 不应放行: %v", got) + } +} + +// 守卫本组测试自身:确认这些 content 确实不是系统样板(否则前提 lane=keep 会被 drop 打穿)。 +func TestFilterQualityFactsWithLane_PremisesNotSystemTemplate(t *testing.T) { + for _, c := range []string{ + "【决定】决定录入格式规范:一条只写一个决定,路径与日期不混进正文,避免蒸馏碎片化后宽泛问法召回不到。", + "牧尘决定以后都用分身C来处理采集类任务。", + } { + if textfilter.IsSystemTemplate(c) { + t.Fatalf("前提 content 被误判为系统样板: %.40s", c) + } + } +}