fix(distill): t_2ae69bb2 让 lane 结论穿透 fact 级质量门禁——LaneKeep 时跳过长度类规则,只留纯疑问/状态汇报两条硬否定

This commit is contained in:
小唯
2026-10-13 00:23:57 +08:00
parent 95bb930bd6
commit 5565ec8a9b
3 changed files with 198 additions and 2 deletions
+5 -2
View File
@@ -600,10 +600,13 @@ func (e *Engine) distillOne(input DistillInput) DistillResult {
// 2026-09-07 质量门槛(t_cc07ef4b): LLM 提炼 fact 入库前过滤
// <20字/纯疑问句/状态汇报型 拒绝; 20-50字需含实体或动词短语
// 在源头过滤, 使图谱/AAAK/记忆库一律只看到质量事实
// t_2ae69bb2: 把上方 lane 结论穿透到 fact 级门禁 —— LaneKeep 时跳过长度类
// 规则(只保留纯疑问/状态汇报两条硬否定),避免「lane 说放行、fact 级
// 却全丢」的静默吞噬;LaneDrop/LaneObserve 行为与原来逐字一致。
if before := len(facts); before > 0 {
facts = FilterQualityFacts(facts)
facts = FilterQualityFactsWithLane(facts, lane)
if dropped := before - len(facts); dropped > 0 {
log.Printf("[distill] quality gate dropped %d/%d facts for %s", dropped, before, input.EpisodeID)
log.Printf("[distill] quality gate dropped %d/%d facts for %s (lane=%s)", dropped, before, input.EpisodeID, lane)
}
}
+39
View File
@@ -102,6 +102,45 @@ func FilterQualityFacts(facts []string) []string {
return out
}
// FilterQualityFactsWithLane 感知准入分诊结论地过滤事实列表(kanban t_2ae69bb2)。
//
// 背景 —— 两门禁判据冲突(2026-10-12 实测复现 ep_1791818823117449804):
// ClassifyAdmission 已确定性判定「决策类高价值 → keep,放行不看分数」,但该结论
// 没有传到 fact 级门禁,FilterQualityFacts 对每条 fact 独立跑长度启发式,LLM 从
// 决定正文抽出的碎片(如「路径与日期不混进正文」=10字)一律命中 <20字 拒绝
// → 整条决定零 fact 落库。
//
// 语义(只改穿透,不改任何判据/阈值):
// - lane == LaneKeep:保留 纯疑问句(isPureQuestion) 与 状态汇报型(isStatusReportLike)
// 两条硬否定,跳过全部长度类规则(<20字 / 20-50字需含实体)。
// 理由:长度启发式是筛「碎片噪声」的;lane 已确定性判定本条是高价值内容,
// 两处冲突时以更强的确定性信号(lane)为准。
// - LaneDrop / LaneObserve:行为与 FilterQualityFacts 逐字一致(原样委托)。
//
// 边界(刻意不碰):
// - 不动 isSoulfulShortFact 前缀白名单(那是「人侧结构化短事实」的语义,
// 2026-09-20 收账已踩过「开得过宽」的坑,`决定:` 不属于该集合)。
// - 不动 IsQualityFact 任何阈值数字。
func FilterQualityFactsWithLane(facts []string, lane AdmissionLane) []string {
if lane != LaneKeep {
return FilterQualityFacts(facts)
}
out := make([]string, 0, len(facts))
for _, f := range facts {
f = redact.RedactSecrets(f)
s := strings.TrimSpace(f)
if s == "" {
continue
}
// LaneKeep 下仍生效的两条硬否定(任何长度)
if isPureQuestion(s) || isStatusReportLike(s) {
continue
}
out = append(out, f)
}
return out
}
// ─── 纯疑问句判定 ──────────────────────────────────────────
var questionSuffixes = []string{"?", "?", "吗?", "呢?", "么?", "嘛?", "吗?", "呢?"}
+154
View File
@@ -0,0 +1,154 @@
package distill
import (
"testing"
"github.com/xiaoxue/memoryweave/internal/textfilter"
)
// t_2ae69bb2: 两门禁判据冲突 —— ClassifyAdmission 判定 LaneKeep("决策类,放行不看分数")
// 的内容,其 fact 仍被 FilterQualityFacts 的长度启发式静默全丢(2026-10-12 实测
// ep_1791818823117449804 dropped 3/3,零 fact 落库)。
// 本组测试锁定新入口 FilterQualityFactsWithLane 的穿透语义:
// - LaneKeep:跳过全部长度类规则,只保留 纯疑问/状态汇报 两条硬否定
// - LaneDrop / LaneObserve:与 FilterQualityFacts 逐字一致(委托原函数)
// 刻意不碰:admission_lane.go 判据、isSoulfulShortFact 白名单、IsQualityFact 阈值。
// TestFilterQualityFactsWithLane_KeepPassesShortFacts AC1:
// LaneKeep 内容里 <20 字的 fact 不再被丢(≥3 例,前提:content 确实被分为 keep)。
func TestFilterQualityFactsWithLane_KeepPassesShortFacts(t *testing.T) {
cases := []struct {
name string
// 每条 content 必须被 ClassifyAdmission 判为 keep(前提断言在子测试内)
content string
// LLM 可能从决策正文里抽出的短碎片(全部 <20 字,旧门槛下会被全拒)
shortFacts []string
}{
{
"决定录入格式规范(原文复现)",
"【决定】决定录入格式规范:一条只写一个决定,路径与日期不混进正文,避免蒸馏碎片化后宽泛问法召回不到。",
[]string{"路径与日期不混进正文", "一条只写一个决定", "避免碎片化后召回不到"},
},
{
"决策承诺(测试词表同款)",
"牧尘决定以后都用分身C来处理采集类任务。",
[]string{"采集任务交给分身C", "以后都用分身C"},
},
{
"自动化边界决定(同批原文复现)",
"【决定】决定类记忆回流不挂 cron:由小怡在每次拍板后主动调用脚本,先跑顺一两周。",
[]string{"回流不挂cron", "先跑顺一两周", "拍板后主动调用"},
},
}
for _, tc := range cases {
t.Run(tc.name, func(t *testing.T) {
lane, why := ClassifyAdmission(tc.content)
if lane != LaneKeep {
t.Fatalf("前提失败: ClassifyAdmission 未判 keep (lane=%s, %s), content=%.60s", lane, why, tc.content)
}
got := FilterQualityFactsWithLane(tc.shortFacts, lane)
if len(got) != len(tc.shortFacts) {
t.Fatalf("LaneKeep 下短 fact 仍被丢: got %d/%d %v", len(got), len(tc.shortFacts), got)
}
// 对照锚:旧门槛(lane 不感知)确实会全拒这批短碎片 —— 证明测的就是行为差
old := FilterQualityFacts(tc.shortFacts)
if len(old) == len(tc.shortFacts) {
t.Fatalf("对照锚失效: 旧门槛也全放了 %v,本测试无区分度", tc.shortFacts)
}
t.Logf("新门槛 keep 放行 %d 条;旧门槛仅放行 %d 条: %v", len(got), len(old), old)
})
}
}
// TestFilterQualityFactsWithLane_KeepStillRejectsNegatives AC3:
// 纯疑问句 / 状态汇报型即使 LaneKeep 也仍被拒(硬否定两条不动)。
func TestFilterQualityFactsWithLane_KeepStillRejectsNegatives(t *testing.T) {
keepContent := "牧尘决定以后都用分身C来处理采集类任务。"
lane, why := ClassifyAdmission(keepContent)
if lane != LaneKeep {
t.Fatalf("前提失败: lane=%s (%s)", lane, why)
}
cases := []struct {
name string
fact string
}{
{"纯疑问(带问号,>20字)", "为什么采集类任务要统一交给分身C来执行处理?"},
{"状态汇报型(无主句+完成词)", "健康检查完成,所有服务运行正常,无异常"},
{"状态汇报型(cron噪声)", "cron任务执行完毕,桥接状态同步完成"},
}
for _, tc := range cases {
t.Run(tc.name, func(t *testing.T) {
if got := FilterQualityFactsWithLane([]string{tc.fact}, lane); len(got) != 0 {
t.Fatalf("LaneKeep 不应放行 %s: %v", tc.name, got)
}
// 同句在旧门槛也拒(保证是"本来就该拒",不是 lane 通道误拒)
if old := FilterQualityFacts([]string{tc.fact}); len(old) != 0 {
t.Fatalf("对照锚异常: 旧门槛放行了 %q", tc.fact)
}
})
}
// 正对照:同批里的一句短陈述在 LaneKeep 下必须放行(证明不是"全拒")
pos := FilterQualityFactsWithLane([]string{"决定采用单一采集口径"}, lane)
if len(pos) != 1 {
t.Fatalf("短陈述在 LaneKeep 下应放行: %v", pos)
}
}
// TestFilterQualityFactsWithLane_NonKeepDelegates AC2 补充:
// LaneDrop / LaneObserve 的行为必须与 FilterQualityFacts 逐字一致(同输入同输出)。
func TestFilterQualityFactsWithLane_NonKeepDelegates(t *testing.T) {
dropContent := "好的" // <8字 → 确定性 drop
dropLane, _ := ClassifyAdmission(dropContent)
if dropLane != LaneDrop {
t.Fatalf("前提失败: 期望 drop, got %s", dropLane)
}
obsContent := "服务已重启完成,当前版本 v0.21.6。" // 不确定带 → observe
obsLane, _ := ClassifyAdmission(obsContent)
if obsLane != LaneObserve {
t.Fatalf("前提失败: 期望 observe, got %s", obsLane)
}
in := []string{
"重启系统", // <20 碎片 → 拒
"用户喜欢喝咖啡", // <20 无前缀 → 拒
"为什么系统会重启?", // 纯疑问 → 拒
"用户昨天重启了家里的服务器并恢复了所有服务", // 20字+ 带实体 → 过
"健康检查完成", // 状态汇报 → 拒
}
for lane, name := range map[AdmissionLane]string{dropLane: "LaneDrop", obsLane: "LaneObserve"} {
t.Run(name, func(t *testing.T) {
want := FilterQualityFacts(in)
got := FilterQualityFactsWithLane(in, lane)
if len(want) != len(got) {
t.Fatalf("非 keep lane 行为漂移: got %d want %d (%v vs %v)", len(got), len(want), got, want)
}
for i := range want {
if got[i] != want[i] {
t.Fatalf("非 keep lane 行为漂移: got[%d]=%q want=%q", i, got[i], want[i])
}
}
if len(want) != 1 || want[0] != "用户昨天重启了家里的服务器并恢复了所有服务" {
t.Fatalf("对照锚异常: FilterQualityFacts 结果 = %v", want)
}
})
}
}
// TestFilterQualityFactsWithLane_EmptyKeep 边界:LaneKeep + 空/纯空白 fact → 原样不过。
func TestFilterQualityFactsWithLane_EmptyKeep(t *testing.T) {
got := FilterQualityFactsWithLane([]string{"", " "}, LaneKeep)
if len(got) != 0 {
t.Fatalf("空白 fact 不应放行: %v", got)
}
}
// 守卫本组测试自身:确认这些 content 确实不是系统样板(否则前提 lane=keep 会被 drop 打穿)。
func TestFilterQualityFactsWithLane_PremisesNotSystemTemplate(t *testing.T) {
for _, c := range []string{
"【决定】决定录入格式规范:一条只写一个决定,路径与日期不混进正文,避免蒸馏碎片化后宽泛问法召回不到。",
"牧尘决定以后都用分身C来处理采集类任务。",
} {
if textfilter.IsSystemTemplate(c) {
t.Fatalf("前提 content 被误判为系统样板: %.40s", c)
}
}
}