From 57c55a7cca047226763b2f718c2d96d7fc87df0c Mon Sep 17 00:00:00 2001 From: muc Date: Tue, 6 Oct 2026 15:57:35 +0800 Subject: [PATCH] =?UTF-8?q?docs(plan):=20=E7=BB=87=E5=BF=86=E8=92=B8?= =?UTF-8?q?=E9=A6=8F=E8=B4=A8=E9=87=8F=E9=93=BE=E8=B7=AF=E4=BF=AE=E5=A4=8D?= =?UTF-8?q?=E6=96=B9=E6=A1=88=EF=BC=88P0-3/P0-4=20=E6=AD=A2=E8=A1=80=20+?= =?UTF-8?q?=20P0-1/P0-2=20=E6=B2=BB=E6=9C=AC=20+=20P1-1=20=E9=98=B2?= =?UTF-8?q?=E5=BE=A1=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...2026-10-06-distill-quality-pipeline-fix.md | 276 ++++++++++++++++++ 1 file changed, 276 insertions(+) create mode 100644 docs/plans/2026-10-06-distill-quality-pipeline-fix.md diff --git a/docs/plans/2026-10-06-distill-quality-pipeline-fix.md b/docs/plans/2026-10-06-distill-quality-pipeline-fix.md new file mode 100644 index 0000000..be2304c --- /dev/null +++ b/docs/plans/2026-10-06-distill-quality-pipeline-fix.md @@ -0,0 +1,276 @@ +# 织忆蒸馏质量链路修复方案 + +> **面向实现者**:每任务 2~5 分钟粒度,含精确路径、行号、完整代码、验证命令与期望输出。 +> **日期**:2026-10-06 | **状态**:待拍板 | **拟定**:小怡 + +--- + +## 一、目标 + +切断这条因果链(本次排查发现的真实病灶): + +``` +评分闸门失效(prompt 示例被模型原样 echo) + ↓ +只剩「文本长度」一道闸门在扛 + ↓ +提取器为过闸门 → 给短规则追加固定话术(enrich) + ↓ +伪造内容进入长期记忆库(已污染 6 条,含跨技能串味) +``` + +并顺带修掉 2 个次生 bug。 + +**注意**:上一轮我曾建议「蒸馏入口拒收规则块」—— **该建议作废**。证据 E4 表明「规则→episode→蒸馏」是**有意设计且工作正常**的流水线,拒收会砸掉整条技能规则入库链路。 + +## 二、架构 + +三处独立改动,互不阻塞: + +| 层 | 文件 | 改什么 | +|---|---|---| +| 蒸馏(Go) | `go/internal/distill/engine.go` | 去 echo 源 + 加 echo 检测 + 影子模式 | +| 提取(Python) | `~/.hermes/scripts/skill_rule_extractor_v2.py` | 停用伪造式扩写 | +| 遗忘(Go) | `go/internal/api/routes/admin.go` · `go/internal/storage/lancedb_ipc.go` · `go/internal/api/server.go` | 空 id 防御 + 计数修正 | + +## 三、证据链(为什么这么改) + +| # | 事实 | 证据(可复现) | +|---|---|---| +| E1 | 评分是 prompt 示例复读 | `engine.go:534` 写死示例 `"is":0.8,"su":0.7,"pa":0.6,"vd":0.9,"ru":0.7`。实测:换内容分数不变;把示例数字改成 0.1~0.5,输出跟着变成 0.3~0.7 | +| E2 | 评分门槛永不触发 | `engine.go:417` 判据 `overall<0.7 && score.VD<0.8`;echo 值按 `engine.go:89` 权重算得 `overall=0.755`,恒 ≥0.7 | +| E3 | 扩写话术已入记忆库 | `memories` 表命中 **6 条**,含 3 条纯话术本身、1 条跨技能串味(`hermes-soul-maintenance|修改纪律:…rclone lsf`) | +| E4 | 流水线本身是好的 | 台账按规则指纹去重:**入库 1539 / 被丢 0 / 在途 60 = 100% 收敛**(`~/.hermes/skill_rules_ingest_ledger.jsonl`) | +| E5 | 空 id 根因在数据层 | `memories` 表有 **2 行** id/content/source 全空 ⇒ 命中「<30 字碎片快速道」⇒ `SoftDelete("")` ⇒ Rust `rust/src/main.rs:331` 拒绝 | + +## 四、施工铁律 + +1. **不许 python 直连写 LanceDB**:zhiyid 运行期直连写 = 双写源(与 state.db 同类事故)。**所有删除走 HTTP API**。 +2. **P0-1/P0-2 必须影子模式先行**:修好 echo 会**激活一个此前从不触发的闸门**,可能造成批量丢弃。先 log-only 观察,再决定是否真拦。 +3. **改前备份、改后复验**:Go 改动过 `go vet` + 全量测试;Python 改动跑断言。 + +--- + +## 五、任务清单 + +### P0-3 停用「伪造式扩写」〔建议先做,止血〕 + +**文件**:`/home/muc/.hermes/scripts/skill_rule_extractor_v2.py:407-409` + +**Step 1** 删掉追加固定话术的分支 + +旧: +```python + if len(r["rule"]) < 45: + body += (" |执行时须落到具体命令与路径(如 hermes kanban list、pgrep -f、" + "~/.hermes/scripts/、rclone lsf),并在汇报里贴出原始输出片段作为证据。") +``` + +新: +```python + # 🔴 禁止追加与规则无关的固定话术(2026-10-06):那会伪造出技能从未声明过的"事实", + # 已污染 memories 6 条(含跨技能串味)。短规则宁可被丢,也不许编。 + # 真实扩写只允许用规则自带字段(why/anti/scope,已在上方拼入)。 +``` + +**Step 2** 验证(必须证明它不再产出那句话) +```bash +python3 -c " +import importlib.util,pathlib +spec=importlib.util.spec_from_file_location('e', pathlib.Path.home()/'.hermes/scripts/skill_rule_extractor_v2.py') +m=importlib.util.module_from_spec(spec); spec.loader.exec_module(m) +out=m.enrich({'skill':'x','section':'y','rule':'短规则','why':'因为所以','anti':'','scope':''}) +print(out) +assert '执行时须落到具体命令与路径' not in out, '❌ 伪造话术仍在' +print('✅ 已停用伪造扩写') +" +``` +期望:打印 `✅ 已停用伪造扩写`。 + +**Step 3** 记录代价:改完重跑一轮 `skill_rules_sync.py`,把台账 `landed` 变化作为**代价数据**上报(短规则入库率会下降,这是可接受的真话)。 + +--- + +### P0-4 清理已污染的 6 条记忆〔建议先做,止血〕 + +**🔴 走 HTTP API,不许直连写库。** + +**Step 1** 取 id(已取得,见下)→ 先 dry-run 看影响面 +**Step 2** 逐个软删,`reason` 用 `polluted_expansion_20261006` + +``` +mem_1791262758250672496 收到牧尘任务…|依据…|适用…|执行时须落到具体命令与路径(…) +mem_1791261603417879613 适用:cron 连续失败诊断 |执行时须落到… +mem_1791267692697346820 hermes-soul-maintenance|修改纪律:执行时须落到… ← 跨技能串味 +mem_1791215971324172233 执行时须落到具体命令与路径(…) ← 纯话术 +mem_1791215338803223776 执行时须落到具体命令与路径(…) ← 纯话术 +mem_1791270196923533388 使用 --move-slide 时 |执行时须落到… ← 无关规则被串味 +``` + +**Step 3** 复验:同脚本再查一次,`执行时须落到具体命令与路径` 命中 **0**。 + +--- + +### P0-1 去掉评分 prompt 的 echo 源 + +**文件**:`go/internal/distill/engine.go:533-536` + +**Step 1** 把「填好的示例」换成「类型骨架 + 显式禁令」 + +旧: +``` +输出格式(严格JSON): +{"facts": ["独立事实1", "独立事实2"], "decisions": ["决定1"], "conclusions": ["结论1"], "actions_taken": ["行动1"], "open_questions": ["问题1"], "entities": ["entity1", "entity2"], "is": 0.8, "su": 0.7, "pa": 0.6, "vd": 0.9, "ru": 0.7} + +评分说明:is/su/pa/vd/ru 是 0.0 到 1.0 之间的浮点数(越高越好),不要用 0-10 整数。 +``` + +新: +``` +输出格式(严格JSON): +{"facts": ["..."], "decisions": ["..."], "conclusions": ["..."], "actions_taken": ["..."], "open_questions": ["..."], "entities": ["..."], "is": <小数>, "su": <小数>, "pa": <小数>, "vd": <小数>, "ru": <小数>} + +评分说明:is/su/pa/vd/ru 必须是 0.0~1.0 之间的浮点数(越高越好),不得用 0-10 整数。 +🔴 上例中的 <小数> 是类型占位符,不是数值。必须依据**本次内容**独立打分;沿用任何示例数值都算错误答案。 +``` + +**Step 2** 验证 +```bash +cd /home/muc/src/memoryweave/go && go vet ./internal/distill/ && go test ./internal/distill/ -count=1 +``` +期望:全 PASS。 + +**Step 3** liveprobe 实证(沿用 `quality_liveprobe_test.go` 的手法) +```bash +go test ./internal/distill/ -tags liveprobe -run TestLiveScoreNotEcho -v -count=1 +``` +期望:6 条不同内容 → **分数不再全部相同**(≥3 种不同向量)。 + +--- + +### P0-2 加「echo 检测 + 影子模式」 + +**Step 1** 新增检测(`engine.go`,用现成评分结构,见 `engine.go:65-80`) + +```go +// echoScoreVectors 是 prompt 历史版本里出现过的示例评分向量。 +// 模型输出与任一向量完全相同 ⇒ 判定为「照抄示例」,评分不可信。 +var echoScoreVectors = [][5]float64{ + {0.8, 0.7, 0.6, 0.9, 0.7}, +} + +// IsEchoScore 判断评分是否在照抄 prompt 示例。 +func IsEchoScore(s Score5D) bool { + for _, v := range echoScoreVectors { + if s.IS == v[0] && s.SU == v[1] && s.PA == v[2] && s.VD == v[3] && s.RU == v[4] { + return true + } + } + return false +} +``` + +**Step 2** 影子开关(默认开=只记录不拦) + +```go +// 默认影子模式:只记录「本该被丢」的样本,不真的丢。 +// 修好 echo 会激活一个此前从不触发的闸门,必须先观察再开拦。 +var scoreShadowMode = os.Getenv("ZHIYI_SCORE_SHADOW") != "0" +``` + +在 `engine.go:417` 判据处: +```go + if overall < 0.7 && score.VD < 0.8 { + if scoreShadowMode { + log.Printf("[distill][SHADOW] would-drop episode=%s overall=%.3f vd=%.2f echo=%v", + input.EpisodeID, overall, score.VD, IsEchoScore(score)) + } else { + // …原丢弃逻辑保持不变… + } + } +``` + +**Step 3** 验证(**阴性对照是硬要求**) +```bash +go test ./internal/distill/ -run TestIsEchoScore -v -count=1 +``` +必须含:正例 `{0.8,0.7,0.6,0.9,0.7}` → `true`;负例 `{0.8,0.7,0.6,0.9,0.8}` → `false`。 +> 量具铁律:新量具先用正例证明它会报阳性,再用负例证明它不滥报。 + +**Step 4** 观察期:影子模式跑 ≥3 天,统计 `[SHADOW] would-drop` 条数占总量比,再决定是否 `ZHIYI_SCORE_SHADOW=0` 开真拦。 + +--- + +### P1-1 修遗忘路径的空 id 崩溃 + 计数 bug + +**Step 1** `go/internal/storage/lancedb_ipc.go:584` 入口挡空 id +```go +func (rc *RustLanceDBClient) SoftDelete(id, reason string) error { + if strings.TrimSpace(id) == "" { + return fmt.Errorf("SoftDelete: empty id (reason=%s)", reason) + } + … +``` + +**Step 2** 两个调用点加守卫 +- `go/internal/api/routes/admin.go:86-92`:加 `if strVal(mem["id"]) == "" { skippedNoID++; continue }` +- `go/internal/api/server.go:1641`:`if id, ok := m["id"].(string); ok && id != "" {` + > ⚠️ 漏洞点:**空串能通过 `ok` 断言**,原写法拦不住。 + +**Step 3** 修计数 bug(`admin.go:90`)—— 现在 `SoftDelete` 失败**照样** `forgotten++` +```go + if err := aa.LanceDB.SoftDelete(id, "auto_forget_fragment"); err != nil { + log.Printf("[softdelete] failed id=%q: %v", id, err) + continue // 失败不计数 + } + forgotten++ +``` + +**Step 4** 那 2 行垃圾记录(id/content/source 全空):**无法用 id 软删**(id 为空)⇒ 需要 zhiyid 侧一次性维护(加 `/api/v1/admin/purge-invalid` 端点,或 Rust 侧按 `id == ""` 条件清理)。**本项单独拍板,不许手工直连删。** + +**Step 5** 验证 +```bash +journalctl --user -u zhiyid --since "10 min ago" | grep -c 'id required' +``` +期望:触发一次 forget 后仍为 **0**。 + +--- + +### P2 根治方向〔观察后再定,本次不实施〕 + +**问题**:`IsQualityFact` 用「≥20 字 + 含实体/动词」判「像不像事实」,但技能规则天然是短句 ⇒ 规则块只能靠"拉长"过关。**根子是闸门与内容类型不匹配。** + +**方向**:给规则块开专用通道 —— 蒸馏入口识别 `^\[规则:` 前缀,**整条规则作为一条 fact**(不交给 2B 剁碎)。收益:规则不再需要扩写作弊、碎片不再产生、评分闸门可以专心管真对话。 +**风险**:改动 `distillOne` 的 fact 组装,影响面大 ⇒ 先用 P0 的影子数据说话再定。 + +--- + +## 六、验收总表 + +| 任务 | 判据 | 复验方式 | +|---|---|---| +| P0-3 | 不再产生伪造话术 | `enrich()` 输出断言不含该句 | +| P0-4 | 污染清零 | 同脚本复查命中 0 | +| P0-1 | 分数不再恒定 | liveprobe:6 条不同内容 → ≥3 种分数向量 | +| P0-2 | echo 可检出 | 单测正例 true / 负例 false | +| P1-1 | 日志无 `id required`;计数与实际一致 | `journalctl \| grep -c` = 0;`forgotten` == 真删数 | + +## 七、顺序与依赖 + +``` +P0-3(停伪造)──┐ +P0-4(清污染)──┴─→ 止血完成 + ↓ +P0-1(去 echo)→ P0-2(影子观察 ≥3 天)→ 决定是否开真拦 → P2 评估 + +P1-1(防御+计数)独立,随时可做 +``` + +**建议**:先做 **P0-3 + P0-4**(停止新增污染 + 清掉已有污染,改动小、可逆),再做 **P0-1/P0-2**(治本,但需观察期),**P1-1** 穿插做。 + +## 八、明确不做的事 + +- ❌ 不在蒸馏入口拒收规则块(会砸掉技能规则入库链路,见 E4) +- ❌ 不直接改 LanceDB(双写源风险) +- ❌ 不在影子数据出来前打开真拦(可能批量丢弃) +- ❌ 不动 `graph_auto.go` 等无关文件(只改本方案列出的项)