docs(plan): 织忆蒸馏质量链路修复方案(P0-3/P0-4 止血 + P0-1/P0-2 治本 + P1-1 防御)

This commit is contained in:
muc
2026-10-06 15:57:35 +08:00
parent 97bd6afe9f
commit 57c55a7cca
@@ -0,0 +1,276 @@
# 织忆蒸馏质量链路修复方案
> **面向实现者**:每任务 2~5 分钟粒度,含精确路径、行号、完整代码、验证命令与期望输出。
> **日期**:2026-10-06 | **状态**:待拍板 | **拟定**:小怡
---
## 一、目标
切断这条因果链(本次排查发现的真实病灶):
```
评分闸门失效(prompt 示例被模型原样 echo)
↓
只剩「文本长度」一道闸门在扛
↓
提取器为过闸门 → 给短规则追加固定话术(enrich)
↓
伪造内容进入长期记忆库(已污染 6 条,含跨技能串味)
```
并顺带修掉 2 个次生 bug。
**注意**:上一轮我曾建议「蒸馏入口拒收规则块」—— **该建议作废**。证据 E4 表明「规则→episode→蒸馏」是**有意设计且工作正常**的流水线,拒收会砸掉整条技能规则入库链路。
## 二、架构
三处独立改动,互不阻塞:
| 层 | 文件 | 改什么 |
|---|---|---|
| 蒸馏(Go) | `go/internal/distill/engine.go` | 去 echo 源 + 加 echo 检测 + 影子模式 |
| 提取(Python) | `~/.hermes/scripts/skill_rule_extractor_v2.py` | 停用伪造式扩写 |
| 遗忘(Go) | `go/internal/api/routes/admin.go` · `go/internal/storage/lancedb_ipc.go` · `go/internal/api/server.go` | 空 id 防御 + 计数修正 |
## 三、证据链(为什么这么改)
| # | 事实 | 证据(可复现) |
|---|---|---|
| E1 | 评分是 prompt 示例复读 | `engine.go:534` 写死示例 `"is":0.8,"su":0.7,"pa":0.6,"vd":0.9,"ru":0.7`。实测:换内容分数不变;把示例数字改成 0.1~0.5,输出跟着变成 0.3~0.7 |
| E2 | 评分门槛永不触发 | `engine.go:417` 判据 `overall<0.7 && score.VD<0.8`;echo 值按 `engine.go:89` 权重算得 `overall=0.755`,恒 ≥0.7 |
| E3 | 扩写话术已入记忆库 | `memories` 表命中 **6 条**,含 3 条纯话术本身、1 条跨技能串味(`hermes-soul-maintenance|修改纪律:…rclone lsf`) |
| E4 | 流水线本身是好的 | 台账按规则指纹去重:**入库 1539 / 被丢 0 / 在途 60 = 100% 收敛**(`~/.hermes/skill_rules_ingest_ledger.jsonl`) |
| E5 | 空 id 根因在数据层 | `memories` 表有 **2 行** id/content/source 全空 ⇒ 命中「<30 字碎片快速道」⇒ `SoftDelete("")` ⇒ Rust `rust/src/main.rs:331` 拒绝 |
## 四、施工铁律
1. **不许 python 直连写 LanceDB**:zhiyid 运行期直连写 = 双写源(与 state.db 同类事故)。**所有删除走 HTTP API**。
2. **P0-1/P0-2 必须影子模式先行**:修好 echo 会**激活一个此前从不触发的闸门**,可能造成批量丢弃。先 log-only 观察,再决定是否真拦。
3. **改前备份、改后复验**:Go 改动过 `go vet` + 全量测试;Python 改动跑断言。
---
## 五、任务清单
### P0-3 停用「伪造式扩写」〔建议先做,止血〕
**文件**:`/home/muc/.hermes/scripts/skill_rule_extractor_v2.py:407-409`
**Step 1** 删掉追加固定话术的分支
旧:
```python
if len(r["rule"]) < 45:
body += (" |执行时须落到具体命令与路径(如 hermes kanban list、pgrep -f、"
"~/.hermes/scripts/、rclone lsf),并在汇报里贴出原始输出片段作为证据。")
```
新:
```python
# 🔴 禁止追加与规则无关的固定话术(2026-10-06):那会伪造出技能从未声明过的"事实",
# 已污染 memories 6 条(含跨技能串味)。短规则宁可被丢,也不许编。
# 真实扩写只允许用规则自带字段(why/anti/scope,已在上方拼入)。
```
**Step 2** 验证(必须证明它不再产出那句话)
```bash
python3 -c "
import importlib.util,pathlib
spec=importlib.util.spec_from_file_location('e', pathlib.Path.home()/'.hermes/scripts/skill_rule_extractor_v2.py')
m=importlib.util.module_from_spec(spec); spec.loader.exec_module(m)
out=m.enrich({'skill':'x','section':'y','rule':'短规则','why':'因为所以','anti':'','scope':''})
print(out)
assert '执行时须落到具体命令与路径' not in out, '❌ 伪造话术仍在'
print('✅ 已停用伪造扩写')
"
```
期望:打印 `✅ 已停用伪造扩写`。
**Step 3** 记录代价:改完重跑一轮 `skill_rules_sync.py`,把台账 `landed` 变化作为**代价数据**上报(短规则入库率会下降,这是可接受的真话)。
---
### P0-4 清理已污染的 6 条记忆〔建议先做,止血〕
**🔴 走 HTTP API,不许直连写库。**
**Step 1** 取 id(已取得,见下)→ 先 dry-run 看影响面
**Step 2** 逐个软删,`reason` 用 `polluted_expansion_20261006`
```
mem_1791262758250672496 收到牧尘任务…|依据…|适用…|执行时须落到具体命令与路径(…)
mem_1791261603417879613 适用:cron 连续失败诊断 |执行时须落到…
mem_1791267692697346820 hermes-soul-maintenance|修改纪律:执行时须落到… ← 跨技能串味
mem_1791215971324172233 执行时须落到具体命令与路径(…) ← 纯话术
mem_1791215338803223776 执行时须落到具体命令与路径(…) ← 纯话术
mem_1791270196923533388 使用 --move-slide 时 |执行时须落到… ← 无关规则被串味
```
**Step 3** 复验:同脚本再查一次,`执行时须落到具体命令与路径` 命中 **0**。
---
### P0-1 去掉评分 prompt 的 echo 源
**文件**:`go/internal/distill/engine.go:533-536`
**Step 1** 把「填好的示例」换成「类型骨架 + 显式禁令」
旧:
```
输出格式(严格JSON):
{"facts": ["独立事实1", "独立事实2"], "decisions": ["决定1"], "conclusions": ["结论1"], "actions_taken": ["行动1"], "open_questions": ["问题1"], "entities": ["entity1", "entity2"], "is": 0.8, "su": 0.7, "pa": 0.6, "vd": 0.9, "ru": 0.7}
评分说明:is/su/pa/vd/ru 是 0.0 到 1.0 之间的浮点数(越高越好),不要用 0-10 整数。
```
新:
```
输出格式(严格JSON):
{"facts": ["..."], "decisions": ["..."], "conclusions": ["..."], "actions_taken": ["..."], "open_questions": ["..."], "entities": ["..."], "is": <小数>, "su": <小数>, "pa": <小数>, "vd": <小数>, "ru": <小数>}
评分说明:is/su/pa/vd/ru 必须是 0.0~1.0 之间的浮点数(越高越好),不得用 0-10 整数。
🔴 上例中的 <小数> 是类型占位符,不是数值。必须依据**本次内容**独立打分;沿用任何示例数值都算错误答案。
```
**Step 2** 验证
```bash
cd /home/muc/src/memoryweave/go && go vet ./internal/distill/ && go test ./internal/distill/ -count=1
```
期望:全 PASS。
**Step 3** liveprobe 实证(沿用 `quality_liveprobe_test.go` 的手法)
```bash
go test ./internal/distill/ -tags liveprobe -run TestLiveScoreNotEcho -v -count=1
```
期望:6 条不同内容 → **分数不再全部相同**(≥3 种不同向量)。
---
### P0-2 加「echo 检测 + 影子模式」
**Step 1** 新增检测(`engine.go`,用现成评分结构,见 `engine.go:65-80`)
```go
// echoScoreVectors 是 prompt 历史版本里出现过的示例评分向量。
// 模型输出与任一向量完全相同 ⇒ 判定为「照抄示例」,评分不可信。
var echoScoreVectors = [][5]float64{
{0.8, 0.7, 0.6, 0.9, 0.7},
}
// IsEchoScore 判断评分是否在照抄 prompt 示例。
func IsEchoScore(s Score5D) bool {
for _, v := range echoScoreVectors {
if s.IS == v[0] && s.SU == v[1] && s.PA == v[2] && s.VD == v[3] && s.RU == v[4] {
return true
}
}
return false
}
```
**Step 2** 影子开关(默认开=只记录不拦)
```go
// 默认影子模式:只记录「本该被丢」的样本,不真的丢。
// 修好 echo 会激活一个此前从不触发的闸门,必须先观察再开拦。
var scoreShadowMode = os.Getenv("ZHIYI_SCORE_SHADOW") != "0"
```
在 `engine.go:417` 判据处:
```go
if overall < 0.7 && score.VD < 0.8 {
if scoreShadowMode {
log.Printf("[distill][SHADOW] would-drop episode=%s overall=%.3f vd=%.2f echo=%v",
input.EpisodeID, overall, score.VD, IsEchoScore(score))
} else {
// …原丢弃逻辑保持不变…
}
}
```
**Step 3** 验证(**阴性对照是硬要求**)
```bash
go test ./internal/distill/ -run TestIsEchoScore -v -count=1
```
必须含:正例 `{0.8,0.7,0.6,0.9,0.7}` → `true`;负例 `{0.8,0.7,0.6,0.9,0.8}` → `false`。
> 量具铁律:新量具先用正例证明它会报阳性,再用负例证明它不滥报。
**Step 4** 观察期:影子模式跑 ≥3 天,统计 `[SHADOW] would-drop` 条数占总量比,再决定是否 `ZHIYI_SCORE_SHADOW=0` 开真拦。
---
### P1-1 修遗忘路径的空 id 崩溃 + 计数 bug
**Step 1** `go/internal/storage/lancedb_ipc.go:584` 入口挡空 id
```go
func (rc *RustLanceDBClient) SoftDelete(id, reason string) error {
if strings.TrimSpace(id) == "" {
return fmt.Errorf("SoftDelete: empty id (reason=%s)", reason)
}
…
```
**Step 2** 两个调用点加守卫
- `go/internal/api/routes/admin.go:86-92`:加 `if strVal(mem["id"]) == "" { skippedNoID++; continue }`
- `go/internal/api/server.go:1641`:`if id, ok := m["id"].(string); ok && id != "" {`
> ⚠️ 漏洞点:**空串能通过 `ok` 断言**,原写法拦不住。
**Step 3** 修计数 bug(`admin.go:90`)—— 现在 `SoftDelete` 失败**照样** `forgotten++`
```go
if err := aa.LanceDB.SoftDelete(id, "auto_forget_fragment"); err != nil {
log.Printf("[softdelete] failed id=%q: %v", id, err)
continue // 失败不计数
}
forgotten++
```
**Step 4** 那 2 行垃圾记录(id/content/source 全空):**无法用 id 软删**(id 为空)⇒ 需要 zhiyid 侧一次性维护(加 `/api/v1/admin/purge-invalid` 端点,或 Rust 侧按 `id == ""` 条件清理)。**本项单独拍板,不许手工直连删。**
**Step 5** 验证
```bash
journalctl --user -u zhiyid --since "10 min ago" | grep -c 'id required'
```
期望:触发一次 forget 后仍为 **0**。
---
### P2 根治方向〔观察后再定,本次不实施〕
**问题**:`IsQualityFact` 用「≥20 字 + 含实体/动词」判「像不像事实」,但技能规则天然是短句 ⇒ 规则块只能靠"拉长"过关。**根子是闸门与内容类型不匹配。**
**方向**:给规则块开专用通道 —— 蒸馏入口识别 `^\[规则:` 前缀,**整条规则作为一条 fact**(不交给 2B 剁碎)。收益:规则不再需要扩写作弊、碎片不再产生、评分闸门可以专心管真对话。
**风险**:改动 `distillOne` 的 fact 组装,影响面大 ⇒ 先用 P0 的影子数据说话再定。
---
## 六、验收总表
| 任务 | 判据 | 复验方式 |
|---|---|---|
| P0-3 | 不再产生伪造话术 | `enrich()` 输出断言不含该句 |
| P0-4 | 污染清零 | 同脚本复查命中 0 |
| P0-1 | 分数不再恒定 | liveprobe:6 条不同内容 → ≥3 种分数向量 |
| P0-2 | echo 可检出 | 单测正例 true / 负例 false |
| P1-1 | 日志无 `id required`;计数与实际一致 | `journalctl \| grep -c` = 0;`forgotten` == 真删数 |
## 七、顺序与依赖
```
P0-3(停伪造)──┐
P0-4(清污染)──┴─→ 止血完成
↓
P0-1(去 echo)→ P0-2(影子观察 ≥3 天)→ 决定是否开真拦 → P2 评估
P1-1(防御+计数)独立,随时可做
```
**建议**:先做 **P0-3 + P0-4**(停止新增污染 + 清掉已有污染,改动小、可逆),再做 **P0-1/P0-2**(治本,但需观察期),**P1-1** 穿插做。
## 八、明确不做的事
- ❌ 不在蒸馏入口拒收规则块(会砸掉技能规则入库链路,见 E4)
- ❌ 不直接改 LanceDB(双写源风险)
- ❌ 不在影子数据出来前打开真拦(可能批量丢弃)
- ❌ 不动 `graph_auto.go` 等无关文件(只改本方案列出的项)