docs: 判官方差源定谳 + 记忆分级宪法 + 噪声底
判官方差源(决定性实验推翻前一稿): - 冻结完整输入串跑 10 遍,p 极差 0.0000(0.4658 × 10) - temperature=1.0 不是凶手:判官读 logprobs,不经采样温度缩放 - 真凶是输入组装漂移:mem[:600] 截断 + 候选池变动(今晚三次管道变更) - 处方:修管道 + 补判官日志(原始分数 + 是否见到候选) 基准噪声底(L1-0 动前动后差值): - ±1 题、p50 ±9ms - L1 启动条件 = 预期效应 > 噪声底 记忆分级宪法(§11): - 人口账:distill 133/日 vs audit 几条/日 ⇒ 库越大越失忆 - 三级:受保护(audit/训条/standing)/ 降级(0.784 元记忆)/ 普通 - 验收两只手:降权 0.784 + 护权 audit,缺一不算 - 新指标:audit 查询纯度(今晚基线约满分) §12 明日顺序:上午守尺子,下午守库
This commit is contained in:
@@ -510,3 +510,70 @@ ZHIYI_SUPERSEDE_MODE=soft 版本取代(⚠️ 门控 ZHIYI_SUPERSED
|
||||
```
|
||||
|
||||
**五稿死因链,每稿都有证据,每稿都被下一稿推翻。最后定谳的那行证据小得可笑:`core.go` 里少一行 `FtsInvalidate()`。**
|
||||
---
|
||||
|
||||
## 11. 记忆分级:受保护 / 降级 / 普通(2026-11-23 立,牧尘提出的宪法级条款)
|
||||
|
||||
### 11.1 人口账:库越大,它越失忆
|
||||
|
||||
| 来源 | 日增 | 性质 |
|
||||
|---|---|---|
|
||||
| distill | **~133 条/日** | 自动、洪水 |
|
||||
| audit / 训条 | **~几条/日**(手写) | 系统关于自己的记忆 |
|
||||
|
||||
**半年后**:distill 存量约 24,000 条,audit 约 500 条 ⇒ **自省记忆占库容从今天的 0.3% 降到 2%**(分母涨得更快)。
|
||||
|
||||
**⇒ 闭环正在被容量谋杀。**
|
||||
「你以前犯过类似的错吗」今天能命中,因为 audit 只占千分之一、`a6`/`C2`/`误诊` 这类全库唯一 token 太好命中。**半年后它会被自己的日记淹没。**
|
||||
|
||||
**这是同一件事的两面**:库越小它越记得自己,库越大它越失忆。
|
||||
|
||||
### 11.2 三级记忆分级(宪法级)
|
||||
|
||||
| 等级 | 成员 | 规则 |
|
||||
|---|---|---|
|
||||
| **受保护** | `audit` / 训条 / standing | ① 不参与 distill 合并稀释 ② 不受 TTL 自然衰减 ③ 必要时保底检索份额 |
|
||||
| **降级** | `0.784` 类元记忆(关于系统的业务记忆) | 参与竞争但降权 |
|
||||
| **普通** | 业务记忆 | 正常 |
|
||||
|
||||
**验收判据(同时放对两只手才算过关)**:
|
||||
- **降权的手**:`0.784` 那条元记忆应被降权
|
||||
- **护权的手**:audit 条目不因 distill 洪水而排名下滑
|
||||
|
||||
**⇒ 只做一半不算数。一个测降权,一个测护权,缺一不可。**
|
||||
|
||||
### 11.3 新指标:audit 查询纯度
|
||||
|
||||
与 `fts_c2 出现率` 同列,逐月记录:
|
||||
|
||||
**定义**:问 audit 类问题(「我修过什么 bug」「为什么 X 不稳定」)时,top-k 里几成是 audit 条目。
|
||||
|
||||
**今晚基线**:约满分(3/3、2/2 命中)。
|
||||
**衰减即警报**:纯度过低 ⇒ 自省记忆被稀释,需要提高保护等级。
|
||||
|
||||
### 11.4 为什么这条是宪法级
|
||||
|
||||
**训条是「怎么修的」的记忆,案卷摘要记「修过什么」。两者才是自省的完整器官。**
|
||||
一旦它们被 distill 合并、被 TTL 衰减、被洪水淹没,系统就退化成「能修,但每次都从零开始」。
|
||||
|
||||
---
|
||||
|
||||
## 12. 明天的顺序(2026-11-23)
|
||||
|
||||
**上午守尺子,下午守库——一个给测量定误差,一个给记忆定宪法。**
|
||||
|
||||
| 步 | 动作 | 耗时 | 判据 |
|
||||
|---|---|---|---|
|
||||
| **0** | **读判官配置**(temperature 已知=1.0,但要确认 logprobs 语义) | 5min | 已完成,结论:**logprobs 不受温度缩放** |
|
||||
| **1** | 补判官日志:**原始分数 + 是否见到候选** | 30min | 无论判决如何都记 |
|
||||
| **2** | 冻结完整输入串跑十遍 | 20min | ✅ 已完成:极差 **0.0000** |
|
||||
| **3** | 分布 + 边界住户名单 + 误差棒入卷 | 30min | 边界住户 = 分数置信区间盖住阈值的题,a6 第一名 |
|
||||
| **4** | 下午:治理简报带上宪法条款 + 0.784 镜像 | — | 分级方案两只手都要摸 |
|
||||
|
||||
**判定树(预注册阈值)**:
|
||||
- 全局噪声(极差 > 0.02)→ 判官升格主线,校准选项排队(温度/k 票/prompt 手术),每次只动一个
|
||||
- 噪声低、语义偏差仍在 → 等价改写手术,**只设计不动刀**
|
||||
- 翻面集中在边界住户 → **承认边界**:ε 邻域内判决单列「边界」,不计 fp/fn。**别赌立着的硬币,给它挂牌。** ε 从分布读——和 MIN_SCORE 同一个动作,从拍脑袋到有依据。代价:ε 太宽 bench30 缩成 bench20,趋势变稀。
|
||||
|
||||
**⇒ 明天的交付物不是给判官定罪或脱罪,是给 bench30 装上误差棒。**
|
||||
**⇒ 从此每个 bench 变动都有尺度:可归因的变更 = 预期效应 > 噪声底(±1 题)。**
|
||||
|
||||
Reference in New Issue
Block a user