Commit Graph
316 Commits
Author SHA1 Message Date
xiaoyi 085a407f68 feat(recall): ZHIYI_RERANK_HOLD(rerank 保位,默认关)——实测任何 N 都负收益,留档不再重试
主尺 84 DA 题同窗口配对(no_cache,漂移 0.0000):
  hold=0  0.5258   基准
  hold=1  0.4881   -3.8pp
  hold=2  0.3591   -16.7pp(24 题掉零)
  hold=3  0.3532   -17.3pp(26 题掉零)
原因:向量序头部正是 cross-encoder 要压下去的空壳句,钉住它=废掉 rerank 的主要作用。
11-12 离线重放「保 top3 最好」的结论不成立——那是在向量 cosine 代理尺上测的,与真 cross-encoder 行为相反。
默认 0 ⇒ MMRSelect 原样调用、逐位等价;代码保留为常开旋钮(观测/回归用),生产不设此 env。
2026-11-16 20:43:01 +08:00
xiaoyi d2e9f086cb feat(recall): 外部 cross-encoder rerank 真接入主链(此前只设 env、调用点仍走本地 cosine)
背景:11-12 牧尘令「rerank 开」,env 与 drop-in 都配了,但 recall 两个调用点仍调
RerankWithVectors(候选自带向量再算 cosine)⇒ 生产实际是假重排。2026-11-16 行为
实测:use_rerank=true 与 false 逐位相同、延迟同为 ~390ms,证实 0 外呼。

本笔:core.go / recall.go 两处调用点切到 RerankPreferAPI(有 key 走模力方舟
bge-reranker-v2-m3,分批 25 + 硬超时;失败降级向量 cosine);成功路径补日志
(失败才有日志 => 「有没有真调用」只能靠延迟猜,上次就是这么漏掉的)。

主尺实测(84 DA 题,no_cache,同窗口 on→off→on,漂移 0.0000):
  off 0.2639 → on 0.5258(+0.2619 / +99%),35 题变好 / 6 题变差。
降级实测:endpoint 指死端口 ⇒ 召回仍返回结果 + 日志『降级向量 cosine』。
部署:zhiyid-20261116-rerankapi2,drop-in zzzzzzzzz-rerankapi-20261116.conf
2026-11-16 19:52:31 +08:00
xiaoyi af0dce7b82 fix(recall): no_cache 是真空参 —— 实现缓存失效,否则评测/复核读到旧排序
事故:调用方以为传 no_cache 能绕缓存,但 Go 侧全仓 grep 0 命中该参数 ⇒ 仍读 SearchCache。
实测同一个 query 三次返回逐字相同、cache_hit=true、candidates_scanned=0。
后果:20 题评测连续多个 tag 读到同一份缓存结果,据此得出「排序改动无效」的假结论;
把 cache 失效后同一个 query 的 top1 立刻变成正确答案。

修:请求体加 NoCache 字段,命名空间解析后调 SearchCacheInstance.Invalidate(ns)。
验证:同 query 连发两次 cache_hit=false、candidates_scanned=200;顺带 rerank floor
ZHIYI_RERANK_N_FLOOR=100(此前 topK*2 二次截断把 cosine #60 的画像记忆切掉)。
2026-11-16 17:36:44 +08:00
xiaoyi 5b2587d159 feat(recall): 具体性加权补两类降权 —— 任务流水 + 系统流水
事故:关系类查询 top1 被「牧尘与小怡讨论了任务t_a50e04f0」霸占。根因不是相似度,
是 reSpecCode 把 task/t_a50e04f0 当代码锚点 ⇒ anchors=2 ⇒ ×1.2 被**加权**。
修:
- 数锚点前先抹掉 t_[0-9a-f]{8,}(流水号不是知识)
- 「讨论了/完成任务t_xxx」句 ⇒ ×0.4
- cron 通知/任务回执/提醒条目(收到了一条 / 触发:cron / 任务(ID: / 运行于 N)
  ⇒ ×0.4;有效知识(cron 投递要写 feishu:oc_xxx)不误伤(单测锁)

单测 3 个(specificity_test.go):任务流水降权 / 短句人主语降权 / 含锚点加权 /
系统流水降权 / 有效知识不误伤 / gate off 逐位等价。
实测:『牧尘讨厌我做什么』top1 从「讨论了任务t_a50e04f0」变为真实事件句。
2026-11-16 16:42:11 +08:00
xiaoyi 2948d86b24 fix(zhiyi): meta-note 闸门对「仅引用记忆编号的对话回合」误杀
事故(2026-11-16 15:58 日志实测):助手回复里出现 mem_xxx ⇒ 整条 episode 被
422 'meta-note rejected: strong:mem_id' 拒写;紧接着 auto-distill 同一闸门再拒一次。
后果:跟牧尘讨论记忆系统的整段对话 0 条落盘,蒸馏永远拿不到「人话」。

修复(两处,判据刻意收窄):
- Commit (core.go):reason 恰为 strong:mem_id 且内容以「用户: 」开头 ⇒ 放行并打日志
- AutoDistillTrigger (auto_distill.go):同口径,否则 episode 存了却永不蒸馏
- 系统诊断/日志仍照旧拒;metanote parity 差分测试通过

验证(A/B,A 200 写库、B 仍 422):
  A 对话回合含 mem_id → episode_id/ep_1794816274634939551 → distill facts=1 → memories derived_from 命中
  B '[诊断] mem_xxx 权重异常' → 422 meta-note rejected: strong:mem_id
测试:go build ./... 通过;./internal/api/routes 15.5s ok;./internal/metanote ok
2026-11-16 16:05:54 +08:00
xiaoyi 944341ffb0 fix(build,embed): 修 metrics.go 冲突标记 + 嵌入端点默认值统一到 8001
1) metrics.go 里残留 git 冲突标记(<<<<<<< Updated upstream / ======= / >>>>>>> Stashed changes)
   + 4 个指标的重复声明/重复注册 → 整个 internal/metrics 包编译失败。
   实际是上个提交 57d6e15 把工作树里未解决的 stash 冲突原样提交了(我的失误:commit 前用
   'go build | head' 判断,exit code 被管道掩码,看着是 0)。
   解决:删重复块,保留 AnchorGateBlocksTotal / DistillFailureTotal(新指标)。

2) bge-embed 已从 8000 迁到 8001(BGE_PORT=8001),代码默认值没跟上:
   - storage/embedder.go: 新增 DefaultEmbedEndpoint()(VLLM_ENDPOINT → BGE_EMBED_URL → 8001)
   - api/routes/skillref.go: 兜底 8000 → 8001
   修复前:./internal/api/routes 6 个 recall 测试 connection refused 到死端口。
   修复后:routes / storage / distill 三包全绿,go build ./... 通过。
2026-11-16 14:55:53 +08:00
xiaoyi 57d6e15a27 fix(guard): t_661b3336 锚点闸门 v5(影子默认)+ 空壳来源定位;补 Cargo 引用的 3 个只读扫描 bin 源码(.gitignore 的 bin/ 会吞掉它们)
- distill/payload_guard.go: IsAnchorGateEmptyShell / AnchorGateCheck(enabled:false 影子模式,命中只记日志+计数)
- api/server.go 写路径接入 + metrics zhiyi_distill_anchor_gate_blocks_total / zhiyi_distill_failure_total
- rust/src/bin/{relscan,epscan,tblprobe}.rs 强制入库(Cargo.toml 已引用,否则新克隆构建失败)
- 空壳来源:category=wiki 的文档表格行被当对话蒸馏(蒸馏不读 Category)
2026-11-16 14:47:19 +08:00
xiao-yi-dev 14f321b73b feat(rust): t_dcad48e4 补 qs-dist 工具源码(耐久位 rust/src/bin/qs_dist.rs + Cargo.toml [[bin]])
qs-dist 是 t_e5cdc25c 的 Overall(quality_score) 真实分布全表扫描工具,
原在 scratch 工作区编译、跑完即丢。本卡任务③要求源码落到耐久位,
现补到 rust/src/bin/qs_dist.rs + Cargo.toml 新增 [[bin]] 条目。

验证:cargo build --release --bin qs-dist EXIT=0;
运行输出 N=46067, NULL=0, LIVE N=44107, reliable=33997(77.1%),
fallback(0)=6633(15.0%), echo755=3477(7.9%);
overall-dist-recalc.py 复算校验 reliable+zeros+echo755==N(44107) True。

数据漂移(预期内):worker N=46023 → now N=46067(+44 行新增)。
2026-11-16 13:04:41 +08:00
xiao-yi-dev a4e15aa4f1 refactor(metrics): t_dcad48e4 摘除 avg_distill_loss 值键(deprecated 桶无写入者,值冻结 0.35 必被误读)
- selfoptimize.go Metrics():删 avg_distill_loss 值键;保留墓碑键 avg_distill_loss_deprecated=1
  + 分母 _samples/_valid(复算用)。avgDistillLoss() 辅助函数一并删除。
- tuning.go 消费端:低召回+高loss 分支改读 distill_loss_llm(语义正确的拆分三源)。
- metrics_contract.go 契约表:avg_distill_loss 行标注「值键已摘除,读下方三拆分指标」。
- 测试全量对齐:selfoptimize_test / metrics_na_test / metrics_contract_test /
  executor_na_test / tuning_analytics_test / tuning_guard_test。
- server.go / 注释同步。
- 验证:go build EXIT=0;go test ./internal/selfoptimize/... ok;
  routes 指标相关测试 ok(TestRecall_* 为 pre-existing 测试序故障,与本次无关,stash 后 HEAD 同样 FAIL)。
2026-11-16 13:01:35 +08:00
小唯 515e77e9ce fix(metrics): 拆口径 avg_distill_loss 三来源 + Overall 真实分布 + dashboard 标 stub
t_e5cdc25c 织忆指标口径修复:
① 交付 Overall 真实分布复算脚本 ~/.hermes/scripts/tools/overall-dist-recalc.py
   (本机无 Python lancedb,改用 Rust 只读工具 qs-dist 全表扫描 46023 行;
   字段缺失=0,fallback(==0)=15.0%,历史bug(0.755)=7.9%,可信=77.1%)
② 拆 avg_distill_loss 混算:新增 distill_loss_llm / merge_ratio_loss /
   quality_backtrace_loss 三独立指标(各带 _count/_valid/_sum),avg_distill_loss
   保留但标 deprecated=1、不再作为可信尺子;server.go 三调用点迁移到来源专属 Record。
   契约测试 metrics_contract_test.go 增 TestContract_DistillLossSplitThreeSources
   验证三来源互不串桶 + sum/count 可复算。go test ./internal/selfoptimize/ 全绿。
③ DashboardSnapshot 6 硬编码值标 dashboard_stub=true(serde default=true 保守),
   逐点注释说明:previous_metrics 恒 None ⇒ 退化判定链路死路;Go consolidate::Result
   不读 dashboard/degradation 字段 ⇒ 硬编码值不流入 Go 自优化/调参/告警。

不改蒸馏逻辑(engine.go 评分权重不动);不重启 zhiyid、不改生产 env。
2026-11-16 11:52:22 +08:00
小怡 7360c809f6 feat(rrf): 词面名次上限旋钮(recall-rrf.ftsmax),默认 0=不限
实测三档(84 DA 题配对,漂移 0.0000):
- 不限(当前生产): Δ+0.0655, 8涨/2跌, 单题最差 -0.5
- ftsmax=5       : Δ+0.0060, 1涨/0跌, 最差 0.0
⇒ 上限能消掉丢分,但把增益也几乎消掉;保留为调参旋钮,默认不限
2026-11-12 23:40:24 +08:00
小怡 71bddf3feb feat(distill): 冲突判据属性键归一 — 削中文动词噪声 + 后缀包含匹配
- normalizeCJKAttrKey: 「API端口被指定为」与「API端口为」归一到同一属性键
  (实测漏判来源:同事实两次蒸馏用词不同 ⇒ 键对不上 ⇒ 该合的没合)
- sameAttrDiffValue: 键匹配三档(完全相同 / 中文后缀包含且短键≥3字 / ASCII 不看后缀)
  宁漏勿误:port 与 api_port 语义不同,不参与后缀匹配
- 单测:internal/distill 全绿(1.588s)
2026-11-12 23:31:57 +08:00
小怡 ce7a06f599 feat(recall): RRF 观察期落地 — 缓存键带排序变体 + 保位条数文件热调
- fix(cache): cacheKey 追加 rankVariant,修「off/on 间隔 0.5s 时 on 组吃到
  off 组 60s 缓存 ⇒ 84 题 A/B 全程零差异」的量具自欺(真凶,非 RRF 无效)
- feat(rrf): 保位条数支持 /var/lib/memoryweave/recall-rrf.hold 文件热调,
  避免每组对照都要重启生产
- 实测(84 DA 题,同窗口配对 off→on→off):hold=2 Δ+0.0655 / hold=3 Δ+0.0615,
  漂移 0.0000;8 涨 2 跌,单题最差 −0.5(1 条 DA)
2026-11-12 23:14:56 +08:00
小怡 7be39288e8 feat(recall): RRF 秩级融合(向量秩 × BM25 词面秩)——默认关,flag 文件热切换
- rrf.go: RRFReorder 只做秩级融合,前 hold 名保位(结构性 worst-case 兜底)
- recall.go: 词面名次全量收集(含向量池已命中项);开启时融合池取 topK*2
- 门控: ZHIYI_RRF=1 或 /var/lib/memoryweave/recall-rrf.on,每请求读 ⇒ A/B/A 免重启
- 单测 6 个:门控三态/名次/保位/跨名次取胜语义/noop 契约
2026-11-12 22:46:21 +08:00
小怡 754437b5bf feat(supersede): 确定性版本取代链路接通 — 同主体+同属性+不同取值才顶旧版 (存真去伪阶段3)
背景:memories 表 supersedes/superseded_by 两列全为 '[]'(44,934 行零使用),
旧 IP/旧端口/旧版本号/旧规则永远和新值并存 ⇒ 注入可能取到错的。
写时四算子 2026-11-10 退役(LLM 判定 ADD 98%/UPDATE 1%),合并能力实际关闭。

本笔:
- 新增 internal/distill/supersede.go:SupersedeMode(off|shadow|apply,默认 off) +
  FindSupersedeTarget(复用 conflict_gate.SameAttrValueConflict,零 LLM/零新依赖)
- 保护:sim<0.80 不判、tier=core 不顶、已是旧版不二次标记、每条最多顶 1 条
- server.go 蒸馏写路径接上:shadow 只打日志;apply 才写 freshness=superseded
  + superseded_by + valid_to
- 6 个单测(判准/同值不判/低相似不判/core 保护/不二次标记/门控默认 off)

生产部署:ZHIYI_SUPERSEDE=shadow(只留痕),观察 2-3 天判准率 >90% 再切 apply。
2026-11-11 22:50:36 +08:00
小唯 c5ff3b8937 fix(autolabel): 覆盖率同窗口(7d/7d) — cutoff参数化 + neg标签钉死7d窗口 (t_832c60ff返修2) 2026-11-10 18:28:42 +08:00
小唯 eb93983225 feat(autolabel): 反馈覆盖自动正/负样本标注链路 — mem_口径+覆盖率AC1纠错 (t_77744b71)
返修 t_132cfa76 三硬伤 #2/#3/#1:
- AC2 持久化实现:internal/feedback/autolabel 正式代码路径(纯函数判据 + usage_track.db ro 读 + hit_events 经 LanceDB 落库 + 幂等游标),含单测 12 个全绿。env 门控 ZHIYI_AUTO_LABEL(缺省关/shadow=只计数不写)。
- AC1 口径纠错:覆盖率 = (posU ∪ negU)/distinct(usage_recall 7d mem_%),Report.CoveragePct 唯一实现。禁止把 inject-outcomes 注入率当覆盖率。
- AC3 扩量实测(shadow 扫生产):pos=2264 + neg=1546 ⇒ 覆盖率 21.0%(分母 18186)/20.7%(小怡分母18371),达 ≥20%。实测发现原卡 neg=356 是错数 —— 混了 4104 条 n_图谱节点 + 只扫部分窗口;正式链路钉死 mem_% 口径后真实 neg=1546。
- 新增 HitReason auto_soft_inject/inject_pass/repeat_gone/expire_unuse 枚举 + 归一顺序纪律(子串互咬单测钉死)。

不部署:无二进制/drop-in/重启,仅源码+测试。usage_track.db 全程 mode=ro。
2026-11-10 17:21:12 +08:00
小唯 978d633e10 feat(metrics): 四指标定性契约 — deprecated_total=死路/rate 恒-1=样本不足 统一 null 语义 (t_ade9f695) 2026-11-10 14:13:36 +08:00
小唯 07599f0a22 feat(distill): 硬规则拒绝可观测 rejected_by_rule 真计数 + lane=drop 死路定性 (t_a513b870)
- AC1: HardRulesPass 拆出 HardRulesPassWithReason,拒绝分支登记并发安全计数
  (empty/too_short/chitchat/qa/sys_template/low_density/too_long 7 桶)
  + 至少一行 [GATE][REJECT] rule=<x> 日志;系统样板移入硬规则层,drop 只在硬规则层发生。
- AC2: rejected_by_rule 挂到已有 /api/v1/metrics(不开新端口),
  字段 rejected_by_rule / rejected_by_rule_<bucket> / entered_queue / gate_attempts;
  handler 主体抽成 routes.MetricsJSON 便于单测。
- AC3: 单测覆盖全部分桶 + 并发 200 + httptest 真实端点读回 JSON。
- AC4(a): 承认 lane=drop 不可达(硬规则更严先拦),保留分支加防御注释,闸门只走 keep/observe。
- 发现 chitchat 规则同样不可达(pattern 全 <10 字,恒被 too_short 先短路)→ 测试钉死。
- 未打二进制/未改 drop-in/未重启 zhiyid(二进制由小怡统一构建部署)。
2026-11-10 04:13:09 +08:00
小唯 88bdb010cf fix(api): recall/debug 的 diversity 默认值与生产 Recall 对齐
病根:RecallDebug 直接用 req.Diversity(缺省 0),而生产 Recall(core.go:613)
在 req.Diversity<=0 时回落 storage.DefaultMMRDiversity()(tune-state 实测推送 0.1)。
⇒ /recall/debug 报出的 mmr 行 diversity=0.0,与生产不同口径,诊断撒谎比没诊断更贵。

修法:与 Recall 完全同源的回落 —— 未显式传 diversity 时读同一个 storage 推送原子值,
不硬编码 0.1,调参器改了 debug 跟着变。

回归测试 recall_debug_diversity_test.go:未传→跟随推送值(0.1/0.42 各测,证非硬编码);
显式传→显式值优先(0.7)。复用同包 nsAwareRecallLance/fakeEmbedServer/ runRecallDebugHTTP。

验证:go test ./internal/api/routes/ -count=1 整包绿(修前修后 0 failed,失败数未增)。

回滚:git revert 本 commit(删 core.go 内 4 行回落 + 删 recall_debug_diversity_test.go)。
本 commit 只提交源码,未打二进制、未改 drop-in、未重启 zhiyid。

[task: t_f1ee22e5]
2026-11-10 04:01:28 +08:00
小唯 fba425af80 fix(recall/debug): 空结果分支补齐 query/count,响应契约两分支一致 (t_nsdebug-20261109)
诊断端点的两条早期返回(encode 失败 / 0 候选)只回 steps+results+total_ms,
缺 query 与 count ⇒ 消费方读 count 得 nil,与正常分支形状不同(又一次「诊断自成一派」)。
测试:ghost ns 用例改为断言 count 键**必须存在**且为 0。
2026-11-09 19:49:02 +08:00
小唯 3f4e00dac7 fix(recall): debug 端点补 ghost-ns 闸 — 与生产同判据,诊断不再撒谎 (t_nsdebug-20261109)
生产 /api/v1/recall 已于 t_15d82af7 + t_a243aefa(11-07)修好:ghost ns ⇒ 0 条。
但 /api/v1/recall/debug 自带一套 nsList,仍无条件并 shared ⇒ 实测 ghost ns 报
"5 candidates from 2 namespaces"、返回 5 条 —— 诊断端点与生产不同判据。

改:nsList 并 shared 前过 storage.NamespaceHasRowsFor(与 recall.go 同一判据 + 同一 60s 缓存);
    0 候选分支的 detail 补 "from N namespaces"(否则看不出搜了几个 ns)。
测试:internal/api/routes/nsdebug_ghost_test.go 2 例(ghost ⇒ 0;真实 ns 仍 2 namespaces)。
RED 已验:修前 ghost ns count=2(sh_1/sh_2)。
2026-11-09 19:46:49 +08:00
小唯 15a224f1c6 fix(metrics): deprecated 计数器持久化三件套 — persist 补 total/date + load 回读 + 跨天归零 (t_4bbddae6)
已随 zhiyid-depcount-20261109 部署(11-09 09:32),本次补提交记录,避免
「跑着的二进制含未提交代码」导致重建即丢修复。
回滚:drop-in zz-depcount-20261109.conf 删除 + restart ⇒ 回 zhiyid-head-b5a6f45。
2026-11-09 19:46:49 +08:00
小唯 58b196ae25 fix(skillgen): L3 草稿按证据主题簇生成 — bge-m3 聚类+最大簇门+簇快照头,禁跨主题拼接 (t_45677e64)
病根: 78条不同主题记忆全塞LLM→跨主题拼接成大杂烩(小怡抽2条全废)。
修法:
- cluster.go: BGEClusterer(bge-m3余弦贪心)+最大簇选择+纯函数clusterByCosine(确定性)
- DraftSkillClustered: 只对最大簇(≥3条)生成; 簇不足拒绝(宁缺毋滥); 溯源证据集=簇
- 草稿头嵌 cluster_id+簇内证据id+一句话簇主题(人审)
- generator: prompt禁抄红线规则+空占位省略+sanitizeDraft去污染
- store: MarkAllStale() 重生成前作废旧draft; PutDraft支持stale→draft复活
- probe/server: 生产装配BGEClusterer; 重生成前标stale
实测: 8 pattern过L3→聚类后4条同主题簇生成(4条因最大簇<3诚实拒) draft4/stale4/active0; 召回基线top5不变
2026-11-09 03:08:17 +08:00
小唯 d95245f45c feat(zhiyi): L2 扩语义 task_seq + discipline — tool_combo 之外两类新 pattern(t_751a6739)
DetectFromRecords 只认工具组合共现,45,132 条蒸馏记忆仅 1 条过 0.85。
新增两类语义(internal/pattern/semantics.go,与 tool_combo 并列不替换):
- task_seq 任务型:诊断/修复/复验 关键词位置严格有序 first(诊断)<first(修复)<first(复验)
- discipline 纪律型:触发动作位置 < 连接词(前/先/之前) < 约束动作位置
两类都机器可判(无 LLM),conf 沿用 confidenceFromFreq 同口径。
扩展 IsValidPatternName 写闸接纳新命名键。改后过 0.85 从 1 → 8 条。
零行为变化:不碰召回路径,ZHIYI_PATTERN_RECALL 默认关。
2026-11-09 02:36:44 +08:00
小唯 185c0aff87 feat(skillgen): 草稿去幻觉(注入真实证据+命令可溯率100%校验)+ 溯源快照 + 证据提供者 (t_9ccbca15)
D1 溯源: 草稿头嵌 PatternSnapshot(source_pattern+evidence ids+created_at),
  单行技能可单向追到 episode;source_pattern 可回查 graph_nodes.id。
D2 反幻觉: Generator.Generate(p, ev) 注入 ≥3 条真实 episode 原文;
  VerifyEvidenceTrace 抽命令/路径/包名 token 在证据里 grep,<100% 拒绝落盘。
  新增 LanceEvidenceProvider(GetRecordByID IPC) + Fake 确定性提供者。
D3 样本: 阈值 0.85 不动;全表扫描证明仅 1 pattern(hermes+python) 过闸。
零召回变化: 未碰 recall 代码;3 条基线 top5 逐条一致。全 draft 无 promote。
2026-11-09 01:39:44 +08:00
小唯 a430a2b602 feat(skillgen): SkillEvaluator 四维评估器 + SkillEvolver 接口 + 规则过滤差距分析探针 (t_4594b632) 2026-11-09 01:12:49 +08:00
小唯 714df5d2a8 feat(zhiyi): L2全表检测探针 (t_d8830204) — 打通 L2 pattern 0行→非0 与 L3 草稿生成
背景:POST /patterns/detect 被 lancedb_scan 硬限 5000 且 DetectFromRecords 默认 MaxRecords=500
(物理序前500条是'不幸窗口'检出0)→ 已有 pattern-detect-daily cron(limit=500) 空转,graph_nodes
type='pattern' 恒 0。本探针走 sidecar IPC lancedb_scan_all(无5000上限)+ 全表 MaxRecords + 诚实阈值:
L2 conf>=0.5 写 graph_nodes(type='pattern',ns=daemon-distill),L3 conf>=0.85 才出草稿到
attachments/<pattern>/skill-draft.md([AUTO-DRAFT]标记,status=draft,绝不自动promote)。
-cwrite 才落库,默认 dry-run。

实测(全表45227行/distilled45096):6个tool_combo,仅 hermes+python (conf=1.0,13源) 过 L2/L3 双闸。
写库后 graph_nodes pattern 0→1, skills 0→1(draft);召回 top5 10query 前后逐位一致(零行为变化)。
本地2B(8081)生成草稿落盘。
2026-11-09 00:13:34 +08:00
小唯 6cbc49ca0e fix(recall): E4.2 跨ns共享兜底补 ghost-ns 判据 — 修复传不存在的 ns 仍经 shared 补充搜泄漏
t_a243aefa 终审在**生产部署后实测**发现:传 ghost ns 仍返回 1 条 channel=shared 记忆
(mem_1793118290141936234, score=0.5 固定值)。根因 = core.go:724 E4.2「结果数 <3 时
补搜 shared」这一段没有 nsHasRows 判据 —— t_15d82af7 只修了 recall.go 的 namespaces
列表和 FTS 尾通道两处,漏了路由层这第三处。

判据与另两处对齐:storage.NamespaceHasRowsFor(与 recall.go 同一个函数,带 60s TTL 缓存)。
ghost ns ⇒ 不补搜;真实 ns ⇒ 行为逐位不变(回归测试 + go test 两包全绿)。
2026-11-07 06:05:40 +08:00
小唯 b5a6f4536e perf(recall): namespaceHasRows 加 60s TTL 缓存(复用 RedisCache,t_a243aefa 终审)— ScanAll 每次带 ns 召回全表读 ⇒ 同 query 集 p50 2.13s→0.39s 2026-11-07 05:00:12 +08:00
小唯 199608a7d3 feat(intention-ttl): 意图 TTL — intention 类 + expires_at 跨五层落盘 + 过期负分降档(非删除,ZHIYI_INTENTION_TTL 门控)
- Go model/IPC/FTS 通道/SQLite/API 写入(RFC3339 严判 400)+ Rust struct/schema/builder/6×读侧 col_str
- recall 降档块在 MMR 之前(选择与展示共用同一套分数),过期 intention rerank 分置 -1 → 展示分 -0.445
- 关态 intentionExpired 恒 false ⇒ 降档块零赋值;AC2 HEAD vs 新版同库同 sidecar 现采基线 fresh 逐位一致
- 单测:关态逐位/开态下沉且在场/负分压过全部正常分/纯度(他类、未过期、空=永久)
- 回滚:env 置 0 或 unset(每调用读 env,无需重启);磁盘列 additive 保留不删

t_88cc9cb8
2026-11-07 04:09:06 +08:00
小唯 d5b82d5b19 feat(distill): 经验层 category=experience 灰控落地(默认关,t_2595b626)
- experience_gate.go 新增:env 门控 ZHIYI_DISTILL_EXPERIENCE(启动读一次,同 density_gate 写法)、
  ExperienceRecord{Task,Solution,Boundary}(无 confidence 自评,质量复用五维 overall/VD/RU)、
  独立 prompt 附加常量(1157B,拼在 outFmt 之后)、ParseExperienceLine(4 段硬约束 + 反回显)、
  ExperienceGrounded(反张冠李戴:task 对象名必须在 episode 原文有影子,确定性零 LLM)
- engine/parser/server 接线:关态条件短路不可达 ⇒ 关态 prompt 逐字节不变
  (sha256 三臂一致:head-off==tree-off=49295e70…,开态=关态+1157B)
- score_cache 门控开时加 \x00experience-v1 后缀,防旧 prompt 缓存短路灰度
- 落库:接地闸 → 近重复跳过(cosine≥0.98)→ 写现成 category=experience(不造新表/新列)

实测(40 条真实工作笔记,本地 2B):EXP 行出现 32/40=80%,但过格式闸仅 2/40=5%
⇒ 2B 会写 EXP 内容但用自然语言衔接、不拆竖线三段,属能力边界。故**默认关,未部署未 push**。
go test ./internal/distill/ ./internal/api/routes/ -count=1 全绿
2026-11-07 02:41:33 +08:00
小唯 0a05014a35 feat(memory-raw): 原文层下钻 — GET /api/v1/memory/{id}/raw + GetRecordByID 三层后端 + Rust get_by_id IPC + 插件 memory_raw 工具 (t_0f1d7be9)
- recall 响应带 derived_from 指针(既有列已直通,补回归闸门防回退)
- 新端点三态:200+raw_text / 200+no_provenance / 200+episode_missing / 404 memory_not_found / 503 存储故障(禁静默空)
- LanceDB 接口加 GetRecordByID(table,id):Rust IPC(lancedb_get_by_id 单行读,旧 sidecar 未升级=显式 error 不冒充不存在)/ SQLite / 内存三后端
- 旧实例同库同查询对比:recall 字段集合与结果顺序逐位不变(只多 derived_from 键)
- raw_text 4000 rune 截断标注;插件 memory_raw(id) 2000 字符截断标注,旧服务端 unsupported 显式区分
- 测试:memory_raw 路由 6 例 + IPC 契约 3 例(旧 sidecar 防静默 no-op)+ E2E 模板(ZHIYI_RAW_E2E_SOCK)+ 字段集合闸门
- 量化:30 条带指针样本经新端点取回 28/30(2 条=episode_missing 真实缺原文);28/28 原文含结论所无的数字/标识符
2026-11-06 23:56:22 +08:00
小唯 02bdfb572e fix(recall): namespace 检索侧过滤失效修复 — ghost-ns 判据=ScanAll 全量表行存在性,与生产 IPC 客户端过滤同口径;ghost ns 不并 shared/不放行 shared FTS 尾部位/不补 wiki;真实 ns [ns,shared] 与全库路径逐位不变 + 三态回归用例 (t_15d82af7) 2026-11-06 22:49:47 +08:00
xiaoyi dc2b9db683 feat(distill,recall): 蒸馏粒度三档 + skill 分节召回增强(t_afacc477,本地未部署)
- distill: ZHIYI_DISTILL_MODE 三档(current/context/merged)+ ZHIYI_DISTILL_CAP 可配
- distill: 信息密度灰度门 ZHIYI_DISTILL_DENSITY(默认关,关态 prompt 逐字节不变)
- recall: skillref 方案二,skill 文档进召回(新增 routes/skillref.go)
- memory: DerivedFrom 原文指针(derived_from 列),供回溯原始 episode
- 验证: go build ./... 通过 / go test storage+distill+routes 全 ok
- gitea 推送暂缓(家里服务器维修中)
2026-11-06 21:25:46 +08:00
小唯 8cd3793336 feat(recall): B1 第二路 skill 分节检索 skill_refs(t_e3f5cb79)
- routes/skillrefs.go:~/.hermes/skills/**/*.md 分节索引(H2~H4),
  BM25(k1=1.5,b=0.75) + 停用字过滤 + 微型领域同义/中英扩展表 +
  行级共现(最佳行主导)+ 文件名主题先验 + SKILL.md 权威先验;
  纯 stdlib 零新依赖;索引 37k 节 ~300ms,10min 懒重建
- /api/v1/recall 响应新增顶层 skill_refs:[{path,snippet,matched}](n=5),
  memories(results) 结构一字不动,两路不混排;键恒存在(含 system_template 早退路径)
- 开关 ZHIYI_RECALL_SKILLREFS 默认关;ZHIYI_SKILLS_DIR 可覆盖索引源
- 测试:开关语义/停用词/fixture 形状 + 真实语料 AC-2.3 探针①②
  (缓存层→含 RedisCache 的 misc-topics.md;Go Rust 启动顺序→含
  「先 Go」的 zhiyi-deploy-and-metrics.md)
- 调试教训:自造线性权重在真实语料被疑问句共现带偏 → 换 BM25;
  线性行累加让目录页刷分 → 最佳行主导
2026-11-03 03:07:34 +08:00
小唯 d8c525b544 feat(write-ops): A2 真矛盾判据门 + MarkConflict 双向指针(t_e3f5cb79)
- SameAttrValueConflict:同主体+同属性+不同取值(ASCII/CJK 属性-取值对 +
  governance.IsContradiction 否定对立复用),判不出=假,宁漏勿误
- JudgeWriteOp 出口:任何来源 CONFLICT-MARK 必须过门,不过门降级
  UPDATE(sim≥更新阈值)/ ADD(幻觉 TargetID 同样拦下)
- MarkConflict(oldID,newID):旧行 freshness=superseded + superseded_by=[新id];
  新行插入带 supersedes=[旧id](沿用既有字段,禁造新字段;不置 is_deleted)
- 回归 AC-1.3:testdata/conflict_stock_20261102.json(24 条 conflict 存量 +
  top3 对手句,人工判读 0/24 真矛盾)→ 72 对新判据真矛盾计数=0;
  正例对照 3/3(防恒 false 作弊)
- 依据:2026-10-31 方案 11-02 验证节;旧判据=相似检测器 100% 误报
2026-11-03 02:02:00 +08:00
小唯 93a11c2fb7 fix(core): 翻页令牌判据改看主路段 mainLen;carry 只在第一页(t_2891d689)
1774c31 把 carry 从切片里救出来之后,handler 的 nextCont 判据
`len(results) == req.Limit` 变成只要有 carry 命中就恒假 ⇒ nextCont 恒空,
带 pattern/peer 注入的 query 翻页链断裂(客户端拿不到 continuation,
第二页永远取不到)。与它修的行(carry 被切)同型、方向相反。
现 80/81 两个 conf.disabled 停着 carry 恒空所以没暴雷;一启用就翻不动。

两处修订:
① 判据收口 shouldEmitContinuation(totalFetched, fetchLimit, mainLen,
   limit, offset),看 paginateRecallWithCarry 新返回的主路段长度
   mainLen,不看 len(results)。保持 == 不用 >=:主路段未满一页
   (offset 越界/尾页不满)不得错发令牌。
② carry 只在第一页回尾:offset>0 的续页只回主路段。carry 的 ID 在
   第一页已随 returned 记进令牌 prev,续页再带必然逐页重复,
   等于把去重成本转嫁给客户端。

测试:
- 新增 TestContinuationIssuedWithCarry(AC1:limit=5+1carry+满取数
  ⇒ nextCont != "",并锁死页形 len>limit 以覆盖旧病灶)
- 新增 TestCarryOnlyOnFirstPageAcrossPages(AC2:4 页链,续页无 carry、
  主路段推进,尾页不满不发令牌)
- 新增 TestNoContinuationOnEmptyOrShortMainPage(AC3:越界空页不发令牌;
  4主+1carry 撑满 len==limit 也不发 —— 钉死判据看 mainLen)
- 既有 TestPaginateRecallWithCarry 6 例全绿;其中 ⑤「续页carry回尾」
  断言按本卡产品决定反转(原断言锁死的正是被改掉的每页重复 carry)
- 关态(无 carry)与 1774c31 差分:54 组 offset×prev×limit 探针输出
  (页内容+令牌发放)diff 为空,逐位 delta=0
- routes 全包失败集与 1774c31 基线逐位一致(3 个预存在 pattern/skillgen
  失败,非本改动引入);go build ./... OK
2026-11-02 21:45:39 +08:00
小唯 1774c310b1 fix(core): P0-3 翻页切片豁免 pattern/peer carry(t_58f9d476)
capRecallResults 把 pattern/peer carry 恒保留追加在 prim 之后(回填保证
主+扩展填满 limit ⇒ carry 恒在索引 limit 处),紧随的 P0-3 裸
results[:req.Limit] 把它恒切掉 —— t_e98cb1d6 的 carry 修复被作废,
ZHIYI_PEER_RECALL 结构性零产出(dbg 插桩实证注入发生 4087→4088 但响应无 peer)。

修法:翻页逻辑抽成纯函数 paginateRecallWithCarry —— carry(Category ∈
{pattern,peer},判据与 capRecallResults 同源)先摘出 → 主路段照旧做
offset 切片/prevIDs 去重/[:limit] 截断 → 最后把 carry 回尾。
关态(无 carry)与旧内联逻辑逐位 delta=0;主路段 ≤ limit 语义不变(t_9025b0eb)。

回归 TestPaginateRecallWithCarry(6 例):limit=5/50 末位 peer 存活、
pattern+peer 全存活、关态逐位一致、offset 越界空页、续页 carry 回尾、
端到端 cap→paginate 链路。全部既有测试绿(routes 失败集与 HEAD 逐位一致,
仅 3 个 pattern 预存在失败,非本改动引入)。

影子双臂(修复版二进制,独立数据副本+sidecar/redis/PORT):含 peer_id
query 在 limit=5/50 响应末位现 peer:muc;金标 20 query diff top1 翻转 0、
top5 主路丢失 0、主路顺序破坏 0,7 条 peer 注入全存活且 trigger_hit;
off 臂与生产活体 3/3 top1+主路 top5 逐位一致。
生产零改动(未部署未重启,prod :7821 health=200)。
2026-11-02 21:07:19 +08:00
小唯 75abce7cca fix(graph): Prune 孤点删除加 14d 宽限期 + 删除前预告日志(t_31bb2992,从悬空 commit 17dc39fc 摘回)
17dc39fc 原提交不在任何分支(悬空),工作树/二进制均未包含该修复;
本次原样 cherry-pick 到 feature/knowledge-form 并提交。
- ZHIYI_GRAPH_PRUNE_GRACE_DAYS 默认 14(0=逃生阀回旧行为)
- 删除前 log will-delete 计数 + 5 样本
- 单测 TestPruneGracePeriod_OrphanSurvival / TestPruneLogsOrphanDeletionPreview PASS
2026-11-02 19:59:58 +08:00
小怡 826272f981 feat(graph): 合成边停写门 ZHIYI_GRAPH_AUTO_SYNTH(默认 0 = 停写 uses/related_to/configures/CO_OCCURS)
理由(实测 2026-11-02):
- graph.db 622,804 边中这 4 类占 619,825(99.5%,CO_OCCURS 284,020 / uses 222,471 / related_to 101,429 / configures 11,905)
- 400 条真实 query 抽样噪声率 88.5%;全库 retrieval_count>0 = 0 条(从未被消费加权)
- 写侧仍在长:16:44 622,398 → 17:48 622,804(+406/h,今日 +4,530)

改动:UpdateFromDistill §2a/§2b 加门(默认关);节点(§1)与确定性边(§3 CONFLICTS_WITH 等)不受影响;
RecordCoOccurrence 同样门控。恢复 = ZHIYI_GRAPH_AUTO_SYNTH=1(逐位回到改动前)。
测试:governance 包全绿;新增门关用例断言新增边=0 且节点仍创建(既有用例经 TestMain 保持开门语义)。
2026-11-02 17:52:59 +08:00
小唯 3102be6f65 fix(vprop): persistVProp 改增量写,消除每次 recall 9530 次 Redis 往返(p50 192ms→4.2ms)
根因:persistVProp() 全量遍历 decisions(7592)+memVValues(1938),每条一次 HSET,
且在全局写锁内 ⇒ 单次 recall 9530 次往返≈133ms,随运行时长线性恶化。
修法:只写本次 decision + 本次引用的 memVValues(语义等价,历史条目已在 Redis)。
2026-11-01 12:41:06 +08:00
小唯 7870b849cc t_ab5b2461 density prompt: strengthen self-contained merge directive 2026-10-31 01:10:40 +08:00
小唯 afdab8fb6b fix(pattern): workflow branch default-retired - memory body no longer emitted as pattern Data (t_639c5a03 round3, Path B)
Round3 review: data source (LanceDB memory body text) has no parseable structured
tool_use sequence; DetectFromRecords guessing tool combos from natural language =
cooking without ingredients. Path A (structured tool_use) proven absent: MemoryRecord
0 tool fields, episodes/hit_events schema no tool field, Scan projects no tool col.
Decided Path B (honest retirement).

This commit = retirement hygiene: workflow branch emits cluster-longest body as Data
(120-char cut) producing 'whole-sentence memory conf=1.0' pseudo-pattern, violating
hard constraint 'memory body must not be pattern name'.
- Config adds WorkflowPatterns, default false (channel retired)
- DetectFromRecords runs workflow clustering only when explicitly enabled
- unit test: TestDetect_WorkflowRetiredByDefault feeds the exact sentence from review => 0 pattern
- TestDetect_Workflow now opts into WorkflowPatterns=true (gate still verified)
tool_combo branch (whitelist-only + conf>=0.5 + >=2 sources) kept: returns 0 on this data, no pollution.
PATTERN_RECALL stays OFF (80-pattern-recall.conf.disabled-20261030 untouched, no env key).
2026-10-30 23:36:23 +08:00
小唯 3964f0332c feat(distill): density prompt 增段加中性 few-shot 合并示例(防抄真实脚本名) (t_ab5b2461) 2026-10-30 22:17:26 +08:00
小唯 7562714819 feat(distill): 信息密度判据——三项判据≥2 才保持 distilled,不足降级 observe(env ZHIYI_DISTILL_DENSITY 默认关) (t_ab5b2461) 2026-10-30 22:01:39 +08:00
hermes-prof-dev 99cb22ba93 fix(pattern): 二轮判据收紧——白名单唯一来源+通用词黑名单+hash/数值/目录碎片过滤+conf≥0.5写入门槛+组合≥2成员 (t_639c5a03)
小怡 2026-10-30 二轮裁定 5 条全落:
1. ExtractTools 移除'命令式标识'兜底(hash/uuid/目录/文件名碎片的进入路径),成员=knownTools 白名单唯一来源
2. genericTools 黑名单(git/go/curl/grep/bot-chat/mcp/api 等)即使形态合格也拒
3. isValidTool 新增 isHashFragment/isNumericUnitFragment/isNumberedDirName 形态闸
4. UpsertPatterns conf<0.5 一律不写(MinWriteConfidence)
5. tool_combo 需≥2成员(组合语义);IsValidPatternName 同步收紧
单测:junk 类别逐项回归 + 写入门槛 + 幂等/门限值钉死
2026-10-30 20:59:04 +08:00
小唯 5709af0bfa fix(pattern): detect 判据拒收垃圾工具组合 (.md/日期/标点) + 门槛≥2来源 + dry-run + 写入门闸 (t_639c5a03) 2026-10-30 20:04:31 +08:00
小唯 f178594402 fix(usage): 消费侧熔断根治——无窗积压计数改增量游标 (t_9143c968)
根因:CheckCommittedForUse 扫描前用无窗 count(consumed=0)>cap500 作熔断,
写入量涨至 40~200 万行/日后恒触发 ⇒ 10-19 起每 commit skip,consumed=0 已 8 天。

方案 A(增量游标,按卡体最终版):
- 删除无窗全表计数与整窗扫描;单轮代价 O(batch) 与表总量解耦
- expire 通道:出窗 pending 在线标 consumed=2(skipped_expired 留证据)
- retry 通道:退避到期失败行优先重试(t_20bfbd9a 退避语义不变)
- tail 游标:每次 commit 消费游标之上 ≤ZHIYI_USAGE_BATCH(默认200)行(DESC 先吃最新,因果对齐)
- sweep 游标:轮巡复查未消费行,到表尾回绕 0 并本轮补扫(保一次召回多 commit 逐个命中语义)
- TTL:consumed>=1 且 recalled_at<7d 分块删除(ZHIYI_USAGE_TTL_CHUNK 默认5000)
- ZHIYI_USAGE_BACKLOG_MAX 语义收窄:全表积压跳过 → 单次调用失败熔断
- usage_cursor 单行表 + 3 条部分索引(id,recalled_at WHERE consumed=0 等)
- 红线遵守:不动 FEEDBACK_BIAS/POS_MODE/K;不关 ZHIYI_USAGE_TRACK;commit P99 无涉(钩子本为异步)

测试:usage_cursor_test.go 5 例(AC5 窗口外1000+窗内1 / tail 有界+sweep 补齐 /
失败熔断替代 skip 的反证 / retry 通道 / expire+TTL);storage 包全量 ok
2026-10-30 18:47:09 +08:00
小唯 ca6be0063b feat(distill): 程序性步骤判据——how-to 蒸馏答案无步骤则降级 observe (t_3636b872 阶段4)
- IsHowToContent/IsOperationContent:运维/修复/排查/重启类触发词覆盖真实问法
- HasExecutableSteps:事实含命令/路径/序号/端口/动词短语即算有步骤(宁可宽不错杀)
- ProceduralStepVerdict:how-to 命中但事实无步骤 ⇒ 降级 observe;影子默认开(只记不真降)
- 接入 distillOne:lane 判定后对 how-to 内容做步骤校验,keep→observe 记录
- 测试:6 用例(纯元描述降级/含命令放行/含序号放行/非 how-to 不受影响/空答案降级/纯元长句降级)+ 影子语义 + 触发词覆盖

判据动机(t_3636b872 实测):库 83% <60 字、仅 10.2% 含可执行内容,how-to top5 全元描述;
本闸防后续回灌/蒸馏再产出纯元描述。
2026-10-28 07:12:29 +08:00