Commit Graph
16 Commits
Author SHA1 Message Date
xiaoyi 9c5ae69e1e refactor(graph): 退役知识形态门,只留读侧埋点 + 加 kgprobe 探针
退役依据(实测,非判断):影子期 5 次 [graph][kg-shadow] 命中的 source 全是
wiki:cron-anomaly 且 blocked_by_source=false —— 门放行的全是「本来就不挡」的来源;
它想放行的 worklog/空 source 属过程流水,本就不该进图 ⇒ 该门零增量。

同期真因查明(推翻 11-18 凌晨那版结论):图谱 11-16→11-18 零新增不是「实体抽取能力差」,
而是 zhiyid 三腿 LLM 端点全指已退役 :11435 → 64/64 次调用 connection refused →
静默降级启发式 → entities=0。端点切 8086 后单日 +34 节点、27/27 次蒸馏均有实体。
故不需要额外门,按「开关型机制只有两种终态」退役。

保留:[graph][read] 读侧埋点(navigate/query),用于回答「图有没有消费者」——
6h 实测外部 0 次,而 [graph/notes] 兜底拆实体 24h 80 次(走 entity_index,不经 navigate)。

新增 go/cmd/kgprobe:用真实 distill.DensitySatisfyCount 统计阈值分布
(实测 0项 63.9% / 1项 32.4% / 2项 3.7% / 3项 0%),供以后判断任何「信息密度门」可行性。
2026-11-18 08:52:43 +08:00
小唯 58b196ae25 fix(skillgen): L3 草稿按证据主题簇生成 — bge-m3 聚类+最大簇门+簇快照头,禁跨主题拼接 (t_45677e64)
病根: 78条不同主题记忆全塞LLM→跨主题拼接成大杂烩(小怡抽2条全废)。
修法:
- cluster.go: BGEClusterer(bge-m3余弦贪心)+最大簇选择+纯函数clusterByCosine(确定性)
- DraftSkillClustered: 只对最大簇(≥3条)生成; 簇不足拒绝(宁缺毋滥); 溯源证据集=簇
- 草稿头嵌 cluster_id+簇内证据id+一句话簇主题(人审)
- generator: prompt禁抄红线规则+空占位省略+sanitizeDraft去污染
- store: MarkAllStale() 重生成前作废旧draft; PutDraft支持stale→draft复活
- probe/server: 生产装配BGEClusterer; 重生成前标stale
实测: 8 pattern过L3→聚类后4条同主题簇生成(4条因最大簇<3诚实拒) draft4/stale4/active0; 召回基线top5不变
2026-11-09 03:08:17 +08:00
小唯 185c0aff87 feat(skillgen): 草稿去幻觉(注入真实证据+命令可溯率100%校验)+ 溯源快照 + 证据提供者 (t_9ccbca15)
D1 溯源: 草稿头嵌 PatternSnapshot(source_pattern+evidence ids+created_at),
  单行技能可单向追到 episode;source_pattern 可回查 graph_nodes.id。
D2 反幻觉: Generator.Generate(p, ev) 注入 ≥3 条真实 episode 原文;
  VerifyEvidenceTrace 抽命令/路径/包名 token 在证据里 grep,<100% 拒绝落盘。
  新增 LanceEvidenceProvider(GetRecordByID IPC) + Fake 确定性提供者。
D3 样本: 阈值 0.85 不动;全表扫描证明仅 1 pattern(hermes+python) 过闸。
零召回变化: 未碰 recall 代码;3 条基线 top5 逐条一致。全 draft 无 promote。
2026-11-09 01:39:44 +08:00
小唯 a430a2b602 feat(skillgen): SkillEvaluator 四维评估器 + SkillEvolver 接口 + 规则过滤差距分析探针 (t_4594b632) 2026-11-09 01:12:49 +08:00
小唯 714df5d2a8 feat(zhiyi): L2全表检测探针 (t_d8830204) — 打通 L2 pattern 0行→非0 与 L3 草稿生成
背景:POST /patterns/detect 被 lancedb_scan 硬限 5000 且 DetectFromRecords 默认 MaxRecords=500
(物理序前500条是'不幸窗口'检出0)→ 已有 pattern-detect-daily cron(limit=500) 空转,graph_nodes
type='pattern' 恒 0。本探针走 sidecar IPC lancedb_scan_all(无5000上限)+ 全表 MaxRecords + 诚实阈值:
L2 conf>=0.5 写 graph_nodes(type='pattern',ns=daemon-distill),L3 conf>=0.85 才出草稿到
attachments/<pattern>/skill-draft.md([AUTO-DRAFT]标记,status=draft,绝不自动promote)。
-cwrite 才落库,默认 dry-run。

实测(全表45227行/distilled45096):6个tool_combo,仅 hermes+python (conf=1.0,13源) 过 L2/L3 双闸。
写库后 graph_nodes pattern 0→1, skills 0→1(draft);召回 top5 10query 前后逐位一致(零行为变化)。
本地2B(8081)生成草稿落盘。
2026-11-09 00:13:34 +08:00
小唯 57bdf7fa03 feat(zhiyi): ②L2 模式检测+召回注入 (t_d32e5f8a) — 复活 L1→L2 pattern 蒸馏: 新 internal/pattern 包(工具组合频率≥3 + 路径 cosine≥0.85 聚类,设计§4.1)→ upsert graph_nodes(type='pattern',ns=daemon-distill)(与 85 存量同表不开新表·modernc sqlite 短命开/关·不碰 state.db); API POST /patterns/detect + GET /patterns + zhiyi-cli pattern detect/list(cron 可单发); 召回注入 env 门控 ZHIYI_PATTERN_RECALL 默认关⇒零行为变化; 单测 12 用例(detect5+store4+注入3+route4 含空库幂等)PASS; 零新依赖不碰 state.db 2026-10-14 01:44:39 +08:00
小唯 d2348eda43 feat(distill): t_2515307a 确定性判据强化——召回侧规则过滤/降权(env门控ZHIYI_RULE_FIRST默认关); RecallRuleVerdict复用quality.go+admission_lane规则+URL/路径强实体豁免; routes/core.go Recall按verdict过滤drop/降权demote; 单测16用例PASS; 影子探针rulefirst-probe/scan取证26drop+4demote; 零新依赖不碰state.db 2026-10-14 01:28:10 +08:00
小唯 cb450e9c9d feat(memoryweave): GA-P0-3 拆分 is_deleted 删除原因 → delete_reason 枚举(禁部署)
- 新增 delete_reason 固定枚举列(merge_dup/contradiction/manual/retention/unknown)
- LanceDB(Rust arrow_schema+MemoryRecord+read/insert) 与 sqlite 双侧 additive 同步
- 所有软删写入点统一归一化写 delete_reason:
  SoftDelete(manual/merge_dup/contradiction/retention) · SoftDeleteBatch(unknown)
  · PurgeInvalid(retention) · Rust soft_delete_batch(unknown)/purge_invalid(retention)
- 新增 lancedb_scan_deleted IPC + Go ScanDeleted:存量已删行回填工具枚举用
- 回填工具 go/cmd/backfill_deletereason(dry-run 默认)+ 单测 7 例(每 reason≥1 写入用例)
- 直方图(副盘真跑):N=11240 全 unknown(tombstones 无 provenance,按 AC 判不出写 unknown)
- 禁部署/禁真删/禁改已删记录其它字段:live 库零改动
2026-10-12 18:52:09 +08:00
小唯 9b7b969cd3 feat(memoryweave): GA-P0-1 拆分 not_useful_count → human_not_useful_count / dedup_downweight_count
背景:not_useful_count 被两种语义混写——用户人工点「没用」(feedback.go
MarkNotUseful) 与 dedup/合并流程自动降权(core.go Dedup demote) 都写同一字段。
实测 35010 行里 509 条非零但 human useful 仅 21 ⇒ 字段被混写。P2 自适应阈值
要靠它当标签,统计即垃圾。

改法(AC1-5,禁部署):
- LanceDB(arrow_schema) + sqlite(create/alter) 两侧同步新增
  human_not_useful_count / dedup_downweight_count(additive,不删旧列)
- 两个写入点各写各的:feedback.go→IncrementHumanNotUseful;
  core.go dedup→IncrementDedupDownweight
- not_useful_count 保留 deprecated,新代码不再读(读侧仅 Scan/迁移保留)
- 存量迁移工具 cmd/split_notuseful(--dry-run 默认,apply 需终审);
  实测存量无可按来源判定行(M=0)→ 全部归 unknown(K=109 存活行),apply=no-op
- 单测 TestSplitNotUsefulFieldIsolation:两写入点写不同字段,相对增量断言

go build/vet/test + rust build 全绿;rust open() schema 演进在副本上
实测补列 human_not_useful_count/dedup_downweight_count 成功。
2026-10-12 14:17:31 +08:00
小唯 886c0c20e2 style(gofmt): 全仓 66 文件对齐 gofmt 1.25
gofmt -l 实测 66 文件不合规(历史遗留+gofmt 1.25 规范化:
单行 if/for/case 展开成块、Go1.19+ doc 注释 // 与段落 // 空行)。
本 commit 只含格式化,零逻辑改动:
- 66/66 文件「去注释+去空白+分号归一」后 token 流与 HEAD 完全一致
- go build ./... exit 0;go vet ./... exit 0(改前后一致)
- go test ./... 17 包全 ok(改前后一致)
验收: gofmt -l . 为空;git diff -w 非空系 gofmt 1.25 非纯空白特性,
非逻辑改动(等价性以 token 流 + test 兜底)。
2026-10-10 15:51:25 +08:00
小唯 88f610aa1e feat(memory-source): 打通 commit→distill→memories.source→recall 全链(含 metadata.source 与 wiki:<路径> 标记)
- recall.go: RecallResult.Source = 记忆 source(此前只有 struct 字段没人填)
- distill/engine.go: DistillInput.Source(来源透传)
- auto_distill.go: AutoDistillTrigger 增加 source 参数并透传
- routes/core.go: /commit 请求体新增 source + metadata(此前缺失 → Go 静默丢弃 → 入库恒空)
- server.go: 蒸馏产物 Source = wiki:<路径>(有出处时),手动蒸馏端点也支持 source
- 清理 worker 误提交的 15MB 二进制(go/cmd/zhiyid/zhiyid-new)并加 .gitignore
2026-09-26 21:43:54 +08:00
小唯 8026142a08 feat(memory-source): commit→distill→memories.source→recall 打通来源(集合笔记路径) 2026-09-26 21:35:29 +08:00
xiaoyi 4f947cecef fix(zhiyi-cli): resolveAPIKey 支持多行 key 文件(原实现把整份文件当密钥 → 必然 401)
卡 t_4fab32c1 的 CLI 改动(去硬编码默认 key,env→文件→报错)+ 小怡修正多行解析。
实测:/tmp/zhiyi-cli-verify stats 走 key 文件成功返回(记忆 10607 / episodes 57347 / 队列 3)。
2026-09-21 22:08:02 +08:00
xiaoyi 3a3e019c03 feat(auth+zhiyid): 监听默认本机(ZHIYI_BIND) + 密钥强制(去硬编码回落) + /metrics 纳管 + 过渡期 legacy 兼容
卡 t_4fab32c1 的 AC1/AC2/AC3 实现 + 小怡 09-21 21:5x 过渡期补丁(legacy 行放行+限频告警)。
已部署并验收:127.0.0.1:7821 / 无key 401 / legacy 200 / 主密钥 200 / /metrics 无key 401 / /health 200 / LAN 不可达。
回滚点:~/.hermes/backups/zhiyid-sec-20260921/zhiyid-new.bin-2151
2026-09-21 21:56:47 +08:00
小怡 f2362150d1 perf(recall): 累积延迟更新治理写放大 — 读路径零逐条写 + 单事务批量落盘 (t_8496e8b6)
根因: recall 读路径对每条结果同步 lancedb.Update,LanceDB MVCC 每次提交=1 版本
      实测 15 版本/分钟 / _versions 17.7G(真实数据 22M)

改动:
- Go: 新增 RecallWriteBuffer(窗口合并+阈值触发+优雅退出落盘);recall.go 读路径改 Record();RustLanceDBClient.UpdateRecallBatch
- Rust: lancedb_update_batch IPC — 按 delta 分组,每组一次 update(`recall_count + delta` + id IN (...)) 提交
- 单测 6 个 + IPC 端到端版本计数测试;bench_test.go 修 NewReranker 签名失配(阻塞包测试)

实测: 批量 3 条 → 1 个版本;逐条 3 次 → 3 个版本 (lance 不支持 CASE WHEN,已按 delta 分组规避)
2026-09-12 17:57:31 +08:00
xiaowei 2a350cf781 fix(distill): max_tokens 800→1200 — Agnes推理token预算不足
Agnes 2.0-flash是推理模型,推理token占大量预算。
800仍不够→JSON截断(parse error: unexpected end of JSON input)。
1200确保推理+正文都够用。
2026-08-20 01:13:06 +08:00