Commit Graph
297 Commits
Author SHA1 Message Date
xiaoyi b1039cded1 feat(recall): ghost-ns 探测改有界 scan(1,ns),不再整库 ScanAll(B2 v1.1)
生产实测(IPC 直连 2026-11-20):
  scan(1, ns) = 0.01s / 1.1KB
  scan(1, ghost ns) = 0.12s / 0.1KB
  scan_all = 0.59s / 50.7MB(47,327 行)

recall 热路径每次 cache miss(TTL 60s)都整库 dump 一次,夜间 6~12 次/分
把 heavy_read(N=2) 打成风暴;2026-11-20 02:16:35–03:06:41 连接池 64 席
全被占死、零请求完成,profile_distill 三次重试全失败。

改法:NamespaceHasRowsFor 优先走 nsProber(RustLanceDBClient.NamespaceHasRows
→ Scan(1, ns)),失败保守返回 true;后端无该能力时回落 ScanAll(行为不变)。
回归:internal/storage/ns_rows_probe_test.go 四条不变量;全包 go test ok。
2026-11-20 21:39:57 +08:00
小唯 06d88c6003 test(storage): 测试与生产热调旋钮隔离 + 锁死 topK 前缀不变量(2026-11-18)
病根(实测,不是推断):/var/lib/memoryweave/recall-fts-tail-head 内容为 "5"(生产热调值),
ftsTailHeadProtect() 直接读该文件 ⇒ 测试进程里 head 恒 5,
TestFTS_SmallTopKTailMatrix / TestFTS_RecallFullListTailSlots / TestFTS_TailHeadProtect/head=0 全红。
看上去像「82d8a70 改了窗口语义、旧断言过期」,实际是环境泄漏:
ZHIYI_FTS_TAIL_HEAD_FILE=/nonexistent 重跑立刻全绿。

改动:
1) 新增 TestMain(knob_isolation_test.go):把 recall-fts-reserve / recall-sel-window /
   recall-fts-tail-head / recall-rerank-depth / recall-fts.on / recall-rrf.on 六个旋钮
   全部指到 /nonexistent。新增旋钮必须同步加进这张表。
2) TestFTS_TailHeadProtect 显式 Setenv ZHIYI_RECALL_FTS=1(此前靠生产标志文件才跑)。
3) 新增 TestRecall_TopKPrefixInvariant:k=5 前 5 必须与 k=20 前 5 逐位相同(82d8a70 的新不变量;
   用余弦单调递减的 30 条假候选,避免 tie 噪声)。

验证:go test ./internal/storage/ -count=1 → ok(全包绿,含原先 3 个红测试)
2026-11-18 16:37:55 +08:00
小唯 be33d9d8a3 Merge branch 'feat/rerank-live-20261116' into deploy/merge-20261118 2026-11-18 16:23:09 +08:00
小唯 0030dcf57c feat(distill): 降级蒸馏可分辨性 —— llm_distill:rule_fallback + memories source/since 定向抽样
① distill.DistillResult.Mode(llm/llm_heuristic/fallback):fallbackSingle 与 extractFacts
   回落显式标模式;写入侧 OnDistillComplete 对**无出处**的降级产物落
   llm_distill:rule_fallback(有出处仍 wiki:<path> 逐字不变,llm 路径逐字不变)。
② 判据同步:governance.processSources 加该值(不写图);storage.SourceClass 前缀匹配
   仍 0.7;selfoptimize.SourceTrust 同档。
③ GET /api/v1/memories 新增 source=(前缀) / since=(unix|RFC3339),item 带 source。
   🔴 实测教训:RustLanceDBClient.Scan 是存储序且硬上限 5000,46k 行下只看到 9 月老行
   ⇒ 过滤路径改走 ScanAll(200000, 只投元数据列) + Go 侧排序;不可用时降级并回
   degraded 字段自曝(不静默返回偏旧空结果)。
2026-11-18 09:10:50 +08:00
xiaoyi babf412c34 fix(selfoptimize): 跨天归零后回写 Redis(否则脏值留在 Redis 供他人误读)
上一步只在内存归零:Redis 里继续存着「旧日期 2026-11-11 + 旧计数 99」,
任何直接读 Redis 的消费者(dashboard/巡检脚本)仍会看到假数 —— 典型的
「状态散多处、只改一处 ⇒ 旧格子复活」。

实测(生产 zhiyid-perday2-20261118):
  hset deprecated_date 2026-11-11 / deprecated_today 99 → 重启 →
  内存 /metrics deprecated_per_day=0(total 873 不受影响)且 Redis 已变为
  deprecated_date=2026-11-18 / deprecated_today=0。
2026-11-18 08:56:28 +08:00
xiaoyi 637a13564c fix(selfoptimize): deprecated_per_day 跨天不归零(P0-a)
现象:11-18 体检读到 deprecated_per_day=849、deprecated_date=2026-11-11 —— 那是 7 天前
的累计值被当成「当日」上报。三次核对口径时才确认:数字本身是真的,归属日期是假的。

根因两处(第三处 loadDashboardLocal 早就有归零逻辑):
1. loadDashboard()(Redis 分支)只处理了「日期为空」的情况,漏了「日期 ≠ 今天」⇒
   进程连续运行跨过零点且不重启时,内存里的 today 一直带着昨天的累计。
2. Metrics() 读侧无日期守卫 ⇒ 脏内存直接上板,消费方无从判断归属日。

修法:①Redis 分支补 else-if 归零(并同步 DeprecatedDate=today);②Metrics() 增加
读侧守卫 depToday(归属日期非今天 ⇒ 报 0,但 deprecated_total 不受影响,它本就
不该跨天归零);日期字段缺失时不做守卫(不把可能有效的老数据抹成 0)。

回归:go/internal/selfoptimize/deprecated_crossday_guard_test.go 三分支(过去日期→0 /
当日→原值 / 字段缺失→原值),go test ./internal/selfoptimize 全绿。
生产已切 zhiyid-perday-20261118。
2026-11-18 08:55:11 +08:00
xiaoyi 9c5ae69e1e refactor(graph): 退役知识形态门,只留读侧埋点 + 加 kgprobe 探针
退役依据(实测,非判断):影子期 5 次 [graph][kg-shadow] 命中的 source 全是
wiki:cron-anomaly 且 blocked_by_source=false —— 门放行的全是「本来就不挡」的来源;
它想放行的 worklog/空 source 属过程流水,本就不该进图 ⇒ 该门零增量。

同期真因查明(推翻 11-18 凌晨那版结论):图谱 11-16→11-18 零新增不是「实体抽取能力差」,
而是 zhiyid 三腿 LLM 端点全指已退役 :11435 → 64/64 次调用 connection refused →
静默降级启发式 → entities=0。端点切 8086 后单日 +34 节点、27/27 次蒸馏均有实体。
故不需要额外门,按「开关型机制只有两种终态」退役。

保留:[graph][read] 读侧埋点(navigate/query),用于回答「图有没有消费者」——
6h 实测外部 0 次,而 [graph/notes] 兜底拆实体 24h 80 次(走 entity_index,不经 navigate)。

新增 go/cmd/kgprobe:用真实 distill.DensitySatisfyCount 统计阈值分布
(实测 0项 63.9% / 1项 32.4% / 2项 3.7% / 3项 0%),供以后判断任何「信息密度门」可行性。
2026-11-18 08:52:43 +08:00
xiaoyi 092535cfc5 feat(graph): 图谱复活第一步 —— 读侧埋点 + 知识形态影子门(零行为变化)
背景(实测):graph_nodes MAX(created_at) 停在 11-16,24h 内 [graph] skip-entity
59 次(worklog-note 43 / 空 source 15)全部被来源分档挡掉 ⇒ 图谱 2 天零新增;
navigate/query 此前完全无日志,'图有没有被读' 无观测(retrieval_count 只由
AddEdgeFeedback 显式 +1,navigate 不更新 —— 拿它当读计数是判据错误)。

本提交只做两件事,均可关(默认零行为变化):
1. [graph][read] 读侧埋点:/graph/navigate|query 每次打 op/entity/hops/paths。
2. ZHIYI_GRAPH_KNOWLEDGE_GATE=shadow|on:知识形态门(判据 = 蒸馏 facts 至少一条过
   distill.DensityKeep 信息密度≥2 项,零 LLM)。shadow 只记 [graph][kg-shadow]
   '若开闸会写多少实体';on 才放行来源分档,§2 合成边仍由 GRAPH_AUTO_SYNTH 独立控制。

为什么不按 tier=core:蒸馏直写记忆 Tier 恒为 normal(api/server.go),全仓无写者置
core,现存 1926 条 core 全是历史 recovery 导入 ⇒ 按 tier 门等于零增量。

go build ./... ok;go test ./internal/governance ./internal/api/routes -run Graph ok;
生产已切 zhiyid-kgraph-20261118(shadow),回滚=删
zhiyid.service.d/zzzzzzzzzzzzzzz-kgraph-20261118.conf。
2026-11-18 02:40:48 +08:00
小怡 c6a5007782 feat(recall): rerank 文档数封顶对外可见(partial/rerank_docs_capped)
外部 rerank 只送 ZHIYI_RERANK_API_MAX_DOCS(默认50)条,top_k>50 时静默截断。
判据用 topK > maxDocs(rerankN=max(topK*2,floor) 恒>50,用它比会误标每次请求)。
实测:k=5/20 complete,k=51/200 partial+rerank_docs_capped。
2026-11-17 15:49:50 +08:00
xxy e61bc0bd63 recall: FTS 尾部让位加头部保护(ZHIYI_FTS_TAIL_HEAD,缺省0=旧行为)
病根证据(同库同 query、串行 no_cache、k=5/k=20 各重复 3/2 次全一致):
- k=5 返回 [v,v,v,fts,fts]:第 4~5 名被 FTS 让位槽吃掉(占答案 40%)
- k=20 返回 [v,v,v,v,v]:同一融合池前 8 名逐位相同,FTS 落在 18~20 名
- 84 题同窗主尺:k=5 → 0.55357;k=20 取前 5 → 0.60913(+7/−0)

改动:
- ftsTailHeadProtect():让位槽不得吃进前 head 名(缺省 0=逐位等价现状);
  热调文件 recall-fts-tail-head,env ZHIYI_FTS_TAIL_HEAD
- 顺带:rerankDepthFloor()(ZHIYI_RERANK_N_FLOOR=100 已是硬下限 ⇒ 生产为 no-op,留作小 k 兜底)
- reranker.go:docVecs 与 documents 同步截断(原 docVecs 截断缺失 ⇒ 报
  'doc vector count N != documents M' 静默回退文本重排);api 日志加 q= 便于归因
- 测试:修 TestFTS_SmallTopKTailMatrix 期望值(旧写死 3,契约为 min(3,topK/2));
  新增 TestFTS_TailHeadProtect(head=5 不占头部 / head=0 旧契约 / 未满仍追加)

实测(84 题 DA,同库同窗,串行):head=0 → 0.55357;head=5 → 0.60913
(+7/−0,掉零 29→24,p50 1.48s→0.99s)
2026-11-17 14:20:07 +08:00
小唯 82d8a70771 fix(recall): 选择窗口与请求 topK 解耦(常数 100),修 top5 ⊄ top20 不变量违背
病根:selectionWindow 默认 topK*2 ⇒ k=5 窗口 10、k=20 窗口 40,同一 query
看到不同候选池。实测 `日志分析怎么定位根因` k=20 时 DA 排第 4、k=5 时完全不在。
(11-16 只把它当'提分实验'看,因 +0.8pp 属噪声内而回退 —— 漏掉了这是正确性问题。)

改:默认 max(100, topK),与 k 解耦;旋钮 0 = 旧行为供回滚。
实测:16 题 top5 ⊄ top20 = 0 道;主尺 0.55754 → 0.56548(+0.79pp);
窗 40 同分(池深饱和);延迟 p50 1.01→1.09s。
2026-11-17 11:45:09 +08:00
小唯 d4b97b3838 fix(standing): 精确命中不再零检索短路 —— 卡片置顶 + 记忆证据全保留
旧行为:standingAnswerFor 命中后直接 return 只含 1 条卡的切片,不进入检索。
后果:① 违反「卡是答案、记忆是证据,两者都不能丢」;② golden 里 7 道被
整句命中的题,即使 DA 在库里也因为整片记忆被吞而拿不到分。

新行为:走完整管线,卡片置顶并按 ID 去重(语义通道可能已 prepend),
管线报错时仍只回卡 + status=partial(LLM 过载时程序性记忆层可用)。
2026-11-17 01:35:53 +08:00
小唯 677e519dac fix(standing): paginate 也豁免 standing_answer 配额;纯卡片页不吞
capRecallResults 已让 standing_answer 不占 limit 配额,但 paginateRecallWithCarry
仍按 Category 把卡片算进 main,main[:limit] 又会切掉第 5 条记忆
(日报怎么写才不算空壳:DA 在 rank5 被挤掉,主尺 -1 题)。
另修 mainLen==0 时纯卡片页返回空页 ⇒ 精确命中只回卡时卡被整条吞。

配对实测:on=0.5575 off=0.5575 差=+0.0000 变动 0 题(此前 -0.0119)。
2026-11-17 01:19:18 +08:00
小唯 6a4d698732 feat(standing): 语义常设卡置顶且不占召回配额;scope=OP_ 收口
- recall.go:on 模式由「短路只回卡片」改为「卡片置顶 + 保留全部记忆证据」
  (短路只回 1 条卡 ⇒ 13 道题主尺归零 0.5575→0.4980)
- core.go:capRecallResults 把 standing_answer 与 pattern/peer 同待遇:不占 limit 配额,
  但置顶(答案在前、证据在后)
- scope 收口 OP_:H19 / zhiyi-threshold-1-v2 未经检验的卡不参与语义自动作答
- 摘掉 OP_FORGET_MECHANISM 的「记忆治理怎么分层」触发词(分层≠淘汰,误挂会劫持 golden 题)
2026-11-17 00:56:30 +08:00
小怡 46345de547 feat(standing): 语义常设通道(默认 off/影子)+ 主体·反义·数字·模糊四道闸门
背景:精确通道只认归一化整句相等,7 张 op 卡对真留出问法命中 0/33。
本提交在 encode 之后用**已算好的 queryVec** 做一次余弦候选(零额外 embedding),
三档 off(默认,逐位等价)/shadow(只打日志)/on(短路返回),旋钮
/var/lib/memoryweave/standing-sem-mode|standing-sem-thr|standing-sem-margin。

闸门(纯函数, 单测固化 9 条对抗样本):
  主体一致(飞书的遗忘 ≠ 织忆的遗忘;问主体但卡通用 ⇒ 拒)
  反义冲突(免费 vs 付费、删除 vs 恢复 ⇒ 拒)
  稀有 ASCII 覆盖(端口/文件名/命令对不上 ⇒ 拒)
  模糊边距(两卡分差 <0.02 ⇒ 拒答;实测「蒸馏质量门在哪」在两卡间摇摆)

真留出实测(33 条新问法 + 9 条对抗,live shadow):
  thr=0.80 命中 25/33 答对 21 错 4 精确率 84%
  thr=0.85 命中 20/33 答对 18 错 2 精确率 90%  ← 采用
  thr=0.88 命中 13/33 答对 11 错 2 精确率 85%(覆盖掉太多)
  对抗集在三个阈值下均 0 放行。

⚠️ 教训:我最初那批「每卡 5 条留出变体」里有 4 条其实就是卡片 trigger 本身,
  走到精确通道短路、根本没进语义层 ⇒ 首轮 7/7 是重复计数,不是泛化能力。
  真留出必须另写、且要确认它不进精确通道(看日志里有没有 sem 行)。
2026-11-16 23:43:01 +08:00
小怡 642e81d5a4 experiment(recall): 选择窗口解耦——实测不提分,默认回退 topK*2(保留热调旋钮 + 修单测隔离)
假设:MMR/RRF 窗口 = topK*2 ⇒ 请求 5 条只在前 10 里选,第 11 名起的好答案没机会,
应把窗口钉成 max(topK*2,20) 让 top-5 与 top-50 前 5 一致。

实测(84 DA 题、no_cache、tk=5):
  窗口旧(topK*2=10) 0.5575 / 窗 20 0.5655 / 窗 100 0.5655
  tk5-vs-tk50 前 5 一致率:19.0% → 27.4% → 45.2%
⇒ 一致率变了但**主尺不动**(涨1跌1 = 噪声内,窗 20 与窗 100 完全相同)。
结论:剩 k 依赖来自 RRF 池宽 + 词面名次对深位条目的上位,那类上位本身不带来正确率 ⇒
不做成默认。selectionWindow() 默认回到 topK*2,宽窗口只留热调
(echo 20|100 > /var/lib/memoryweave/recall-sel-window)供以后复跑。

顺带修:旋钮文件路径可被 env 覆盖(ZHIYI_FTS_RESERVE_FILE / ZHIYI_SEL_WINDOW_FILE)——
生产上调过旋钮会让单测红绿翻转(本次实际踩到,knob=100 时单测直接 FAIL)。
2026-11-16 22:22:03 +08:00
小怡 4420937edb fix(recall): FTS 尾部位预留槽随 topK 缩放(min(3,topK/2)),修 top_k=5 被硬预留 3 位吃掉向量第 3 名
现象(同一 query、同一时刻、no_cache):
  top_k=5 → 标准答案不在前 5;top_k=6 → 稳定第 3,其余顺序完全不变
根因:Step 3.8 的让位发生在 results[:topK] 截断之后,预留槽硬编码 3 ⇒
  小 k 时只能从已截断的主路径尾巴抢(k=5 占 60% 槽位),正好吞掉向量第 3 名。
量测(84 DA 题、top_k=5、no_cache):
  reserve=3(旧)0.5258 / 2 → 0.5575(+3.2pp) / 1 → 0.6052 / 0 → 0.6329(+10.7pp)
  A/B/A 配对:涨 4 / 跌 0,单题最差 +0.00;反转顺序 0→3→0 复现(0.6448 vs 0.5139)
落地:默认 min(3, topK/2)(k=5→2、k≥6→3=原值,其他调用方零变化);
  热调文件 /var/lib/memoryweave/recall-fts-reserve(整数覆盖,无需重启);
  回滚 = echo 3 > 该文件(逐位回到改动前)
不取 0 的依据:稀有 ASCII 词探针(12 条)reserve=2/3 均 7/12 命中,0 掉到 6/12
2026-11-16 21:47:04 +08:00
xiaoyi 085a407f68 feat(recall): ZHIYI_RERANK_HOLD(rerank 保位,默认关)——实测任何 N 都负收益,留档不再重试
主尺 84 DA 题同窗口配对(no_cache,漂移 0.0000):
  hold=0  0.5258   基准
  hold=1  0.4881   -3.8pp
  hold=2  0.3591   -16.7pp(24 题掉零)
  hold=3  0.3532   -17.3pp(26 题掉零)
原因:向量序头部正是 cross-encoder 要压下去的空壳句,钉住它=废掉 rerank 的主要作用。
11-12 离线重放「保 top3 最好」的结论不成立——那是在向量 cosine 代理尺上测的,与真 cross-encoder 行为相反。
默认 0 ⇒ MMRSelect 原样调用、逐位等价;代码保留为常开旋钮(观测/回归用),生产不设此 env。
2026-11-16 20:43:01 +08:00
xiaoyi d2e9f086cb feat(recall): 外部 cross-encoder rerank 真接入主链(此前只设 env、调用点仍走本地 cosine)
背景:11-12 牧尘令「rerank 开」,env 与 drop-in 都配了,但 recall 两个调用点仍调
RerankWithVectors(候选自带向量再算 cosine)⇒ 生产实际是假重排。2026-11-16 行为
实测:use_rerank=true 与 false 逐位相同、延迟同为 ~390ms,证实 0 外呼。

本笔:core.go / recall.go 两处调用点切到 RerankPreferAPI(有 key 走模力方舟
bge-reranker-v2-m3,分批 25 + 硬超时;失败降级向量 cosine);成功路径补日志
(失败才有日志 => 「有没有真调用」只能靠延迟猜,上次就是这么漏掉的)。

主尺实测(84 DA 题,no_cache,同窗口 on→off→on,漂移 0.0000):
  off 0.2639 → on 0.5258(+0.2619 / +99%),35 题变好 / 6 题变差。
降级实测:endpoint 指死端口 ⇒ 召回仍返回结果 + 日志『降级向量 cosine』。
部署:zhiyid-20261116-rerankapi2,drop-in zzzzzzzzz-rerankapi-20261116.conf
2026-11-16 19:52:31 +08:00
xiaoyi af0dce7b82 fix(recall): no_cache 是真空参 —— 实现缓存失效,否则评测/复核读到旧排序
事故:调用方以为传 no_cache 能绕缓存,但 Go 侧全仓 grep 0 命中该参数 ⇒ 仍读 SearchCache。
实测同一个 query 三次返回逐字相同、cache_hit=true、candidates_scanned=0。
后果:20 题评测连续多个 tag 读到同一份缓存结果,据此得出「排序改动无效」的假结论;
把 cache 失效后同一个 query 的 top1 立刻变成正确答案。

修:请求体加 NoCache 字段,命名空间解析后调 SearchCacheInstance.Invalidate(ns)。
验证:同 query 连发两次 cache_hit=false、candidates_scanned=200;顺带 rerank floor
ZHIYI_RERANK_N_FLOOR=100(此前 topK*2 二次截断把 cosine #60 的画像记忆切掉)。
2026-11-16 17:36:44 +08:00
xiaoyi 5b2587d159 feat(recall): 具体性加权补两类降权 —— 任务流水 + 系统流水
事故:关系类查询 top1 被「牧尘与小怡讨论了任务t_a50e04f0」霸占。根因不是相似度,
是 reSpecCode 把 task/t_a50e04f0 当代码锚点 ⇒ anchors=2 ⇒ ×1.2 被**加权**。
修:
- 数锚点前先抹掉 t_[0-9a-f]{8,}(流水号不是知识)
- 「讨论了/完成任务t_xxx」句 ⇒ ×0.4
- cron 通知/任务回执/提醒条目(收到了一条 / 触发:cron / 任务(ID: / 运行于 N)
  ⇒ ×0.4;有效知识(cron 投递要写 feishu:oc_xxx)不误伤(单测锁)

单测 3 个(specificity_test.go):任务流水降权 / 短句人主语降权 / 含锚点加权 /
系统流水降权 / 有效知识不误伤 / gate off 逐位等价。
实测:『牧尘讨厌我做什么』top1 从「讨论了任务t_a50e04f0」变为真实事件句。
2026-11-16 16:42:11 +08:00
xiaoyi 2948d86b24 fix(zhiyi): meta-note 闸门对「仅引用记忆编号的对话回合」误杀
事故(2026-11-16 15:58 日志实测):助手回复里出现 mem_xxx ⇒ 整条 episode 被
422 'meta-note rejected: strong:mem_id' 拒写;紧接着 auto-distill 同一闸门再拒一次。
后果:跟牧尘讨论记忆系统的整段对话 0 条落盘,蒸馏永远拿不到「人话」。

修复(两处,判据刻意收窄):
- Commit (core.go):reason 恰为 strong:mem_id 且内容以「用户: 」开头 ⇒ 放行并打日志
- AutoDistillTrigger (auto_distill.go):同口径,否则 episode 存了却永不蒸馏
- 系统诊断/日志仍照旧拒;metanote parity 差分测试通过

验证(A/B,A 200 写库、B 仍 422):
  A 对话回合含 mem_id → episode_id/ep_1794816274634939551 → distill facts=1 → memories derived_from 命中
  B '[诊断] mem_xxx 权重异常' → 422 meta-note rejected: strong:mem_id
测试:go build ./... 通过;./internal/api/routes 15.5s ok;./internal/metanote ok
2026-11-16 16:05:54 +08:00
xiaoyi 944341ffb0 fix(build,embed): 修 metrics.go 冲突标记 + 嵌入端点默认值统一到 8001
1) metrics.go 里残留 git 冲突标记(<<<<<<< Updated upstream / ======= / >>>>>>> Stashed changes)
   + 4 个指标的重复声明/重复注册 → 整个 internal/metrics 包编译失败。
   实际是上个提交 57d6e15 把工作树里未解决的 stash 冲突原样提交了(我的失误:commit 前用
   'go build | head' 判断,exit code 被管道掩码,看着是 0)。
   解决:删重复块,保留 AnchorGateBlocksTotal / DistillFailureTotal(新指标)。

2) bge-embed 已从 8000 迁到 8001(BGE_PORT=8001),代码默认值没跟上:
   - storage/embedder.go: 新增 DefaultEmbedEndpoint()(VLLM_ENDPOINT → BGE_EMBED_URL → 8001)
   - api/routes/skillref.go: 兜底 8000 → 8001
   修复前:./internal/api/routes 6 个 recall 测试 connection refused 到死端口。
   修复后:routes / storage / distill 三包全绿,go build ./... 通过。
2026-11-16 14:55:53 +08:00
xiaoyi 57d6e15a27 fix(guard): t_661b3336 锚点闸门 v5(影子默认)+ 空壳来源定位;补 Cargo 引用的 3 个只读扫描 bin 源码(.gitignore 的 bin/ 会吞掉它们)
- distill/payload_guard.go: IsAnchorGateEmptyShell / AnchorGateCheck(enabled:false 影子模式,命中只记日志+计数)
- api/server.go 写路径接入 + metrics zhiyi_distill_anchor_gate_blocks_total / zhiyi_distill_failure_total
- rust/src/bin/{relscan,epscan,tblprobe}.rs 强制入库(Cargo.toml 已引用,否则新克隆构建失败)
- 空壳来源:category=wiki 的文档表格行被当对话蒸馏(蒸馏不读 Category)
2026-11-16 14:47:19 +08:00
xiao-yi-dev a4e15aa4f1 refactor(metrics): t_dcad48e4 摘除 avg_distill_loss 值键(deprecated 桶无写入者,值冻结 0.35 必被误读)
- selfoptimize.go Metrics():删 avg_distill_loss 值键;保留墓碑键 avg_distill_loss_deprecated=1
  + 分母 _samples/_valid(复算用)。avgDistillLoss() 辅助函数一并删除。
- tuning.go 消费端:低召回+高loss 分支改读 distill_loss_llm(语义正确的拆分三源)。
- metrics_contract.go 契约表:avg_distill_loss 行标注「值键已摘除,读下方三拆分指标」。
- 测试全量对齐:selfoptimize_test / metrics_na_test / metrics_contract_test /
  executor_na_test / tuning_analytics_test / tuning_guard_test。
- server.go / 注释同步。
- 验证:go build EXIT=0;go test ./internal/selfoptimize/... ok;
  routes 指标相关测试 ok(TestRecall_* 为 pre-existing 测试序故障,与本次无关,stash 后 HEAD 同样 FAIL)。
2026-11-16 13:01:35 +08:00
小唯 515e77e9ce fix(metrics): 拆口径 avg_distill_loss 三来源 + Overall 真实分布 + dashboard 标 stub
t_e5cdc25c 织忆指标口径修复:
① 交付 Overall 真实分布复算脚本 ~/.hermes/scripts/tools/overall-dist-recalc.py
   (本机无 Python lancedb,改用 Rust 只读工具 qs-dist 全表扫描 46023 行;
   字段缺失=0,fallback(==0)=15.0%,历史bug(0.755)=7.9%,可信=77.1%)
② 拆 avg_distill_loss 混算:新增 distill_loss_llm / merge_ratio_loss /
   quality_backtrace_loss 三独立指标(各带 _count/_valid/_sum),avg_distill_loss
   保留但标 deprecated=1、不再作为可信尺子;server.go 三调用点迁移到来源专属 Record。
   契约测试 metrics_contract_test.go 增 TestContract_DistillLossSplitThreeSources
   验证三来源互不串桶 + sum/count 可复算。go test ./internal/selfoptimize/ 全绿。
③ DashboardSnapshot 6 硬编码值标 dashboard_stub=true(serde default=true 保守),
   逐点注释说明:previous_metrics 恒 None ⇒ 退化判定链路死路;Go consolidate::Result
   不读 dashboard/degradation 字段 ⇒ 硬编码值不流入 Go 自优化/调参/告警。

不改蒸馏逻辑(engine.go 评分权重不动);不重启 zhiyid、不改生产 env。
2026-11-16 11:52:22 +08:00
小怡 7360c809f6 feat(rrf): 词面名次上限旋钮(recall-rrf.ftsmax),默认 0=不限
实测三档(84 DA 题配对,漂移 0.0000):
- 不限(当前生产): Δ+0.0655, 8涨/2跌, 单题最差 -0.5
- ftsmax=5       : Δ+0.0060, 1涨/0跌, 最差 0.0
⇒ 上限能消掉丢分,但把增益也几乎消掉;保留为调参旋钮,默认不限
2026-11-12 23:40:24 +08:00
小怡 71bddf3feb feat(distill): 冲突判据属性键归一 — 削中文动词噪声 + 后缀包含匹配
- normalizeCJKAttrKey: 「API端口被指定为」与「API端口为」归一到同一属性键
  (实测漏判来源:同事实两次蒸馏用词不同 ⇒ 键对不上 ⇒ 该合的没合)
- sameAttrDiffValue: 键匹配三档(完全相同 / 中文后缀包含且短键≥3字 / ASCII 不看后缀)
  宁漏勿误:port 与 api_port 语义不同,不参与后缀匹配
- 单测:internal/distill 全绿(1.588s)
2026-11-12 23:31:57 +08:00
小怡 ce7a06f599 feat(recall): RRF 观察期落地 — 缓存键带排序变体 + 保位条数文件热调
- fix(cache): cacheKey 追加 rankVariant,修「off/on 间隔 0.5s 时 on 组吃到
  off 组 60s 缓存 ⇒ 84 题 A/B 全程零差异」的量具自欺(真凶,非 RRF 无效)
- feat(rrf): 保位条数支持 /var/lib/memoryweave/recall-rrf.hold 文件热调,
  避免每组对照都要重启生产
- 实测(84 DA 题,同窗口配对 off→on→off):hold=2 Δ+0.0655 / hold=3 Δ+0.0615,
  漂移 0.0000;8 涨 2 跌,单题最差 −0.5(1 条 DA)
2026-11-12 23:14:56 +08:00
小怡 7be39288e8 feat(recall): RRF 秩级融合(向量秩 × BM25 词面秩)——默认关,flag 文件热切换
- rrf.go: RRFReorder 只做秩级融合,前 hold 名保位(结构性 worst-case 兜底)
- recall.go: 词面名次全量收集(含向量池已命中项);开启时融合池取 topK*2
- 门控: ZHIYI_RRF=1 或 /var/lib/memoryweave/recall-rrf.on,每请求读 ⇒ A/B/A 免重启
- 单测 6 个:门控三态/名次/保位/跨名次取胜语义/noop 契约
2026-11-12 22:46:21 +08:00
小怡 754437b5bf feat(supersede): 确定性版本取代链路接通 — 同主体+同属性+不同取值才顶旧版 (存真去伪阶段3)
背景:memories 表 supersedes/superseded_by 两列全为 '[]'(44,934 行零使用),
旧 IP/旧端口/旧版本号/旧规则永远和新值并存 ⇒ 注入可能取到错的。
写时四算子 2026-11-10 退役(LLM 判定 ADD 98%/UPDATE 1%),合并能力实际关闭。

本笔:
- 新增 internal/distill/supersede.go:SupersedeMode(off|shadow|apply,默认 off) +
  FindSupersedeTarget(复用 conflict_gate.SameAttrValueConflict,零 LLM/零新依赖)
- 保护:sim<0.80 不判、tier=core 不顶、已是旧版不二次标记、每条最多顶 1 条
- server.go 蒸馏写路径接上:shadow 只打日志;apply 才写 freshness=superseded
  + superseded_by + valid_to
- 6 个单测(判准/同值不判/低相似不判/core 保护/不二次标记/门控默认 off)

生产部署:ZHIYI_SUPERSEDE=shadow(只留痕),观察 2-3 天判准率 >90% 再切 apply。
2026-11-11 22:50:36 +08:00
小唯 c5ff3b8937 fix(autolabel): 覆盖率同窗口(7d/7d) — cutoff参数化 + neg标签钉死7d窗口 (t_832c60ff返修2) 2026-11-10 18:28:42 +08:00
小唯 eb93983225 feat(autolabel): 反馈覆盖自动正/负样本标注链路 — mem_口径+覆盖率AC1纠错 (t_77744b71)
返修 t_132cfa76 三硬伤 #2/#3/#1:
- AC2 持久化实现:internal/feedback/autolabel 正式代码路径(纯函数判据 + usage_track.db ro 读 + hit_events 经 LanceDB 落库 + 幂等游标),含单测 12 个全绿。env 门控 ZHIYI_AUTO_LABEL(缺省关/shadow=只计数不写)。
- AC1 口径纠错:覆盖率 = (posU ∪ negU)/distinct(usage_recall 7d mem_%),Report.CoveragePct 唯一实现。禁止把 inject-outcomes 注入率当覆盖率。
- AC3 扩量实测(shadow 扫生产):pos=2264 + neg=1546 ⇒ 覆盖率 21.0%(分母 18186)/20.7%(小怡分母18371),达 ≥20%。实测发现原卡 neg=356 是错数 —— 混了 4104 条 n_图谱节点 + 只扫部分窗口;正式链路钉死 mem_% 口径后真实 neg=1546。
- 新增 HitReason auto_soft_inject/inject_pass/repeat_gone/expire_unuse 枚举 + 归一顺序纪律(子串互咬单测钉死)。

不部署:无二进制/drop-in/重启,仅源码+测试。usage_track.db 全程 mode=ro。
2026-11-10 17:21:12 +08:00
小唯 978d633e10 feat(metrics): 四指标定性契约 — deprecated_total=死路/rate 恒-1=样本不足 统一 null 语义 (t_ade9f695) 2026-11-10 14:13:36 +08:00
小唯 07599f0a22 feat(distill): 硬规则拒绝可观测 rejected_by_rule 真计数 + lane=drop 死路定性 (t_a513b870)
- AC1: HardRulesPass 拆出 HardRulesPassWithReason,拒绝分支登记并发安全计数
  (empty/too_short/chitchat/qa/sys_template/low_density/too_long 7 桶)
  + 至少一行 [GATE][REJECT] rule=<x> 日志;系统样板移入硬规则层,drop 只在硬规则层发生。
- AC2: rejected_by_rule 挂到已有 /api/v1/metrics(不开新端口),
  字段 rejected_by_rule / rejected_by_rule_<bucket> / entered_queue / gate_attempts;
  handler 主体抽成 routes.MetricsJSON 便于单测。
- AC3: 单测覆盖全部分桶 + 并发 200 + httptest 真实端点读回 JSON。
- AC4(a): 承认 lane=drop 不可达(硬规则更严先拦),保留分支加防御注释,闸门只走 keep/observe。
- 发现 chitchat 规则同样不可达(pattern 全 <10 字,恒被 too_short 先短路)→ 测试钉死。
- 未打二进制/未改 drop-in/未重启 zhiyid(二进制由小怡统一构建部署)。
2026-11-10 04:13:09 +08:00
小唯 88bdb010cf fix(api): recall/debug 的 diversity 默认值与生产 Recall 对齐
病根:RecallDebug 直接用 req.Diversity(缺省 0),而生产 Recall(core.go:613)
在 req.Diversity<=0 时回落 storage.DefaultMMRDiversity()(tune-state 实测推送 0.1)。
⇒ /recall/debug 报出的 mmr 行 diversity=0.0,与生产不同口径,诊断撒谎比没诊断更贵。

修法:与 Recall 完全同源的回落 —— 未显式传 diversity 时读同一个 storage 推送原子值,
不硬编码 0.1,调参器改了 debug 跟着变。

回归测试 recall_debug_diversity_test.go:未传→跟随推送值(0.1/0.42 各测,证非硬编码);
显式传→显式值优先(0.7)。复用同包 nsAwareRecallLance/fakeEmbedServer/ runRecallDebugHTTP。

验证:go test ./internal/api/routes/ -count=1 整包绿(修前修后 0 failed,失败数未增)。

回滚:git revert 本 commit(删 core.go 内 4 行回落 + 删 recall_debug_diversity_test.go)。
本 commit 只提交源码,未打二进制、未改 drop-in、未重启 zhiyid。

[task: t_f1ee22e5]
2026-11-10 04:01:28 +08:00
小唯 fba425af80 fix(recall/debug): 空结果分支补齐 query/count,响应契约两分支一致 (t_nsdebug-20261109)
诊断端点的两条早期返回(encode 失败 / 0 候选)只回 steps+results+total_ms,
缺 query 与 count ⇒ 消费方读 count 得 nil,与正常分支形状不同(又一次「诊断自成一派」)。
测试:ghost ns 用例改为断言 count 键**必须存在**且为 0。
2026-11-09 19:49:02 +08:00
小唯 3f4e00dac7 fix(recall): debug 端点补 ghost-ns 闸 — 与生产同判据,诊断不再撒谎 (t_nsdebug-20261109)
生产 /api/v1/recall 已于 t_15d82af7 + t_a243aefa(11-07)修好:ghost ns ⇒ 0 条。
但 /api/v1/recall/debug 自带一套 nsList,仍无条件并 shared ⇒ 实测 ghost ns 报
"5 candidates from 2 namespaces"、返回 5 条 —— 诊断端点与生产不同判据。

改:nsList 并 shared 前过 storage.NamespaceHasRowsFor(与 recall.go 同一判据 + 同一 60s 缓存);
    0 候选分支的 detail 补 "from N namespaces"(否则看不出搜了几个 ns)。
测试:internal/api/routes/nsdebug_ghost_test.go 2 例(ghost ⇒ 0;真实 ns 仍 2 namespaces)。
RED 已验:修前 ghost ns count=2(sh_1/sh_2)。
2026-11-09 19:46:49 +08:00
小唯 15a224f1c6 fix(metrics): deprecated 计数器持久化三件套 — persist 补 total/date + load 回读 + 跨天归零 (t_4bbddae6)
已随 zhiyid-depcount-20261109 部署(11-09 09:32),本次补提交记录,避免
「跑着的二进制含未提交代码」导致重建即丢修复。
回滚:drop-in zz-depcount-20261109.conf 删除 + restart ⇒ 回 zhiyid-head-b5a6f45。
2026-11-09 19:46:49 +08:00
小唯 58b196ae25 fix(skillgen): L3 草稿按证据主题簇生成 — bge-m3 聚类+最大簇门+簇快照头,禁跨主题拼接 (t_45677e64)
病根: 78条不同主题记忆全塞LLM→跨主题拼接成大杂烩(小怡抽2条全废)。
修法:
- cluster.go: BGEClusterer(bge-m3余弦贪心)+最大簇选择+纯函数clusterByCosine(确定性)
- DraftSkillClustered: 只对最大簇(≥3条)生成; 簇不足拒绝(宁缺毋滥); 溯源证据集=簇
- 草稿头嵌 cluster_id+簇内证据id+一句话簇主题(人审)
- generator: prompt禁抄红线规则+空占位省略+sanitizeDraft去污染
- store: MarkAllStale() 重生成前作废旧draft; PutDraft支持stale→draft复活
- probe/server: 生产装配BGEClusterer; 重生成前标stale
实测: 8 pattern过L3→聚类后4条同主题簇生成(4条因最大簇<3诚实拒) draft4/stale4/active0; 召回基线top5不变
2026-11-09 03:08:17 +08:00
小唯 d95245f45c feat(zhiyi): L2 扩语义 task_seq + discipline — tool_combo 之外两类新 pattern(t_751a6739)
DetectFromRecords 只认工具组合共现,45,132 条蒸馏记忆仅 1 条过 0.85。
新增两类语义(internal/pattern/semantics.go,与 tool_combo 并列不替换):
- task_seq 任务型:诊断/修复/复验 关键词位置严格有序 first(诊断)<first(修复)<first(复验)
- discipline 纪律型:触发动作位置 < 连接词(前/先/之前) < 约束动作位置
两类都机器可判(无 LLM),conf 沿用 confidenceFromFreq 同口径。
扩展 IsValidPatternName 写闸接纳新命名键。改后过 0.85 从 1 → 8 条。
零行为变化:不碰召回路径,ZHIYI_PATTERN_RECALL 默认关。
2026-11-09 02:36:44 +08:00
小唯 185c0aff87 feat(skillgen): 草稿去幻觉(注入真实证据+命令可溯率100%校验)+ 溯源快照 + 证据提供者 (t_9ccbca15)
D1 溯源: 草稿头嵌 PatternSnapshot(source_pattern+evidence ids+created_at),
  单行技能可单向追到 episode;source_pattern 可回查 graph_nodes.id。
D2 反幻觉: Generator.Generate(p, ev) 注入 ≥3 条真实 episode 原文;
  VerifyEvidenceTrace 抽命令/路径/包名 token 在证据里 grep,<100% 拒绝落盘。
  新增 LanceEvidenceProvider(GetRecordByID IPC) + Fake 确定性提供者。
D3 样本: 阈值 0.85 不动;全表扫描证明仅 1 pattern(hermes+python) 过闸。
零召回变化: 未碰 recall 代码;3 条基线 top5 逐条一致。全 draft 无 promote。
2026-11-09 01:39:44 +08:00
小唯 a430a2b602 feat(skillgen): SkillEvaluator 四维评估器 + SkillEvolver 接口 + 规则过滤差距分析探针 (t_4594b632) 2026-11-09 01:12:49 +08:00
小唯 714df5d2a8 feat(zhiyi): L2全表检测探针 (t_d8830204) — 打通 L2 pattern 0行→非0 与 L3 草稿生成
背景:POST /patterns/detect 被 lancedb_scan 硬限 5000 且 DetectFromRecords 默认 MaxRecords=500
(物理序前500条是'不幸窗口'检出0)→ 已有 pattern-detect-daily cron(limit=500) 空转,graph_nodes
type='pattern' 恒 0。本探针走 sidecar IPC lancedb_scan_all(无5000上限)+ 全表 MaxRecords + 诚实阈值:
L2 conf>=0.5 写 graph_nodes(type='pattern',ns=daemon-distill),L3 conf>=0.85 才出草稿到
attachments/<pattern>/skill-draft.md([AUTO-DRAFT]标记,status=draft,绝不自动promote)。
-cwrite 才落库,默认 dry-run。

实测(全表45227行/distilled45096):6个tool_combo,仅 hermes+python (conf=1.0,13源) 过 L2/L3 双闸。
写库后 graph_nodes pattern 0→1, skills 0→1(draft);召回 top5 10query 前后逐位一致(零行为变化)。
本地2B(8081)生成草稿落盘。
2026-11-09 00:13:34 +08:00
小唯 6cbc49ca0e fix(recall): E4.2 跨ns共享兜底补 ghost-ns 判据 — 修复传不存在的 ns 仍经 shared 补充搜泄漏
t_a243aefa 终审在**生产部署后实测**发现:传 ghost ns 仍返回 1 条 channel=shared 记忆
(mem_1793118290141936234, score=0.5 固定值)。根因 = core.go:724 E4.2「结果数 <3 时
补搜 shared」这一段没有 nsHasRows 判据 —— t_15d82af7 只修了 recall.go 的 namespaces
列表和 FTS 尾通道两处,漏了路由层这第三处。

判据与另两处对齐:storage.NamespaceHasRowsFor(与 recall.go 同一个函数,带 60s TTL 缓存)。
ghost ns ⇒ 不补搜;真实 ns ⇒ 行为逐位不变(回归测试 + go test 两包全绿)。
2026-11-07 06:05:40 +08:00
小唯 b5a6f4536e perf(recall): namespaceHasRows 加 60s TTL 缓存(复用 RedisCache,t_a243aefa 终审)— ScanAll 每次带 ns 召回全表读 ⇒ 同 query 集 p50 2.13s→0.39s 2026-11-07 05:00:12 +08:00
小唯 199608a7d3 feat(intention-ttl): 意图 TTL — intention 类 + expires_at 跨五层落盘 + 过期负分降档(非删除,ZHIYI_INTENTION_TTL 门控)
- Go model/IPC/FTS 通道/SQLite/API 写入(RFC3339 严判 400)+ Rust struct/schema/builder/6×读侧 col_str
- recall 降档块在 MMR 之前(选择与展示共用同一套分数),过期 intention rerank 分置 -1 → 展示分 -0.445
- 关态 intentionExpired 恒 false ⇒ 降档块零赋值;AC2 HEAD vs 新版同库同 sidecar 现采基线 fresh 逐位一致
- 单测:关态逐位/开态下沉且在场/负分压过全部正常分/纯度(他类、未过期、空=永久)
- 回滚:env 置 0 或 unset(每调用读 env,无需重启);磁盘列 additive 保留不删

t_88cc9cb8
2026-11-07 04:09:06 +08:00
小唯 d5b82d5b19 feat(distill): 经验层 category=experience 灰控落地(默认关,t_2595b626)
- experience_gate.go 新增:env 门控 ZHIYI_DISTILL_EXPERIENCE(启动读一次,同 density_gate 写法)、
  ExperienceRecord{Task,Solution,Boundary}(无 confidence 自评,质量复用五维 overall/VD/RU)、
  独立 prompt 附加常量(1157B,拼在 outFmt 之后)、ParseExperienceLine(4 段硬约束 + 反回显)、
  ExperienceGrounded(反张冠李戴:task 对象名必须在 episode 原文有影子,确定性零 LLM)
- engine/parser/server 接线:关态条件短路不可达 ⇒ 关态 prompt 逐字节不变
  (sha256 三臂一致:head-off==tree-off=49295e70…,开态=关态+1157B)
- score_cache 门控开时加 \x00experience-v1 后缀,防旧 prompt 缓存短路灰度
- 落库:接地闸 → 近重复跳过(cosine≥0.98)→ 写现成 category=experience(不造新表/新列)

实测(40 条真实工作笔记,本地 2B):EXP 行出现 32/40=80%,但过格式闸仅 2/40=5%
⇒ 2B 会写 EXP 内容但用自然语言衔接、不拆竖线三段,属能力边界。故**默认关,未部署未 push**。
go test ./internal/distill/ ./internal/api/routes/ -count=1 全绿
2026-11-07 02:41:33 +08:00
小唯 0a05014a35 feat(memory-raw): 原文层下钻 — GET /api/v1/memory/{id}/raw + GetRecordByID 三层后端 + Rust get_by_id IPC + 插件 memory_raw 工具 (t_0f1d7be9)
- recall 响应带 derived_from 指针(既有列已直通,补回归闸门防回退)
- 新端点三态:200+raw_text / 200+no_provenance / 200+episode_missing / 404 memory_not_found / 503 存储故障(禁静默空)
- LanceDB 接口加 GetRecordByID(table,id):Rust IPC(lancedb_get_by_id 单行读,旧 sidecar 未升级=显式 error 不冒充不存在)/ SQLite / 内存三后端
- 旧实例同库同查询对比:recall 字段集合与结果顺序逐位不变(只多 derived_from 键)
- raw_text 4000 rune 截断标注;插件 memory_raw(id) 2000 字符截断标注,旧服务端 unsupported 显式区分
- 测试:memory_raw 路由 6 例 + IPC 契约 3 例(旧 sidecar 防静默 no-op)+ E2E 模板(ZHIYI_RAW_E2E_SOCK)+ 字段集合闸门
- 量化:30 条带指针样本经新端点取回 28/30(2 条=episode_missing 真实缺原文);28/28 原文含结论所无的数字/标识符
2026-11-06 23:56:22 +08:00
小唯 02bdfb572e fix(recall): namespace 检索侧过滤失效修复 — ghost-ns 判据=ScanAll 全量表行存在性,与生产 IPC 客户端过滤同口径;ghost ns 不并 shared/不放行 shared FTS 尾部位/不补 wiki;真实 ns [ns,shared] 与全库路径逐位不变 + 三态回归用例 (t_15d82af7) 2026-11-06 22:49:47 +08:00