小唯
631241c50a
feat(provenance): commit 引用可复算旁路观测(t_3fbb6cbd 阶段1,只观测不拦截)
...
开关 ZHIYI_COMMIT_PROVENANCE_OBSERVE 默认关。开启时对 /api/v1/commit 做异步旁路观测:
(a) 有 source_uri+quote+quote_sha256 → 复算 sha256 比对(hash_mismatch)
(b) source==session-compress 且 session_id → 去 ~/.hermes/state.db 只读回证(前60字符命中或 LCS>=60)
(c) 其他 → observable=unknown/no_derivation
结果追加 ~/.hermes/logs/zhiyi-commit-provenance/YYYY-MM-DD.jsonl,不改响应/写入路径/拒写入。
AC1 关=零影响已验证;单元测试 TestProvenance*/TestLCS/TestDecideQuoteHash 通过。
2026-09-28 23:27:32 +08:00
小唯
66cb258979
perf(graph/navigate): 响应体积上限 maxNavigatePaths=200
...
实测 navigate("牧尘",2) 单次吐 34,465 条 path = 5.54MB,而全部调用点只读样本
(hermes 插件 paths[:50] / web-ui 只读 count / openclaw 已退役) ⇒ 全量无人消费。
与 /graph/notes 的 maxGraphPaths 同因同治;count 仍报真实总数,新增 returned/truncated 可观测。
2026-09-27 19:15:06 +08:00
小唯
f26126765c
graph: 跨层实体并集 + PathEnds 双键容错 + 邻域展开上限(修 CPU 打爆)
...
- entity_resolve.go: 新增 ResolveEntityIDs / MergePaths / PathEnds / ExtractEntities
- graph_sqlite.go: 新增 NodeIDsByName 精确同名查询(SearchNodes 是 name LIKE '%x%'
LIMIT 100,'织忆' 有 834 条子串命中会把精确同名挤出去 → 并集静默失效)
- graph_cache.go: 转发 NodeIDsByName(包装器不转发 → 类型断言失败 → 静默降级回 LIKE 路径)
- server.go: notes 路径接并集(union=1 opt-in / 0 关闭,响应带 union + entity_ids_used);
navigate 结果统一走 routes.PathEnds —— governance.Navigate 返回的是 from/to,
此前读 source/target 导致并集路径与「邻居进笔记匹配」被整条静默丢弃;
邻域进笔记匹配加 maxMatchEntities=24 上限(2026-09-27 事故:无上限邻域展开
→ 数千实体 × 全库笔记扫描 → CPU 159% / HTTP 超时)
- 单测 5 条,含 from/to 键容错回归
2026-09-27 09:23:03 +08:00
xiaoyi
c7235afcd5
perf(graph/notes): graph_paths 截断到 50 条(1.7MB → 5KB/次)
...
调用方核对:hermes 插件 data.get("notes")、openclaw client.ts r.data.notes、
hermes-zhiyi 旧副本 —— 3 处全只读 notes,无一处读 graph/notes 的 graph_paths
(读 paths 的是 /graph/navigate 那条线)。
实测 entity=织忆:响应 1775KB → 5.1KB,notes 仍 3 篇、score 不变;
paths_count 由 19266 → 50。max_hops/max_notes 语义不变。
2026-09-27 08:30:28 +08:00
xiaoyi
46eaf1a35d
feat(graph/notes): 整句→实体兜底拆解(EntityIndex)
...
问题:调用方(hermes 织忆插件)把整句用户提问直接当 entity 传给
/api/v1/graph/notes,NormalizeEntity 后整句匹配不到图谱节点 → 0 篇笔记,
Obsidian 笔记层在真实对话里几乎不生效。
改动(纯服务端,调用方无需改,也就无需重启 hermes 网关):
- 新增 routes.EntityIndex:节点名词表(PageRank,TTL 10min,后台 45s 预热)
+ 最长/权重匹配把整句拆成候选实体;候选需过 相对权重比(0.15) 与 图谱度数(>=3)
两道过滤,压掉通用词/自动切词噪声节点。
- /api/v1/graph/notes:entity 直查 0 篇笔记时自动兜底拆实体重查;
新增 query 参数;响应新增 mode(direct|nl_extract|none) 与 entities_used。
兜底路径 graph_paths 截断(单实体 20 条、合计 50 条)、参与匹配实体上限 8。
- 覆盖测试 10 个:真实句子拆解/大小写/包含冗余/权重比/度数过滤/TTL缓存与失败退避/nil 安全。
实测(生产 7821):单词实体 entity=织忆 仍 mode=direct 3 篇(回归不变);
整句 "织忆召回会不会给出obsidian实体所在的笔记位置呢" → mode=nl_extract
used=[Obsidian 织忆] 3 篇真路径 0.29s;无意义句 "完全不相干的一句话天气不错"
→ mode=none 0 篇(噪声已过滤)。
2026-09-27 02:19:13 +08:00
hermes
5944df41b5
chore(plugin): 部署副本头部注释同步(权威副本 = hermes-agent/plugins/memory/zhiyi/__init__.py)
...
三副本收敛后的头部说明改写:明确"改内容请改权威副本再同步本文件"(t_4171e2ad 教训:改错副本白重启两次)。
2026-09-27 00:58:03 +08:00
hermes
9d9b92df27
perf(recall): 向量重排 + 查询截断 —— 修掉 Hermes 记忆预取 8s 超时
...
根因(/api/v1/recall/debug 分阶段实测,2026-09-28):
query=60 字 → total 2268ms(encode 39 / ann 188 / rerank 2039 / mmr 0)
query=1200字 → total 9980ms(encode 1441 / ann 189 / rerank 8001 / mmr 347)
query=4000字 → encode 一步就 8000ms
rerank 占 90%+:旧实现(localCosineRerank)把 query + 50~100 条候选文档重新送进
int8 ONNX CPU 嵌入服务,而这些向量调用方本来就有(queryVec 来自 Step1,
LanceDB 返回的 MemoryRecord 自带 Vector)。
修复:
1. Reranker.RerankWithVectors —— 用已有向量直接算 cosine(向量不齐则回退文本路径);
recall 管线与 /recall/debug 同步改用。
2. Embedder.EncodeQuery —— query 侧向量化前按 512 字符截断(RECALL_QUERY_MAX_RUNES 可覆盖),
保护超长 query 的时延;关键词/BM25 路径仍用完整 query。
3. apiRerank 失败不再静默(log 出降级原因)。
实测(同机复验):60字 2268→235ms;1200字 9980→567ms;2000字 16571→547ms;4000字 8000+→502ms。
真实插件路径 prefetch:短 query 1.00s、3000 字长 query 1.25s(预算 8s,余量 6.4×)。
2026-09-27 00:57:39 +08:00
xiaoyi
7904a238ed
selfoptimize: Dashboard 指标落盘补本地 JSON 兜底(Redis 不可用时重启不丢指标)
...
- 病根:server.go 调 EnableRedisPersistence(),但本机无 Redis → GetRedisClient() nil
→ redisPersistence 恒 nil → persist() 首行 return,7 项指标只活在进程内(实测重启即全 0)
- 改:Redis 不可用 → 走本地 JSON(/var/lib/memoryweave/dashboard.json,ZHIYI_DASHBOARD_PATH 可覆盖)
原子写(tmp+rename)、best-effort(读/写失败静默退回仅内存,行为不劣化)
deprecated_today 跨天归零(记 deprecated_date)
- 补:RecordFeedback 漏了 persist() → useful/not_useful 从不落盘(唯一一个漏的 Record*)
- 测:3 个新用例(往返/跨天归零/缺文件坏文件安全)+ TestMain 重定向落盘点
(修前实测:整套测试会把生产 dashboard.json 写成测试数字)
- 验证:重启 zhiyid 后 metrics 仍为 recall_hit_rate=0.33 / recall_usefulness_rate=1(改前恒 0)
2026-09-26 23:56:11 +08:00
小唯
a76847b5d7
fix(commit): metadata 改 map[string]any —— 修 400 静默丢数据回归
...
2026-09-26 88f610a 为带上 source 把 metadata 写成 map[string]string,
而各写入端早就在 metadata 塞数字(hermes-zhiyi sync_turn 的 turn:int、
soulful 与 session-to-zhiyi 的 importance:number)⇒ json.Decode 整包失败
⇒ 400 invalid body ⇒ 这些写入端全部静默丢数据(客户端只打日志)。
实测:修前 A/B/C 三形状 400;修后全 201,且 metadata.source 仍被正确解析。
source 读取加类型断言,非字符串忽略(该字段是 metadata 里唯一被消费的键)。
验证:go build ok / go vet ok / go test ./internal/api/routes ok /
真实路径 HermesZhiYiMemoryProvider.sync_turn → _flush_queue 3 条全部落库。
2026-09-26 23:27:07 +08:00
小唯
db0395eb15
fix(memory-source): 补上读回环 —— IPC Search 解包结构缺 source 字段导致 recall.source 恒空
...
- lancedb_ipc.go Search: raw 解包结构新增 Source 字段 + 构造 MemoryRecord 时带上 Source
(写库早已带 source,但主读路径不解析 → recall 侧永远空,链路看着通实则断在这一环;
本地兜底路径 localSearch 一直有 Source,故只在 IPC 主路径上复现)
- server.go/core.go: 加 [srcprobe] 诊断日志(commit 收到的 source / 蒸馏落库时的 mem.Source)
2026-09-26 22:10:44 +08:00
小唯
88f610aa1e
feat(memory-source): 打通 commit→distill→memories.source→recall 全链(含 metadata.source 与 wiki:<路径> 标记)
...
- recall.go: RecallResult.Source = 记忆 source(此前只有 struct 字段没人填)
- distill/engine.go: DistillInput.Source(来源透传)
- auto_distill.go: AutoDistillTrigger 增加 source 参数并透传
- routes/core.go: /commit 请求体新增 source + metadata(此前缺失 → Go 静默丢弃 → 入库恒空)
- server.go: 蒸馏产物 Source = wiki:<路径>(有出处时),手动蒸馏端点也支持 source
- 清理 worker 误提交的 15MB 二进制(go/cmd/zhiyid/zhiyid-new)并加 .gitignore
2026-09-26 21:43:54 +08:00
小唯
8026142a08
feat(memory-source): commit→distill→memories.source→recall 打通来源(集合笔记路径)
2026-09-26 21:35:29 +08:00
小唯
fee8baaefb
fix(hermes-zhiyi): 功能合并 —— 961正本(async prefetch/deep search/social过滤) + 815健壮性(timeout60/key/防误判) + recall全库修复
...
根因:此前用「部署副本」整体覆盖「正本」,丢掉一整条功能分支
(git ad4e9b7 早有警告:'保留 prefetch/social 功能,勿用部署副本整体覆盖')。
合并结果(972 行,生效于 hermes-agent/plugins/memory/zhiyi/):
- 保留正本:_is_social_close 闲聊过滤 / _async_prefetch 异步预取 / _async_deep_search 本地文件深度检索
- 移植部署版:ZHIYI_TIMEOUT 10→60(蒸馏满载时 recall>20s 会被静默吞成'无记忆')
_load_zhiyi_key 健壮版(异常+明确报错,替代 _read_main_key)
recall 失败返回 ⚠️ 条目(防止把服务异常误判成'没有记忆')
- 含 t_4171e2ad recall 全库跨 ns 修复
验证:py_compile OK;插件级 recall 2/2 命中 a06-main(0.9231/0.9259);4 项功能清单核对齐全。
影子副本已加头注释,防再改错。
2026-09-23 21:43:33 +08:00
小唯
33952ff4d3
fix(hermes-zhiyi): 与真正生效的内置插件对齐(单一真相源)
...
根因:memory provider 发现是 bundled-first(plugins/memory/__init__.py:121
find_provider_dir 命中内置即 return),生效文件是
hermes-agent/plugins/memory/zhiyi/__init__.py(808 行),
不是 ~/.hermes/plugins/zhiyi/(被 shadow)也不是本仓库副本。
本仓库副本现同步为内置版内容,三份 md5 一致,杜绝漂移。
t_4171e2ad 修复在生效版上已验证:recall('SOUL.md 精简…') 2/2 命中
a06-main(score 0.9231 / 0.9087)。
2026-09-23 20:14:29 +08:00
小唯
41ecdaa5ea
fix(hermes-zhiyi): 插件与 ~/.hermes/plugins/zhiyi 加载版对齐 —— 单一真相源 t_4171e2ad 修复
...
此前 4fb0799 改的这份不是 gateway 实际加载的:hermes plugins/zhiyi/plugin.yaml
entry=__init__.register → 加载的是 ~/.hermes/plugins/zhiyi/(34KB 旧版),
memoryweave/plugins/hermes-zhiyi/(44KB)是另一份源码树。
现以加载版为准打 t_4171e2ad 修复(recall 默认全库跨 ns + prefetch 不带 agent_id),
并同步覆盖到 memoryweave 树,消除双副本漂移。
2026-09-23 19:41:53 +08:00
小唯
4fb07994df
fix(hermes-zhiyi): recall 默认全库跨 namespace 检索(修复 memory_search 看不到 a06-main 的问题, t_4171e2ad)
...
- ZhiYiClient.recall: agent_id 默认 hermes-a06 → None, namespace 可选
- prefetch: 改为全库检索(原 ZHIYI_AGENT_ID 默认值导致只搜 hermes-main)
- commit/写入侧语义不变;备份 ~/.hermes/backups/zhiyi-ns-isolation-fix-20260923/
- 验收: 改后 recall('SOUL.md 精简…') top1 = a06-main worklog score 0.8847 ✓
- 生效需 gateway 重启(本体批准后执行)
2026-09-23 18:55:00 +08:00
xiaoyi
840881e476
test(integration): 适配 P0 密钥强制(testAPIKey env)
...
根因:3a3e019「密钥强制 + 去硬编码回落」后,集成测试仍用旧值 zhiyi-dev-key-2026
(既非 env、也非 keyfile primary、非 legacy 行)⇒ 7 处请求全 401,4 个测试红
(TestIntegration_GraphFlow / TestIntegration_AgentRegisterFlow / TestEdge_EmptyCommit /
TestEdge_TriggersFired)。3a3e019 本身未同步测试。
修法:TestMain 设 os.Setenv("API_KEY", testAPIKey)。注意 auth 读的是 API_KEY
(不是 ZHIYI_API_KEY);env 优先于 keyfile ⇒ 测试既不依赖也不触碰生产 keyfile。
(附带核实:auth 在 apiKey=="" 时会生成随机密钥并写生产 keyfile;实测未被触发,
keyfile mtime 仍 01:05、值未变。)
验证:根包 go test 全绿;生产 keyfile 未变动。
2026-09-22 09:57:58 +08:00
xiaoyi
a7d6625aeb
test(distill): mock LLM 按 path 区分槽位探测与蒸馏调用
...
根因:19afe3b 引入 probeLLMSlots(GET /props 探本地 2B 槽位),而 mock LLM 的
handler 不检查 path、对任何请求都 calls++ ⇒ 断言「B 触发后恰好 base+1 次 LLM 调用」
被 flush 前后的两次探测撑成 base+3,TestCommitConflictGate_E2E 恒 FAIL。
修法:mock 对 /props 返回 {"total_slots":1} 且不计数 —— 探测不是「蒸馏 LLM 调用」。
不放松断言(判据本身是对的,是 mock 口径错了)。
验证:TestCommitConflictGate_E2E PASS;该包 go test 全绿。
2026-09-22 09:57:58 +08:00
xiaoyi
7c0affde65
recall: RecallResult 带 namespace/agent_id 来源(全库召回可分辨归属域)
...
背景:09-22 把 daemon 召回作用域放开到全库(金标 ID 命中 8/14 → 12/14),
但 recall 返回体只有 id/content/category/score/timestamp,调用方无法分辨
某条记忆属于哪个域,会把分身的私有记忆当成自己的用。
改动:
- models.RecallResult 加 Namespace / AgentID(json omitempty,旧调用方无感)
- recall.go 主路径构造点带上 c.Namespace / c.AgentID(MemoryRecord 本就有这两个字段)
图谱扩展路径(graph_*.go)无 ns 概念,留空由调用方处理。
验证:go build ./... OK / go vet OK / internal/storage 测试 OK。
注:internal/api/routes 的 TestCommitConflictGate_E2E 为既有失败(改动前同样 FAIL,已用 git stash 证伪)。
2026-09-22 09:32:44 +08:00
小唯
cb9a182c77
rerank: RERANK_ENDPOINT 指向本地 8001 bge-embed(local cosine rerank)
2026-09-22 01:59:10 +08:00
小唯
003f43834d
security: 迁移活消费者到主密钥 + keyfile 读取(legacy 行删除收口)
...
- plugins/hermes-zhiyi/__init__.py: ZHIYI_API_KEY 读 keyfile 主密钥(env 优先)
- cli-anything/.../client.py: DEFAULT_KEY 读 keyfile
- deploy/zhiyi-backup.sh: curl 用 $ZHIYI_KEY(从 keyfile 取)
- 配合 keyfile 删除 legacy: 行后全系统活消费者零旧 key 残留
2026-09-22 01:07:10 +08:00
小唯
2150e94cb8
fix(AC2): total_episodes 缓存兜底改名 episodes_cached(t_a838377a)
...
Rust sidecar 缺失 total_episodes 时的回退值原为 len(_local.episodes)
(进程内缓存,重启清零)却以 total_episodes 键名暴露 → 消费者误以为是真实总量。
现改为 episodes_cached 键名 + 各消费方 fallback 读取 episodes_cached + /api/v1/metrics 标注 episodes_source_cached=1。
生产验证:当前 Rust 返回 total_episodes=58284(count_rows 真实值),兜底分支不触发。
2026-09-21 23:30:59 +08:00
小唯
67cb262863
chore(governance): commit conflicts_gauge_test.go (t_8fce80e8 conflicts_pending gauge test, missing from 5450f29)
2026-09-21 23:05:15 +08:00
小唯
5450f29740
t_949840b1: 金标单一真相源收口 + candidates_scanned 名实相符 + 基线校准 diff=0
...
- 金标单一真相源:go/internal/api/routes/testdata/golden-set.json 为唯一数据文件;
Python 量具 golden-check.py 直接读仓库版(旧 ~/.hermes/scripts/tools/golden-set.json
副副本已归档到 .archive/20260921-golden-set-legacy-dup/)
- 基线校准:item4「牧尘喜欢什么样的工作方式」expected_ids 更新为当前稳定值
mem_1789834428978989104(旧基线 mem_1789837840173161705 已掉出 top-5)
- 两量具(Go TestEvalGolden_Live + Python golden-check.py)同批金标 14 条
分类差异 diff=0(独立复算确认)
- candidates_scanned 字段契约:RecallWithMeta 额外返回候选池真实大小
(ANN 粗检索池,非最终产出数),不再用 len(results) 覆盖
- 构建+测试:go build ./... 通过;go test ./internal/storage 通过;
routes 包 TestCommitConflictGate_E2E 在改动前后均挂(预存,非本次引入)
2026-09-21 22:55:03 +08:00
小唯
f50f08d24c
fix(distill): callLLM5D prompt 增加保留结构化前缀指令 (t_9c86d44d)
...
上游 t_02616d50 定性:68% 质量闸门丢弃率 ~48/50 全丢样本为误杀
(bypass 设计对,但 LLM 重写丢了 牵挂:/画像: 等前缀 → 门禁按无前缀拒绝)。
最小改动:prompt 第 2 条指令后追加 1 条例外——原文以结构化前缀
(牵挂:/画像:/心迹:/偏好:/习惯:/目标:)开头时,生成的 fact 必须
保留原前缀,不改写为自然句。0 门禁逻辑改动。
AC2 验证(本地 2B MiniCPM5-2B via 8081 队列代理):
5 条全丢样本首轮 3/5 保留前缀,2 条空 facts 为 2B 非确定性,
复测 4/4 全保留 → 两轮合并证据 5/5 全覆盖,改进前为 0/5。
未部署,等 09-23 统一变更窗口。
2026-09-21 22:53:08 +08:00
小唯 and prof-cloud
19afe3bfe2
perf(distill): AC2 concurrency matched to local 2B slots (t_9b2c7943 AC2)
...
AC2: concurrency no longer hardcoded 3, now matched to local 2B slot count.
Probe endpoint /props total_slots at startup and before each flush;
effective concurrency = min(slots, distillConcurrencyMax=3).
Probe failure (404/non-JSON/conn refused) conservatively defaults to 1
(serialize rather than hammer unknown slot limit).
Criterion (from 小怡): if 429 ratio rises instead of falls, slots are
overrun, must dial down. Measured 2026-09-21: 106 llama-server is
single-slot (total_slots=1) -> matched concurrency=1.
Changes:
- Engine gains concurrency field (effective concurrency, default 1)
- NewEngine calls RefreshConcurrency() at startup
- flush() re-probes via RefreshConcurrency() before each round to
track slot changes after deploy
- probeLLMSlots: GET /props read total_slots; fail/404/nonJSON -> 1
- log lines print actual effConcurrency (no longer constant 3)
Tests (engine_concurrency_test.go rewritten, all PASS):
- slots 5 > cap 3 -> concurrency=3 (cap protects 2B)
- slots 2 < cap 3 -> concurrency=2 (matches slots)
- slots 1 (106 single-slot status quo) -> concurrency=1 (serial)
- /props 404 -> conservative concurrency=1
- peak concurrency <= min(slots,cap) and >=1 (truly effective)
NOT deployed / NOT restarted zhiyid (waiting 09-23 window; the AC2
30min before/after comparison is a separate evidence step).
Co-Authored-By: prof-cloud <prof-cloud@hermes>
2026-09-21 22:32:48 +08:00
xiaoyi
4f947cecef
fix(zhiyi-cli): resolveAPIKey 支持多行 key 文件(原实现把整份文件当密钥 → 必然 401)
...
卡 t_4fab32c1 的 CLI 改动(去硬编码默认 key,env→文件→报错)+ 小怡修正多行解析。
实测:/tmp/zhiyi-cli-verify stats 走 key 文件成功返回(记忆 10607 / episodes 57347 / 队列 3)。
2026-09-21 22:08:02 +08:00
xiaoyi
36cbb51019
chore: 忽略 go/zhiyi-cli、go/zhiyid 构建产物(worker 遗留 7.9M 二进制)
2026-09-21 21:59:21 +08:00
小唯 and prof-cloud
c7ceb11cda
fix(distill): LLM 调用退避/熔断 + 截断 JSON 容错 (t_9b2c7943 AC1+AC3)
...
AC1: callLLM5D 遇 429/5xx 指数退避+抖动重试 (<=2 次额外重试, 单次退避 <=8s,
+/-25% 抖动防惊群)。原实现首次 429/网络错即 return err, 上层立刻
fallbackSingle 启发式降级 (质量下降)。现在先退避重试, 真超限才走 fallback。
AC3: max_tokens 1200 提到 2400 (prompt "facts 要详尽" 与 1200 自相矛盾,
截断 JSON 导致 parse 失败丢整条)。新增 recoverTruncatedJSON: 被
max_tokens 截断的 JSON 用 [ { 栈补齐 + 闭合未闭字符串 + 截到最后一个
配平 } 救回"最后完整对象", 不再直接 parse 失败。救不回时返回 error,
上层 fallbackSingle (保留启发式 fact)。
新增测试 engine_backoff_recover_test.go (5 个):
- 429->200: 调用次数>1 / 两次间隔>0(真退避) / 最终成功未走 fallback
- 5xx->200 同样恢复
- 截断 JSON 救回 facts (含尾部垃圾、无骨架两条边界)
仅改码 + 提交, 未部署/未重启 zhiyid (等 09-23 窗口, 见卡 AC2)。
Co-Authored-By: prof-cloud <prof-cloud@hermes>
2026-09-21 21:58:52 +08:00
xiaoyi
3a3e019c03
feat(auth+zhiyid): 监听默认本机(ZHIYI_BIND) + 密钥强制(去硬编码回落) + /metrics 纳管 + 过渡期 legacy 兼容
...
卡 t_4fab32c1 的 AC1/AC2/AC3 实现 + 小怡 09-21 21:5x 过渡期补丁(legacy 行放行+限频告警)。
已部署并验收:127.0.0.1:7821 / 无key 401 / legacy 200 / 主密钥 200 / /metrics 无key 401 / /health 200 / LAN 不可达。
回滚点:~/.hermes/backups/zhiyid-sec-20260921/zhiyid-new.bin-2151
2026-09-21 21:56:47 +08:00
xiaoyi
e01181e40f
feat(auth): 绑定默认本机 + 密钥强制(无硬编码回落) + /metrics 纳管 + 过渡期 legacy 兼容
...
来源:卡 t_4fab32c1(AC1/AC2/AC3 代码)+ 小怡 09-21 21:5x 过渡期补丁。
过渡期补丁原因:hermes 记忆插件在 import 时读 ZHIYI_API_KEY(运行中的网关不重启不重读),
另有 8 个本地脚本持旧密钥 → 直接轮换会瞬间打断记忆读写。
故 key 文件支持多行:主密钥 + legacy: 行(放行并打 DEPRECATED 日志,限频 10min)。
收口条件:客户端迁移 + 网关重启后删除 legacy 行。
已部署(21:55,systemctl stop→replace→start):ss=127.0.0.1:7821、无key 401、legacy 200、
主密钥 200、/metrics 无key 401、/health 白名单 200、LAN IP 不可达。契约测试 TestParseKeysMultiLineFormat PASS。
2026-09-21 21:56:25 +08:00
小唯
ffaa3de14d
test(eval): CALIBRATED 结构化记录 + item4 已知漂移文档化 (t_a70b07e1)
...
- eval_test.go: TestEvalGolden_Live 逐条输出 CALIBRATED JSON 记录(i/query/top1/ids/kw_hit/id_hit/error),
供统一口径分类器(classify.py)复算 go/py 两量具分类差异。反证测试注释补 N=5 口径说明。
- golden-set.json: description 补 item4 已知漂移说明(基线 mem_1789837840173161705 漂移,
现稳定 top-5 成员 mem_1789834428978989104;两量具对该条可能差一级,待人工校准后 diff=0)。
2026-09-21 21:40:24 +08:00
小唯
5250eb1c2e
fix(eval+recall): 统一金标判据口径 N=5 + candidates_scanned 语义修订 (t_a70b07e1)
...
AC1: 两量具统一为「取 recall 返回前 N=5 条查关键词」——Go 量具(eval_test.go)原本就查 top-5,Python 量具(golden-check.py)原本只查 top-1,同批 14 条金标出现矛盾分类。N=5 写入 eval_test.go 注释 + golden-set.json 说明字段 + golden-check.py 头注释三方一致。
AC2: candidates_scanned 不再是 len(results) 的代理值——语义修订为「主路径(Pipeline.Recall/graph 兜底)产出候选数,在 E4.2/wiki 补充扩展之前捕获」,与最终 count 解耦。字段名保留(消费方兼容),全部消费方注释同步。keyword 路径恒 0。
- core.go: Recall 端点契约注释 + annScanned 捕获点注释(4 处)
- eval.go: checkKeywordRelevance/RunGolden 口径注释
- eval_test.go: liveRecallOnce/keywordHitAnywhere/TestEvalGolden_Live 口径注释 + CALIBRATED 结构化记录行(供分类器复算 go/py 差异=0)
- golden-set.json: description 说明字段补 N=5 口径
- golden-check.py: N_TOP=5 前 N 条口径 + CALIBRATED 记录行(仓外文件,另行提交)
2026-09-21 21:34:04 +08:00
xiaoyi
b7fae4c23b
perf(distill): 单轮 flush 内并发蒸馏(concurrency=3)+ flushing 守卫防重叠 + dailyUsed 竞态修复
...
实测瓶颈定位:摄入 ~132 条/min vs 蒸馏 11.6 条/min。
batchSize 只决定一轮取多少条(实测 batch 恒为 10、token 阈值从未触发),
真正瓶颈是 flush 内**串行**的 LLM 调用(每条 1 次 callLLM5D ≈ 5.2s)。
改:并发调用 LLM(写回仍串行)+ 防重叠守卫 + dailyUsed 原子累加。
测试:-race 下 peak=3、耗时 403ms vs 串行 1.2s、重叠触发不叠加并发、9/9 无丢条目。
未部署:等 09-23 织忆观察窗结束再上线(重启会重置日计数器污染判据)。
2026-09-21 21:27:01 +08:00
小唯
4dfe8195a9
feat: implement 72h conflict suppression gate with persistence (seenPairs) and unit/E2E tests
2026-09-21 18:57:24 +08:00
小唯
e1985dfe32
test(eval): AC 验收 — 全量金标实跑 + 反证 + 空断言自守(t_d2380cd7)
...
eval_test.go(332 行,新增):
- TestEvalGolden_CounterEvidence(AC①反证):item[0] 故意改成
mem_0000000000000000000 → 该条必须 FAIL(判据非恒真)
- TestEvalGolden_Live:14 条全量实跑,一次 HTTP 同时拿 ids+contents,
每条 200ms 间隔;429 读 retry_after_s 退避;结尾打印真实数字
- 判据分层:ID 漂移但内容切题 → WARN;关键词未命中 → 硬 FAIL
- 校准基线:pass=11/14(fail=1 MMR;warn=2 ID 漂移)
2026-09-21 18:55:07 +08:00
小唯
5b4f7cd95a
fix(eval_test): uid→ids 构建错误(t_2d4e3b92 AC②④)
2026-09-21 18:48:38 +08:00
小唯
0b765ccc8b
fix(api): 统一错误体 schema — 失败返非 2xx + {"error":{code,message,retry_after_s"}} (t_2d4e3b92)
...
- recall 后端故障 502 recall_backend_error / keyword 编码失败 非 2xx(此前返 200 + 异形 body)
- 401 unauthorized / 429 rate_limit_exceeded 由扁平 error 字符串改为统一对象
- 成功体补 annScanned,区分「真无匹配」与「依赖故障」
- 新增 routes + middleware 两组形状契约测试(含反证:历史扁平/旧限流体必须被判错)
2026-09-21 18:34:21 +08:00
小唯
41e95aa36d
chore: 收工 eval.go gofmt + server.go 未提交杂项
2026-09-21 18:14:24 +08:00
小唯
5eccbaef03
chore(api): 收工未提交杂项 core.go/eval.go/testdata
2026-09-21 18:12:18 +08:00
小唯
c6be6a4cd5
fix(governance): DedupeActive 改为归档+审计,不物理删除 (t_0fdee22a)
2026-09-21 18:09:09 +08:00
小唯
d4d5db266a
feat(governance): 冲突队列保留策略+去重(t_4ce53193) - sha256去重键+7天保留期+归档审计+挂进t_consolidation触发器
2026-09-21 17:32:50 +08:00
小唯
1060e62066
fix(admin): /memories 与 /memories/export 改用全表扫描(Scan),弃零向量 ANN
...
病根:两个列表/导出端点一直用『零向量 ANN』冒充『列出全部』——零向量没有方向,
ANN 退化成本存储序前 N 行,再按 ns 客户端过滤 ⇒ 计数完全失真
(实测 export hermes-main 报 1 条,真实 139+;shared 报 0,真实 29)。
修复:
① Rust lancedb_ops: scan_for_forgetting 加 namespace 下推(only_if),limit 作用于过滤后结果集
② Go 接口 LanceDB 新增 Scan(limit, ns):
- RustLanceDBClient → lancedb_scan RPC
- SQLiteClient → SELECT ... WHERE is_deleted=0 [AND ns] ORDER BY created_at DESC LIMIT
- MemLanceClient → 内存 map 过滤 + created_at 倒序
③ 两个端点 ListMemories / ExportMemoriesMD 改用 aa.LanceDB.Scan(limit, ns)
④ 补 mock(zz_commit mockLance / write-buffer fakeLDB)+ 5 条新判据
(全表 3 / hermes-main 2 / shared 1 / limit 生效 / 不存在 ns 0)
2026-09-21 16:36:41 +08:00
小唯
1b937cc990
fix(recall/debug): 诊断端点 ns 解析与生产路径对齐(全库模式=单次空过滤检索 topK=200)
...
recall/debug 自带一套 nsList(["", "shared"])→ 与 RecallPipeline 的单次全库检索不一致,
诊断输出「2 namespaces」会误导排查。改为同一规则,保证 debug 如实反映生产召回。
2026-09-21 15:18:20 +08:00
小唯
266a85a5d2
fix(recall): 默认调用改全库跨命名空间召回(t_24eceed0 返修)
...
病根:纺忆写入侧按 agent/域把记忆分到 19 个命名空间(实测 300 采样:
hermes-main 139、wiki-curator-main 35、wiki 30、shared 29、soulful-xiaowei 27、
a06-main 11、domain:* 13…),而默认调用(无 namespace / 无 agent_id)
被推导成 default-main ⇒ 只搜 default-main+shared,全表 10172 条实测仅得 11 个候选,
99.9% 记忆在默认召回的盲区(t_24eceed0 worker 交付只改了推导来源,未解决跨 ns)。
修复:
① api/routes: 新增 resolveRecallNamespace() 纯函数 —— 显式 ns 原样、只有 agent_id 才推导、
两者都空返回 "" 表示全库;Recall 与 RecallDebug 共用同一函数(debug 如实反映 recall)
② storage/recall.go: namespace=="" → Search(..., 200, "") 全库单次检索(空过滤=不过滤),
候选池上限 50→100;显式 ns 路径完全不变([ns, shared])
③ 全库模式下关闭两段补丁式补搜(shared / wiki-curator-main),避免重复候选与白花 embedding
测试(8 条,含反证):
- routes: resolveRecallNamespace 5 用例(核心判据:空+空 必须返回 "")
- storage: 全库单次检索(记录 Search 实参)/ 显式 ns 保持 [ns shared] / shared 不重复搜
- 反证:还原旧行为 → 两组量具均 FAIL ✓("默认调用被解析成 hermes-main,又只能看到极小一片记忆")
踩坑记录:stub 用嵌入接口技巧时须一并覆写 Update(),否则后台 recall_count 回写 goroutine
落到 nil 接口 panic。
2026-09-21 15:15:07 +08:00
小唯
1b2bd417b2
fix(governance): IsContradiction 前置门 — 噪声会话段跳过 + bigram 内容词主题门
...
根因(t_35095c29 复盘):原判据只看否定词差异,不检查两侧是否谈同一主题。
左侧常为会话原文('用户: [kanban] Task t_xxx…'),与右侧任何事实陈述被误判冲突,
106/142 条 pending 假阳性(75%),致蒸馏反复跳过→召回不到。
修复(governance.go):
① noiseSessionPrefixes + isNoiseSessionContent:任一侧为会话噪声段 → 直接判不矛盾
② stopChars + contentBigrams + hasSharedContentWord:中文相邻双字内容词(滤停用字),
无交集即主题无关 → false
③ 实测量具(conflict_fp_fix_test.go,106 条样本 = 19 个不同对):
原版 18/19 判冲突(假阳性 94.7%)→ 修复后 1/19(剩余 1 对真实同主题'蒸馏模型',
漏检方向安全,不跳过蒸馏,交给 recall/feedback 收敛)
④ 反证:撤前置门 → 量具回到 4/19 FAIL ✓ 量具具备鉴别力
测试:conflict_fp_fix_test.go(10 断言 + 量具)、conflict_false_positive_test.go
(12 条历史假阳性样本回归,保留 worker 有价值测试)、conflict_sample_baseline_test.go
(基线量化)全过。
2026-09-21 14:04:40 +08:00
小唯
2d38d8d120
fix(api): recall 默认 namespace 用 classifyNamespace 推导(query 近似 content)+ shared 回退条件改为 (0, top_k)
...
来源: t_24eceed0 run790 worker 改动,小怡补部署 + 清理误建的根级 go.mod
- core.go: req.Namespace=='' 时由 deriveNamespace 改为 classifyNamespace('general', agentID, query)
→ 无 ns/无 agent_id 时按 content 关键词推导,技术类 query 归 shared,其余归 agent 私有 ns
- shared 回退: len(results)<3 改为 0<len(results)<topK 时补充搜 shared(避免有结果时重复补)
- 删除 worker 误建在仓库根的 go.mod(真实模块定义在 go/go.mod)
验收: go build OK + go test internal/api/routes 3.7s ok + /proc/exe 无 deleted + shared 不变量回归通过
2026-09-21 13:00:54 +08:00
小唯
84c21803c0
fix(distill): 日限额按日历日重置,修复跨日不归零导致蒸馏永久冻结
...
checkDailyLimit 原用 time.Since(dailyReset) > 24h 判断跨天,
若进程重启点晚于当日 00:00,则次日重启点之前不会归零 ->
dailyUsed 达上限后持续 FALLBACK 直到重启时刻(2026-09-21 实测冻结 84min)。
改为比较年月日;跨日时清零并把 dailyReset 设为当日 00:00。
新增 engine_dailylimit_test.go 三个用例(同日保持/跨日清零/复现冻结场景)。
2026-09-21 12:04:40 +08:00
小唯
3b8ecba48e
perf: 织忆内存/碎片双治本 — PageRank O(V+E) 重写 + 写入去抖 + 在线VACUUM
...
1. PageRank 三重循环 O(47k×374k×20≈3.5e11) → 入边表 O(V+E):
单次 full 整合 4h41m → 95.2s,内存峰值 3.8G → 237MB(实测)
2. 图谱修剪 merge 边 id 加 relation + INSERT OR REPLACE:
修复 09-18 起 UNIQUE constraint 静默失败 → 主库首次跑消 9.8万冗余边
3. LanceDB 写入去抖(server.go + validator.go):
被动验证只写 Confidence 实际变化的记录;原先每输入重写全库 6000 条
→ 版本快照 O(n²),每日 ~1.9万版本/十几G 膨胀的根因
4. 新增 scripts/lance_vacuum_online.py:在线 VACUUM(不停服务)+
24h 版本窗口(可回滚)+ 行数门禁(减少才报警);替代停服务版
每日 vacuum → cron 已改为在线版
实测:侧车 RSS 1.09G→69MB;memories 分片 5383→1;服务全程在线
2026-09-21 10:17:56 +08:00
小唯
daab83337b
feat(governance): 冲突持久化 + 禁止静默 dismiss(链路空转修复)
...
问题(2026-09-20 实测):
1) ConflictDetector.active 是纯内存 map,zhiyid 重启即清零
(17:17 重启后原先 pending 的 5 条冲突全部消失)
2) server.go 的 conflict_muchen 处理器把未匹配策略的冲突改写成 dismiss 再 Resolve,
且记成 RecordConflictResolved(true) —— 每条 pending 最多活 10 分钟即消失、
auto_resolve_rate 虚高、冲突从不进入任何人视野
(实测 17:19 建的冲突,同进程几分钟后 pending:0,未重启)
3) Conflict 不留两侧原文 ⇒ 事后无法核实真假矛盾(上一 commit 已加字段)
改动:
- governance:ConflictDetector 增 path + load/persistLocked(全量原子落盘 tmp+rename);
新增 NewPersistentConflictDetector(path);NewConflictDetector() 保持纯内存(测试安全)
- Scan/Resolve 变更后落盘
- server.go:检测器改用持久化构造(落盘失败降级内存 + 记日志)
- server.go:禁止无脑 dismiss —— 72h 内保留 pending 供人工处置,超期才 latest_wins
自动收敛(真裁决才记指标)
- 新增 conflict_persist_test.go:round-trip / resolve 落盘 / 纯内存不碰盘
未用 SQLite:冲突量级小,引 sqlite driver 需 cgo 新依赖(worker 曾在该方向崩溃
并留下锁重入死锁)。JSON 全量落盘零依赖、无锁重入。
2026-09-20 17:54:40 +08:00