xiaoyi
2a8fc6494e
test(recall): 修 TestRecallWriteBufferTickerFlush 竞态 —— 它等的是中间态而非断言对象
...
现象:该用例偶发假红(实测 5 次里 1 次),报「窗口到点应 flush 1 次,实际 batchCalls=0」,
而同期日志里 flush 其实已发生([recall-buffer] flush: 合并 1 条记忆 → 落盘 1 行, 单事务=true)。
根因:Flush() 是「先清 b.pending、再调 BatchUpdate」;用例等 len(pending)==0 就断言,
会抢在 batchCalls++ 之前 ⇒ 读到 0。同文件 TestRecallWriteBufferThresholdFlush 用的才是正确
写法(直接等 batchCalls>0)—— 本次统一成后者。
验证:修正后连跑 20 次 20/20 绿;反证(把等待条件改回中间态)连跑 20 次红 4 次 ⇒ 竞态真实存在。
全仓 go test ./... -count=1:失败包 0 / 失败测试 0 / 通过包 9。
本提交仅改测试文件,不改变构建产物。
2026-10-09 13:20:36 +08:00
xiaoyi
f0cd747873
fix(distill): 取回被埋的 trimPartialUTF8 —— 按实测定性为「产物净化」
...
来源:仓库里 2 个未落地的 stash(2026-10-08 的 8356401 与 f87fb17),取出后实测重新定性。
原 stash 注释的说法(残字节会让 json.Valid 判非法、必须在解析前削掉)经实测不成立:
216 个截断点 × 4 种形态(数组对象/行协议/单对象/裸数组字串)下,recoverTruncatedJSON
加不加本函数,逐点 ok/valid 签名完全一致(SIG 相同)—— encoding/json 容忍字符串内部的
非法字节(解码时替换为 U+FFFD),所以它并不改变解析结局。
它真正改变的是产物内容:不加本函数时,字符中间截断救回的结果里仍带残字节
(数组对象 73/73 点、行协议 42/73 点),这些字节随后会被 Unmarshal 静默替换成 U+FFFD
写进记忆库;加上后残余为 0。故本次按「产物净化」落地,注释也改成实测口径,
并写明「不要用『加了它 json.Valid 才通过』当判据」。
验证:新增 5 条用例(含反证——不削残字节的产物含非法字节;以及全截断点扫描 0 脏产物)全过;
全仓 go test ./... -count=1 连跑两次:失败包 0 / 失败测试 0 / 通过包 9。
2026-10-09 13:09:28 +08:00
xiaoyi
fe8126dd85
fix(recall): 缓存键补 topK/diversity + 失效改前缀寻址,修 main 上 3 个长期红用例
...
一、3 个 recall 命名空间测试长期红灯(真因:测试对全局缓存不设防)
RecallWithMeta 命中缓存即提前返回,而 SearchCacheInstance 是带 Redis L2 的包级单例
(跨 test 运行持久)⇒ 一旦缓存里有同 (query,namespace) 条目,Search 永不被调用。
用例断言「Search 被调用几次」,于是恒红。修:用例内隔离该全局(存值→置 nil→Cleanup 还原),
并补一条反证用例 TestRecallCachedPathSkipsSearch 固证「命中缓存就不查库」这一机制。
(三次反证均确认有鉴别力:撤掉隔离后两次都假红。)
二、缓存键缺 topK/diversity(真实缺陷,非测试问题)
键原为 (query,namespace),但召回结果随 topK 变化(rerank/MMR 取 topK*2、最终按 topK 截断),
而调用方 topK 各异(eval 用 3 / 5,HTTP 用客户端 Limit)⇒ 不同调用方串用同一条缓存、
拿到条数不对的结果(金标集评分会被静默少算;客户端要 50 条可能只拿到 5 条)。
修:键布局改为 <namespace>\x00<queryHash>\x00<topK>\x00<diversity>,可前缀寻址;
RecallWithMeta 在查缓存前先归一 topK(否则 topK<=0 的调用永远命中不了自己写的条目)。
三、Invalidate(namespace) 是静默空操作(真实缺陷)
旧实现把 entry.Results 反序列化成 map 再读 ["namespace"],而 Set 存的是 []RecallResult
(JSON 数组)⇒ 反序列化恒失败 ⇒ 一个键都删不掉。后果:记忆写入后调用方以为缓存已刷新,
实际最长 1h TTL 内持续返回陈旧召回。修:改为按键前缀匹配 + L2 DelPrefix(RedisCache.DelPrefix
用 SCAN 游标 + 批量 DEL,不用会阻塞 Redis 的 KEYS)。
验证:main 上 `go test ./... -count=1` 失败包 2→0、失败测试 5→0、通过包 7→9;
新增 8 条回归用例;反证 A(键退回不含 topK)、B(失效退回 payload 解析)、C(撤掉缓存隔离)
均确认会让对应用例变红。
2026-10-09 12:59:37 +08:00
xiaoyi
0634e4eb1d
fix(alias): 实体别名表补全英文旧名映射 —— 修 main 上 2 个红测试
...
来源:仓库里 2026-10-08 的 WIP stash(未落地,一直躺着),本次取出验证后落地。
现象:main 上 TestNormalizeAlias_EnglishOldNames / TestUpdateFromDistill_EnglishOldNameNotRevived
长期红灯(normalizeAlias("xiaowei") 返回 "xiaowei",期望「小怡」)。
原因:别名表只有中文「小唯」,漏掉全部英文旧名;实查图谱 n_xiaowei 仍有 7 条边
(源:会话正文里的 Xiaowei / soulful-xiaowei-main 等)。
验证:-count=1 禁缓存全仓测试,失败包 2→1、失败测试 5→3(只剩 3 个长期存在的 recall 命名空间失败,与本次无关)。
2026-10-09 12:39:18 +08:00
xiaoyi
ba3ccd3e12
fix(conflict): 冲突预筛改用候选自身话题信号 —— 修 server.go:249 实体传参致预筛恒真
...
缺陷:调用方给每个候选都塞入「新内容的实体」(同一个切片),Scan 里 e1==e2 恒真
⇒ 实体预筛完全失效。实害:①预筛一条都没过滤;②每条候选跑 len(实体) 次冗余
IsContradiction(线上实测 4~12);③同一 (新内容,候选) 对产出多条重复 Conflict;
④Entity 字段恒记「新内容第一个实体」,与候选无关、事后无法定位共同话题。
更正归因:曾把 conflicts-false-positive 的 106 条假阳性归因于本 bug —— 实测不成立。
869 条真实样本(106 FP + 763 pending)在当前 IsContradiction 下判 true 的为 0,
那些误报的根因是 IsContradiction 自身旧启发式(阈值 0.3 + 单字否定),已于 09-20/09-21 修复。
修法:
- 新增 conflict_prefilter.go:sharesTopicWith 用**字符 bigram Jaccard**做话题交集判据
(不依赖分词/词表,中英改写都稳),阈值 0.15 由实测标定
(假阳性上界 0.118 / 真矛盾下界 0.400;误杀 0 对);
- Scan:候选侧改用自身正文判定,每条候选最多比对一次、最多产出一条 Conflict;
取不到信号时照常比较(宁可多算,不可静默漏检);
- 新增 governance.ExtractEntities:中英混排实体抽取(原有版本只认 ASCII 大写词,
对纯中文恒返回空,直接拿来当修法会让冲突检测整体静默失效);
- server.go:候选实体改为从其正文抽取。
验收:新增 conflict_prefilter_test.go(6 项,含真实生产样本 + 反证测试双向验证)。
基线对照:仅 2 项 alias 测试失败,与本次改动无关(HEAD 即失败)。
2026-10-09 11:54:14 +08:00
xiaoyi
e98565f0c9
fix(recall): 来源加权 λ 移到 MMR 之前 —— 原实现只改展示分不改选择
...
λ 原加在 Step 4 之后的展示分上,候选取舍已由 rerank+MMR 定死,
故 λ 无论多大都不改变结果集合(实测 λ=0.1 vs 0:14 条 query 全部
cache-miss 下 top-10 集合与 legacy 占比 33.57% 完全一致,而逐条分数
位移与理论吻合 legacy -0.0277 / conf1.0 +0.0294)。
现移到 MMR 之前,使选择与展示共用同一套分数;λ=0 时循环不执行,
与旧行为逐字节等价。
2026-10-09 08:46:43 +08:00
小唯
90af029c16
feat(memory): confidence 信任等级字段(Gap#2 来源加权 · 接线全通 · 加权默认关)
...
- schema: memories/episodes/tombstones +confidence(Float64,nullable) +confidence_source(Utf8,nullable)
- 迁移默认值改类型感知 + 一律可空(原 '' 字面量会把列标成 non-null,与 arrow_schema 冲突)
- 6 层接线全通:Rust schema/insert/scan/search → Go 解包/输出构造 → RecallResult
- recall.go: COALESCE(NULL→1.0) + 门控加权(ZHIYI_CONFIDENCE_LAMBDA 默认 0 = 首日 no-op)
- 新增 conf_e2e_test.go 端到端回归(未设 ZHIYI_CONF_SOCK 自动跳过)
- 验证:副本迁移 25→27 列行数不变;显式声明往返 0.5/authoritative;未声明读回 NULL
2026-10-08 20:39:29 +08:00
小唯
d472996f80
fix(distill): SCORE line root causes - truncation guard drops last line; placeholder echo corrupts 5D scores
...
AC3 evidence for t_23f6bce3: two production bugs that made 5D scores all-zero.
(1) ParseLineFormat truncation detection dropped the last line when no END marker was present, but the production prompt never requires END, so a complete final SCORE line was always stripped. Now only drop the last line when it is a FACT/ENTITY (half-record), keep SCORE.
(2) The 2B model copies the example placeholder names is|su|pa|vd|ru into its SCORE line, producing a 7-field line that SplitN limit-6 mis-parses into the placeholder names, giving non-numeric all-zero scores. Now detect the echoed placeholder prefix, take the real trailing 5 fields, and validate each with isValidScoreField (0.0-1.0 float) - invalid fields discard the whole line instead of storing junk.
engine.go: prompt format string reorganized to outer 3-slot + inner content slot (text byte-identical, removes the one-arg-three-slots hazard). Test anchors in engine_echo_test.go and rawscore_liveprobe_test.go updated to the inner format string. New parser tests: echoed placeholder, no-END SCORE preserved, junk field discarded. New liveprobe test TestLiveScoreNotEcho (6 distinct contents, >=3 distinct vectors, no echo vector).
backup-main-before-merge
2026-10-08 16:13:31 +08:00
小唯
9bfe4c217f
fix(p1-1): forget path - counting test + purge-invalid endpoint (t_37ac8a45)
2026-10-08 15:44:04 +08:00
小唯
1d707977a2
fix(distill): 蒸馏输出改行协议(Line Protocol)根治 2B 未转义引号崩溃 (t_180c0179)
...
根因:让 2B 直接产 JSON 是架构层缺陷 —— JSON 单字节错误即全盘崩溃,
2B 格式合规天花板(99.5~99.8%)由参数量决定,prompt 补不上。线上 0.43%(35/8058)
失败,错误形态 invalid character 'æ' after array element,真因是 LLM 输出含
未转义内层引号({"facts":["他说"你好"就这样"]})⇒ 引号提前闭合 ⇒ 解析器认为
数组元素结束 ⇒ 撞上后面中文字节。实测 recoverTruncatedJSON 对这类返回 ok=false。
方案:LLM 只产行格式纯文本,程序负责结构化
FACT|事实全文(第一个 | 之后全是内容,可含 | 和任意引号 —— SplitN(...,2))
ENTITY|name|type(SplitN(...,3))
END
单行格式错误只丢该行;截断只丢最后一行;函数永不返回 error(最差空切片)。
三级兜底链:ParseLineFormat → parseJSONFormat(旧) → 空切片(外层再走 fallbackSingle)
配置开关:ZHIYI_DISTILL_FORMAT=json 一行回退旧 JSON 路径,旧路径全部保留不删。
验证(反例优先):
- AC1 单测矩阵 11 反例全过,含核心反例 FACT|他说"你好"就这样 → 正确解析出 1 条
- AC2 反例验证:注入"实现缺失"后 8 个有内容的用例全 FAIL ⇒ 测试有效(非空转)
- AC3 internal/distill 全过;internal/governance 的 FAIL 经撤销本次改动复测确认
为存量问题(英文旧名归一),与本次改动无关
- AC4 OutputFormat=json 回退路径单测通过
2026-10-08 13:48:19 +08:00
小唯
f4d5d2174d
deploy: t_f57b8bbf root-fix deploy flow - unified deploy.sh + PartOf= coupling + post-deploy verify
...
scripts/deploy.sh: build go+rust -> install (not cp) -> stop/reload/start both -> verify (is-active, no (deleted) inode, running-binary checksum == this build, /health=200). --verify-only flag for check-only. make deploy points at this script (replaces stale /usr/local/bin system-level target). Counter-example: install stale sidecar -> service stays active + health=200 (silent pass) -> make deploy-verify exits non-zero (catches silent fault). PartOf=zhiyid.service drop-in on zhiyi-consolidate + ExecStartPre rm /tmp/zhiyi-ipc.sock; restarting zhiyid now restarts sidecar (ActiveEnterTimestamp updates). deploy/ dir aligned to reality and desensitized (3 plaintext keys removed). Key cleanup in git history is a separate track - this card does not touch history. ACs verified. go test internal/governance failures are pre-existing rename tests, unrelated (this card touches no go/ code).
2026-10-08 11:43:43 +08:00
小唯
23388679b9
fix(health): /health 深检查 sidecar 可达性,故障返 503(防"假绿")
...
背景:2026-10-08 故障 —— sidecar 跑旧二进制时 /health 仍返回 200,
部署失败被静默数小时,只能靠 pgrep 才发现。
- HandleHealth 由静态 200 改为探测 IPC sidecar(consolidate.HealthCheck)
不可达时返回 503 + status=degraded + sidecar=unreachable + error 详情
- 探测函数做成可注入变量 sidecarHealthCheck,便于测试替换
- 新增回归项 TestHealthEndpoint_SidecarDown
- 顺带修复 provenance_observe_test.go 编译失败:provenanceMatch 已在
commit 4fa2e11 改名为 provenanceMeasure,测试未同步 ⇒ 该包自 09-30 起
编译不过、测试从未真正运行(同属"假绿")
2026-10-08 10:51:08 +08:00
小唯
a187275e1b
fix(lancedb): episodes/tombstones schema 迁移 — open() 补齐缺失列 (P0 t_3df364b8)
...
根因:open() 用共享 arrow_schema()(25列) 建新表,但不迁移已存在表。
commit ca45c96 加 embedding_model/script_version 后,memories 重建为 25 列,
episodes/tombstones 停留 23 列 ⇒ Append 25 列静默失败 ⇒ episode 丢失 5.9h。
修复:open() 时对比实表 schema,用 add_columns(NewColumnTransform::SqlExpressions)
补齐缺失列,三表统一走迁移路径。
验收:episodes 118693→118714 行 / 23→25 列 / 最新 03:24:24→09:12:04;
近 90s schema 错 0、commit 冲突 0、写入成功 35 次;tombstones 同步 23→25 列。
部署坑:zhiyi-consolidate 是独立 systemd unit(Wants= 单向),重启 zhiyid 不会重启它。
2026-10-08 10:17:48 +08:00
小唯
5062b380fc
fix(governance): P1 矛盾误报 — 改判据为「剥否定+原始编辑相似度」同一命题检验
...
IsContradiction 根因:单字重叠(≥0.5)对中文误报严重(共用字池高),
且 LCS 窗口定位落在共享样板('|依据:')旁无关否定。
新判据:噪声门 → 否定不对称 → stripNeg → 原始字符编辑相似度≥0.7。
真矛盾句对实测 0.83~1.0;同向扩展/无关句对 <0.5。0.7 留足余量。
对插入虚词(已/了)不敏感,比字符重叠/双字 bigram 更准。
- 回归测试 conflict_p1_regression_test.go:5 误报 + 3 真矛盾,全过
- 保留 containsNegCN/lcsPos 等旧 helper(供 TestContainsNegCN 等)
- 存量 416 条 pending 已全部 archived(reason=detector-false-positive)
conflicts.json 763 条保留为审计记录,pending=0(经 API 验证)
2026-10-08 10:11:55 +08:00
小唯
ca45c96e32
fix(provenance): 落库 embedding_model/script_version 血缘字段 (t_7e3577c5)
...
根因: commit→distill→memory 管线从不在服务端持久化请求 metadata 里的
embedding_model/script_version, MemoryRecord 结构缺这两字段, 导致
zhiyi-vault-ingest.py 已发送的血缘被丢弃, 新写入恒 NULL。
修复:
- Go MemoryRecord + DistillInput 加两字段;
core.go commit handler 解析 metadata→AutoDistillTrigger 透传;
server.go 落库时 orDefault(embedding_model→bge-m3, script_version→unknown);
lancedb_ipc.go 记录 map 带上两字段。
- Rust MemoryRecord + arrow_schema() + insert_batch + 4 处 col_str 读取。
验证: commit 带 metadata → 蒸馏落地 19 行 bge-m3/vault-ingest-2.0.0 (原为 NULL)。
2026-10-08 03:57:30 +08:00
小唯
c4b4aad8e4
fix(distill): 二次修 prompt 锚点 + 原始输出探针,更正「2B 无区分能力」的错误结论
...
- prompt: 彻底移除评分段的示例小数(此前写「例如 0.8/0.7/0.6/0.9/0.7」,
模型转而锚定 0.6 ⇒ 评分从恒定 0.755 变成恒定 0.600,仍不可用)
- 新增 rawscore_liveprobe_test.go:直取 LLM 原始返回 + 异质输入 + 同输入重复,
用于判定模型能力(此前仅看解析后分数、样本同质,证据不足)
- 更正 IsDegenerateScore 注释:实测模型**具备**区分能力(垃圾→0.0,有价值→0.8),
五维塌成同值是常见但非必然的输出形态;该函数仅作观测,不得单独用作丢弃判据
2026-10-06 17:36:26 +08:00
小唯
fc7b8e74bd
fix(distill): 修评分 echo 闸门失效 + 空 id 软删防御(P0-1/P0-2/P1-1)
...
P0-1 治本·去 echo 源
engine.go 的 5D 评分 prompt 曾把示例写成具体数字(0.8/0.7/0.6/0.9/0.7),
模型直接照抄 ⇒ 每条 overall 恒为 0.755(按 Weights 加权)⇒ 永久 ≥0.7 阈值
⇒ 评分闸门从未真正生效,实际只剩「文本长度」在扛质量,生产者于是学会拉长文本过关。
改为类型占位符 <小数>,并显式禁止沿用固定数值组合。
P0-2 治本·echo 检测 + 影子模式
新增 IsEchoScore(比对历史示例向量);闸门命中时默认只记 [SHADOW] would-drop,
不真丢(ZHIYI_SCORE_SHADOW=0 切回真拦)。原因:闸门修好后会首次开始真拦,
需先观察样本分布,避免一次性批量误杀。
P1-1 防御·空 id 软删
DB 存在 id/content 全空的垃圾行 → 命中 <30 字碎片快速道 → SoftDelete("")
→ Rust IPC 拒绝 "id required" → 调用方吞错照样 forgotten++ ⇒ 刷日志 + 计数虚高。
RustLanceDBClient.SoftDelete 入口拒绝空 id;admin.go/server.go 四处调用点
补 id != "" 守卫 + 失败不计数。
测试(均含阳性/阴性对照):
TestIsEchoScore_Positive / _Negative / TestEchoVectorMatchesWeightedOverall
/ TestPromptHasNoEchoLiterals(回归守卫,防示例数字被写回)
TestSoftDelete_RejectsEmptyID / _NonEmptyIDPassesGuard
2026-10-06 17:21:41 +08:00
muc
57c55a7cca
docs(plan): 织忆蒸馏质量链路修复方案(P0-3/P0-4 止血 + P0-1/P0-2 治本 + P1-1 防御)
2026-10-06 15:57:35 +08:00
muc
97bd6afe9f
test(distill): 加 liveprobe 诊断测试 — 打印每条 fact 的闸门逐项判据
...
用真实 episode 原文跑生产同路径(callLLM5D + IsQualityFact),
定位 2026-10-06 13:24 那批 56 条 episode「83% 丢弃」的性质。
build tag liveprobe,不进常规 go test。
2026-10-06 15:02:17 +08:00
muc
1c16cfbdb1
fix(distill): 加 flush 兜底 ticker,根治队列永久冻结
...
根因:flush 触发只挂在 Enqueue 入口(shouldFlush / timeout 两者都只在
「有新条目入队」时求值,全仓无 ticker 驱动)。叠加守卫静默丢弃后:
① 大批量入队撞上在跑的 flush ⇒ flushing.CompareAndSwap 失败 ⇒ 直接 return(无补偿)
② flush 入口即整批取走队列 ⇒ 后来条目不在快照里(原注释「留给它 drain 时
一起取走」的假设不成立)
③ 生产者随后停止 ⇒ 积压永不触发 ⇒ 永久冻结
线上实测 2026-10-06 13:26:09~14:20:27 冻结 57 分钟 / 61 条。
修复:startFlushTicker() 每 batchTimeout 检查一次,有积压且无轮次在跑就补触发;
与 Enqueue 路径共用同一 CAS 守卫,不叠加并发。
回归测试含阴性对照(关掉 ticker ⇒ 测试变红)。
2026-10-06 14:51:43 +08:00
小唯
2633f59f39
fix(graph/rename): 改名单点别名归一——蒸馏写入点小唯→小怡映射,杜绝旧名实体再入图 (t_4c218aae)
2026-10-01 15:03:40 +08:00
xiaoxue
4fa2e11b78
feat(provenance): 阶段2 可溯源判据重定义 + 实测 lcs_len/prefix_hit60 入 jsonl (t_dc412532)
...
AC1 先量后判: jsonl 增记 lcs_len(最长公共子串) + prefix_hit60(前60字命中)。
AC2 判据重定义: 空原文(session 已压缩) -> unknown/source_not_available(不再误判
false/not_in_source); 摘要低 LCS -> unknown/derived_low_lcs(正常改写不可证伪);
命中 -> true(片段可溯源)。依据 24h 分布 true=1/false=8/unknown=193, 8条 false
全来自 session-compress(摘要器)=结构性误判。
AC3 unknown 处置=放行(fail-open): 94.6% unknown 为 writer 侧盲区(无 source),
非内容不可回证; 拒 unknown = 99.7% 拦 = 掐死织忆。
AC4 行为不变: 仍纯旁路观测, 不拒任何写入。
2026-09-30 19:36:09 +08:00
小唯
631241c50a
feat(provenance): commit 引用可复算旁路观测(t_3fbb6cbd 阶段1,只观测不拦截)
...
开关 ZHIYI_COMMIT_PROVENANCE_OBSERVE 默认关。开启时对 /api/v1/commit 做异步旁路观测:
(a) 有 source_uri+quote+quote_sha256 → 复算 sha256 比对(hash_mismatch)
(b) source==session-compress 且 session_id → 去 ~/.hermes/state.db 只读回证(前60字符命中或 LCS>=60)
(c) 其他 → observable=unknown/no_derivation
结果追加 ~/.hermes/logs/zhiyi-commit-provenance/YYYY-MM-DD.jsonl,不改响应/写入路径/拒写入。
AC1 关=零影响已验证;单元测试 TestProvenance*/TestLCS/TestDecideQuoteHash 通过。
2026-09-28 23:27:32 +08:00
小唯
66cb258979
perf(graph/navigate): 响应体积上限 maxNavigatePaths=200
...
实测 navigate("牧尘",2) 单次吐 34,465 条 path = 5.54MB,而全部调用点只读样本
(hermes 插件 paths[:50] / web-ui 只读 count / openclaw 已退役) ⇒ 全量无人消费。
与 /graph/notes 的 maxGraphPaths 同因同治;count 仍报真实总数,新增 returned/truncated 可观测。
2026-09-27 19:15:06 +08:00
小唯
f26126765c
graph: 跨层实体并集 + PathEnds 双键容错 + 邻域展开上限(修 CPU 打爆)
...
- entity_resolve.go: 新增 ResolveEntityIDs / MergePaths / PathEnds / ExtractEntities
- graph_sqlite.go: 新增 NodeIDsByName 精确同名查询(SearchNodes 是 name LIKE '%x%'
LIMIT 100,'织忆' 有 834 条子串命中会把精确同名挤出去 → 并集静默失效)
- graph_cache.go: 转发 NodeIDsByName(包装器不转发 → 类型断言失败 → 静默降级回 LIKE 路径)
- server.go: notes 路径接并集(union=1 opt-in / 0 关闭,响应带 union + entity_ids_used);
navigate 结果统一走 routes.PathEnds —— governance.Navigate 返回的是 from/to,
此前读 source/target 导致并集路径与「邻居进笔记匹配」被整条静默丢弃;
邻域进笔记匹配加 maxMatchEntities=24 上限(2026-09-27 事故:无上限邻域展开
→ 数千实体 × 全库笔记扫描 → CPU 159% / HTTP 超时)
- 单测 5 条,含 from/to 键容错回归
2026-09-27 09:23:03 +08:00
xiaoyi
c7235afcd5
perf(graph/notes): graph_paths 截断到 50 条(1.7MB → 5KB/次)
...
调用方核对:hermes 插件 data.get("notes")、openclaw client.ts r.data.notes、
hermes-zhiyi 旧副本 —— 3 处全只读 notes,无一处读 graph/notes 的 graph_paths
(读 paths 的是 /graph/navigate 那条线)。
实测 entity=织忆:响应 1775KB → 5.1KB,notes 仍 3 篇、score 不变;
paths_count 由 19266 → 50。max_hops/max_notes 语义不变。
2026-09-27 08:30:28 +08:00
xiaoyi
46eaf1a35d
feat(graph/notes): 整句→实体兜底拆解(EntityIndex)
...
问题:调用方(hermes 织忆插件)把整句用户提问直接当 entity 传给
/api/v1/graph/notes,NormalizeEntity 后整句匹配不到图谱节点 → 0 篇笔记,
Obsidian 笔记层在真实对话里几乎不生效。
改动(纯服务端,调用方无需改,也就无需重启 hermes 网关):
- 新增 routes.EntityIndex:节点名词表(PageRank,TTL 10min,后台 45s 预热)
+ 最长/权重匹配把整句拆成候选实体;候选需过 相对权重比(0.15) 与 图谱度数(>=3)
两道过滤,压掉通用词/自动切词噪声节点。
- /api/v1/graph/notes:entity 直查 0 篇笔记时自动兜底拆实体重查;
新增 query 参数;响应新增 mode(direct|nl_extract|none) 与 entities_used。
兜底路径 graph_paths 截断(单实体 20 条、合计 50 条)、参与匹配实体上限 8。
- 覆盖测试 10 个:真实句子拆解/大小写/包含冗余/权重比/度数过滤/TTL缓存与失败退避/nil 安全。
实测(生产 7821):单词实体 entity=织忆 仍 mode=direct 3 篇(回归不变);
整句 "织忆召回会不会给出obsidian实体所在的笔记位置呢" → mode=nl_extract
used=[Obsidian 织忆] 3 篇真路径 0.29s;无意义句 "完全不相干的一句话天气不错"
→ mode=none 0 篇(噪声已过滤)。
2026-09-27 02:19:13 +08:00
hermes
5944df41b5
chore(plugin): 部署副本头部注释同步(权威副本 = hermes-agent/plugins/memory/zhiyi/__init__.py)
...
三副本收敛后的头部说明改写:明确"改内容请改权威副本再同步本文件"(t_4171e2ad 教训:改错副本白重启两次)。
2026-09-27 00:58:03 +08:00
hermes
9d9b92df27
perf(recall): 向量重排 + 查询截断 —— 修掉 Hermes 记忆预取 8s 超时
...
根因(/api/v1/recall/debug 分阶段实测,2026-09-28):
query=60 字 → total 2268ms(encode 39 / ann 188 / rerank 2039 / mmr 0)
query=1200字 → total 9980ms(encode 1441 / ann 189 / rerank 8001 / mmr 347)
query=4000字 → encode 一步就 8000ms
rerank 占 90%+:旧实现(localCosineRerank)把 query + 50~100 条候选文档重新送进
int8 ONNX CPU 嵌入服务,而这些向量调用方本来就有(queryVec 来自 Step1,
LanceDB 返回的 MemoryRecord 自带 Vector)。
修复:
1. Reranker.RerankWithVectors —— 用已有向量直接算 cosine(向量不齐则回退文本路径);
recall 管线与 /recall/debug 同步改用。
2. Embedder.EncodeQuery —— query 侧向量化前按 512 字符截断(RECALL_QUERY_MAX_RUNES 可覆盖),
保护超长 query 的时延;关键词/BM25 路径仍用完整 query。
3. apiRerank 失败不再静默(log 出降级原因)。
实测(同机复验):60字 2268→235ms;1200字 9980→567ms;2000字 16571→547ms;4000字 8000+→502ms。
真实插件路径 prefetch:短 query 1.00s、3000 字长 query 1.25s(预算 8s,余量 6.4×)。
2026-09-27 00:57:39 +08:00
xiaoyi
7904a238ed
selfoptimize: Dashboard 指标落盘补本地 JSON 兜底(Redis 不可用时重启不丢指标)
...
- 病根:server.go 调 EnableRedisPersistence(),但本机无 Redis → GetRedisClient() nil
→ redisPersistence 恒 nil → persist() 首行 return,7 项指标只活在进程内(实测重启即全 0)
- 改:Redis 不可用 → 走本地 JSON(/var/lib/memoryweave/dashboard.json,ZHIYI_DASHBOARD_PATH 可覆盖)
原子写(tmp+rename)、best-effort(读/写失败静默退回仅内存,行为不劣化)
deprecated_today 跨天归零(记 deprecated_date)
- 补:RecordFeedback 漏了 persist() → useful/not_useful 从不落盘(唯一一个漏的 Record*)
- 测:3 个新用例(往返/跨天归零/缺文件坏文件安全)+ TestMain 重定向落盘点
(修前实测:整套测试会把生产 dashboard.json 写成测试数字)
- 验证:重启 zhiyid 后 metrics 仍为 recall_hit_rate=0.33 / recall_usefulness_rate=1(改前恒 0)
2026-09-26 23:56:11 +08:00
小唯
a76847b5d7
fix(commit): metadata 改 map[string]any —— 修 400 静默丢数据回归
...
2026-09-26 88f610a 为带上 source 把 metadata 写成 map[string]string,
而各写入端早就在 metadata 塞数字(hermes-zhiyi sync_turn 的 turn:int、
soulful 与 session-to-zhiyi 的 importance:number)⇒ json.Decode 整包失败
⇒ 400 invalid body ⇒ 这些写入端全部静默丢数据(客户端只打日志)。
实测:修前 A/B/C 三形状 400;修后全 201,且 metadata.source 仍被正确解析。
source 读取加类型断言,非字符串忽略(该字段是 metadata 里唯一被消费的键)。
验证:go build ok / go vet ok / go test ./internal/api/routes ok /
真实路径 HermesZhiYiMemoryProvider.sync_turn → _flush_queue 3 条全部落库。
2026-09-26 23:27:07 +08:00
小唯
db0395eb15
fix(memory-source): 补上读回环 —— IPC Search 解包结构缺 source 字段导致 recall.source 恒空
...
- lancedb_ipc.go Search: raw 解包结构新增 Source 字段 + 构造 MemoryRecord 时带上 Source
(写库早已带 source,但主读路径不解析 → recall 侧永远空,链路看着通实则断在这一环;
本地兜底路径 localSearch 一直有 Source,故只在 IPC 主路径上复现)
- server.go/core.go: 加 [srcprobe] 诊断日志(commit 收到的 source / 蒸馏落库时的 mem.Source)
2026-09-26 22:10:44 +08:00
小唯
88f610aa1e
feat(memory-source): 打通 commit→distill→memories.source→recall 全链(含 metadata.source 与 wiki:<路径> 标记)
...
- recall.go: RecallResult.Source = 记忆 source(此前只有 struct 字段没人填)
- distill/engine.go: DistillInput.Source(来源透传)
- auto_distill.go: AutoDistillTrigger 增加 source 参数并透传
- routes/core.go: /commit 请求体新增 source + metadata(此前缺失 → Go 静默丢弃 → 入库恒空)
- server.go: 蒸馏产物 Source = wiki:<路径>(有出处时),手动蒸馏端点也支持 source
- 清理 worker 误提交的 15MB 二进制(go/cmd/zhiyid/zhiyid-new)并加 .gitignore
2026-09-26 21:43:54 +08:00
小唯
8026142a08
feat(memory-source): commit→distill→memories.source→recall 打通来源(集合笔记路径)
2026-09-26 21:35:29 +08:00
小唯
fee8baaefb
fix(hermes-zhiyi): 功能合并 —— 961正本(async prefetch/deep search/social过滤) + 815健壮性(timeout60/key/防误判) + recall全库修复
...
根因:此前用「部署副本」整体覆盖「正本」,丢掉一整条功能分支
(git ad4e9b7 早有警告:'保留 prefetch/social 功能,勿用部署副本整体覆盖')。
合并结果(972 行,生效于 hermes-agent/plugins/memory/zhiyi/):
- 保留正本:_is_social_close 闲聊过滤 / _async_prefetch 异步预取 / _async_deep_search 本地文件深度检索
- 移植部署版:ZHIYI_TIMEOUT 10→60(蒸馏满载时 recall>20s 会被静默吞成'无记忆')
_load_zhiyi_key 健壮版(异常+明确报错,替代 _read_main_key)
recall 失败返回 ⚠️ 条目(防止把服务异常误判成'没有记忆')
- 含 t_4171e2ad recall 全库跨 ns 修复
验证:py_compile OK;插件级 recall 2/2 命中 a06-main(0.9231/0.9259);4 项功能清单核对齐全。
影子副本已加头注释,防再改错。
2026-09-23 21:43:33 +08:00
小唯
33952ff4d3
fix(hermes-zhiyi): 与真正生效的内置插件对齐(单一真相源)
...
根因:memory provider 发现是 bundled-first(plugins/memory/__init__.py:121
find_provider_dir 命中内置即 return),生效文件是
hermes-agent/plugins/memory/zhiyi/__init__.py(808 行),
不是 ~/.hermes/plugins/zhiyi/(被 shadow)也不是本仓库副本。
本仓库副本现同步为内置版内容,三份 md5 一致,杜绝漂移。
t_4171e2ad 修复在生效版上已验证:recall('SOUL.md 精简…') 2/2 命中
a06-main(score 0.9231 / 0.9087)。
2026-09-23 20:14:29 +08:00
小唯
41ecdaa5ea
fix(hermes-zhiyi): 插件与 ~/.hermes/plugins/zhiyi 加载版对齐 —— 单一真相源 t_4171e2ad 修复
...
此前 4fb0799 改的这份不是 gateway 实际加载的:hermes plugins/zhiyi/plugin.yaml
entry=__init__.register → 加载的是 ~/.hermes/plugins/zhiyi/(34KB 旧版),
memoryweave/plugins/hermes-zhiyi/(44KB)是另一份源码树。
现以加载版为准打 t_4171e2ad 修复(recall 默认全库跨 ns + prefetch 不带 agent_id),
并同步覆盖到 memoryweave 树,消除双副本漂移。
2026-09-23 19:41:53 +08:00
小唯
4fb07994df
fix(hermes-zhiyi): recall 默认全库跨 namespace 检索(修复 memory_search 看不到 a06-main 的问题, t_4171e2ad)
...
- ZhiYiClient.recall: agent_id 默认 hermes-a06 → None, namespace 可选
- prefetch: 改为全库检索(原 ZHIYI_AGENT_ID 默认值导致只搜 hermes-main)
- commit/写入侧语义不变;备份 ~/.hermes/backups/zhiyi-ns-isolation-fix-20260923/
- 验收: 改后 recall('SOUL.md 精简…') top1 = a06-main worklog score 0.8847 ✓
- 生效需 gateway 重启(本体批准后执行)
2026-09-23 18:55:00 +08:00
xiaoyi
840881e476
test(integration): 适配 P0 密钥强制(testAPIKey env)
...
根因:3a3e019「密钥强制 + 去硬编码回落」后,集成测试仍用旧值 zhiyi-dev-key-2026
(既非 env、也非 keyfile primary、非 legacy 行)⇒ 7 处请求全 401,4 个测试红
(TestIntegration_GraphFlow / TestIntegration_AgentRegisterFlow / TestEdge_EmptyCommit /
TestEdge_TriggersFired)。3a3e019 本身未同步测试。
修法:TestMain 设 os.Setenv("API_KEY", testAPIKey)。注意 auth 读的是 API_KEY
(不是 ZHIYI_API_KEY);env 优先于 keyfile ⇒ 测试既不依赖也不触碰生产 keyfile。
(附带核实:auth 在 apiKey=="" 时会生成随机密钥并写生产 keyfile;实测未被触发,
keyfile mtime 仍 01:05、值未变。)
验证:根包 go test 全绿;生产 keyfile 未变动。
2026-09-22 09:57:58 +08:00
xiaoyi
a7d6625aeb
test(distill): mock LLM 按 path 区分槽位探测与蒸馏调用
...
根因:19afe3b 引入 probeLLMSlots(GET /props 探本地 2B 槽位),而 mock LLM 的
handler 不检查 path、对任何请求都 calls++ ⇒ 断言「B 触发后恰好 base+1 次 LLM 调用」
被 flush 前后的两次探测撑成 base+3,TestCommitConflictGate_E2E 恒 FAIL。
修法:mock 对 /props 返回 {"total_slots":1} 且不计数 —— 探测不是「蒸馏 LLM 调用」。
不放松断言(判据本身是对的,是 mock 口径错了)。
验证:TestCommitConflictGate_E2E PASS;该包 go test 全绿。
2026-09-22 09:57:58 +08:00
xiaoyi
7c0affde65
recall: RecallResult 带 namespace/agent_id 来源(全库召回可分辨归属域)
...
背景:09-22 把 daemon 召回作用域放开到全库(金标 ID 命中 8/14 → 12/14),
但 recall 返回体只有 id/content/category/score/timestamp,调用方无法分辨
某条记忆属于哪个域,会把分身的私有记忆当成自己的用。
改动:
- models.RecallResult 加 Namespace / AgentID(json omitempty,旧调用方无感)
- recall.go 主路径构造点带上 c.Namespace / c.AgentID(MemoryRecord 本就有这两个字段)
图谱扩展路径(graph_*.go)无 ns 概念,留空由调用方处理。
验证:go build ./... OK / go vet OK / internal/storage 测试 OK。
注:internal/api/routes 的 TestCommitConflictGate_E2E 为既有失败(改动前同样 FAIL,已用 git stash 证伪)。
2026-09-22 09:32:44 +08:00
小唯
cb9a182c77
rerank: RERANK_ENDPOINT 指向本地 8001 bge-embed(local cosine rerank)
2026-09-22 01:59:10 +08:00
小唯
003f43834d
security: 迁移活消费者到主密钥 + keyfile 读取(legacy 行删除收口)
...
- plugins/hermes-zhiyi/__init__.py: ZHIYI_API_KEY 读 keyfile 主密钥(env 优先)
- cli-anything/.../client.py: DEFAULT_KEY 读 keyfile
- deploy/zhiyi-backup.sh: curl 用 $ZHIYI_KEY(从 keyfile 取)
- 配合 keyfile 删除 legacy: 行后全系统活消费者零旧 key 残留
2026-09-22 01:07:10 +08:00
小唯
2150e94cb8
fix(AC2): total_episodes 缓存兜底改名 episodes_cached(t_a838377a)
...
Rust sidecar 缺失 total_episodes 时的回退值原为 len(_local.episodes)
(进程内缓存,重启清零)却以 total_episodes 键名暴露 → 消费者误以为是真实总量。
现改为 episodes_cached 键名 + 各消费方 fallback 读取 episodes_cached + /api/v1/metrics 标注 episodes_source_cached=1。
生产验证:当前 Rust 返回 total_episodes=58284(count_rows 真实值),兜底分支不触发。
2026-09-21 23:30:59 +08:00
小唯
67cb262863
chore(governance): commit conflicts_gauge_test.go (t_8fce80e8 conflicts_pending gauge test, missing from 5450f29)
2026-09-21 23:05:15 +08:00
小唯
5450f29740
t_949840b1: 金标单一真相源收口 + candidates_scanned 名实相符 + 基线校准 diff=0
...
- 金标单一真相源:go/internal/api/routes/testdata/golden-set.json 为唯一数据文件;
Python 量具 golden-check.py 直接读仓库版(旧 ~/.hermes/scripts/tools/golden-set.json
副副本已归档到 .archive/20260921-golden-set-legacy-dup/)
- 基线校准:item4「牧尘喜欢什么样的工作方式」expected_ids 更新为当前稳定值
mem_1789834428978989104(旧基线 mem_1789837840173161705 已掉出 top-5)
- 两量具(Go TestEvalGolden_Live + Python golden-check.py)同批金标 14 条
分类差异 diff=0(独立复算确认)
- candidates_scanned 字段契约:RecallWithMeta 额外返回候选池真实大小
(ANN 粗检索池,非最终产出数),不再用 len(results) 覆盖
- 构建+测试:go build ./... 通过;go test ./internal/storage 通过;
routes 包 TestCommitConflictGate_E2E 在改动前后均挂(预存,非本次引入)
2026-09-21 22:55:03 +08:00
小唯
f50f08d24c
fix(distill): callLLM5D prompt 增加保留结构化前缀指令 (t_9c86d44d)
...
上游 t_02616d50 定性:68% 质量闸门丢弃率 ~48/50 全丢样本为误杀
(bypass 设计对,但 LLM 重写丢了 牵挂:/画像: 等前缀 → 门禁按无前缀拒绝)。
最小改动:prompt 第 2 条指令后追加 1 条例外——原文以结构化前缀
(牵挂:/画像:/心迹:/偏好:/习惯:/目标:)开头时,生成的 fact 必须
保留原前缀,不改写为自然句。0 门禁逻辑改动。
AC2 验证(本地 2B MiniCPM5-2B via 8081 队列代理):
5 条全丢样本首轮 3/5 保留前缀,2 条空 facts 为 2B 非确定性,
复测 4/4 全保留 → 两轮合并证据 5/5 全覆盖,改进前为 0/5。
未部署,等 09-23 统一变更窗口。
2026-09-21 22:53:08 +08:00
小唯 and prof-cloud
19afe3bfe2
perf(distill): AC2 concurrency matched to local 2B slots (t_9b2c7943 AC2)
...
AC2: concurrency no longer hardcoded 3, now matched to local 2B slot count.
Probe endpoint /props total_slots at startup and before each flush;
effective concurrency = min(slots, distillConcurrencyMax=3).
Probe failure (404/non-JSON/conn refused) conservatively defaults to 1
(serialize rather than hammer unknown slot limit).
Criterion (from 小怡): if 429 ratio rises instead of falls, slots are
overrun, must dial down. Measured 2026-09-21: 106 llama-server is
single-slot (total_slots=1) -> matched concurrency=1.
Changes:
- Engine gains concurrency field (effective concurrency, default 1)
- NewEngine calls RefreshConcurrency() at startup
- flush() re-probes via RefreshConcurrency() before each round to
track slot changes after deploy
- probeLLMSlots: GET /props read total_slots; fail/404/nonJSON -> 1
- log lines print actual effConcurrency (no longer constant 3)
Tests (engine_concurrency_test.go rewritten, all PASS):
- slots 5 > cap 3 -> concurrency=3 (cap protects 2B)
- slots 2 < cap 3 -> concurrency=2 (matches slots)
- slots 1 (106 single-slot status quo) -> concurrency=1 (serial)
- /props 404 -> conservative concurrency=1
- peak concurrency <= min(slots,cap) and >=1 (truly effective)
NOT deployed / NOT restarted zhiyid (waiting 09-23 window; the AC2
30min before/after comparison is a separate evidence step).
Co-Authored-By: prof-cloud <prof-cloud@hermes>
2026-09-21 22:32:48 +08:00
xiaoyi
4f947cecef
fix(zhiyi-cli): resolveAPIKey 支持多行 key 文件(原实现把整份文件当密钥 → 必然 401)
...
卡 t_4fab32c1 的 CLI 改动(去硬编码默认 key,env→文件→报错)+ 小怡修正多行解析。
实测:/tmp/zhiyi-cli-verify stats 走 key 文件成功返回(记忆 10607 / episodes 57347 / 队列 3)。
2026-09-21 22:08:02 +08:00
xiaoyi
36cbb51019
chore: 忽略 go/zhiyi-cli、go/zhiyid 构建产物(worker 遗留 7.9M 二进制)
2026-09-21 21:59:21 +08:00