小唯
|
d0558e1fd5
|
fix(zhiyi): t_763e8701 返修 bi-temporal 三列未落 LanceDB — 补齐 Go payload+读回 & Rust schema+builder+读侧 5 层
根因:t_3ada332b 只改了 models 结构体 + server.go 算值,LanceDB 边界三层缺失
(Go lancedb_ipc.go 写 payload + 读回解包、Rust arrow_schema + struct + builder + col_str)
⇒ valid_to 永不持久化 ⇒ validityExpired("") 恒 false ⇒ 失效降权生产 no-op。
本次(照 t_3e98b65a 给 superseded_by 的 5 层模式逐一对齐):
1. Go lancedb_ipc.go 写侧 payload 补 valid_from/valid_to/provenance 三键
2. Go 读侧补三处:Search 解包struct+输出映射 / Scan 解包struct+输出映射 / GetSkillCandidates mapStr 路径
3. Rust lancedb_ops.rs struct 字段(#[serde(default)],存量行不报错)
4. Rust arrow_schema Field::new 三列(nullable,存量由 open() 迁移补列)
5. Rust 写 builder col vec + push + StringArray + 5 处读侧 col_str
新增 e2e 回归闸门 bitemporal_e2e_test.go:经真实 LanceDB sidecar 写一条 valid_to 已过期记忆
→ 读回断言三列非空且等于写入值(ZHIYI_BITEMPORAL_SOCK 门控,未设跳过)。
单测(AC1/AC2/AC3/AC4)+e2e 全 PASS;全量 go test 仅既有 flaky TestCommitConflictGate_E2E(clean baseline 同败)。
|
2026-10-14 05:01:27 +08:00 |
|
小唯
|
f8ffcde0f4
|
feat(distill): t_3e98b65a 写时四操作(ADD/UPDATE/NOOP/CONFLICT-MARK)+写前哈希去重——Mem0血统
影子默认(ZHIYI_WRITE_OPS=shadow,零行为变化;=apply才真改库):
- 新 distill/write_ops.go: 归一化+MD5哈希去重(ContentHash)、规则基四操作判定
(defaultJudge可注入JudgeFunc/ContradictionFunc,生产可接governance矛盾检测)、
shadow日志JSONL(/var/lib/memoryweave/write-ops-shadow.log)
- 四操作: ADD新建/UPDATE旧条标superseded_by+新条active/NOOP丢弃记log/
CONFLICT-MARK双方标conflict交人工(永不自动删)
- server.go OnDistillComplete 写路径挂四操作判定(影子只记不改库)
- schema: models+sqlite.go+lancedb_ipc.go+rust 加 superseded_by 反向指针列(additive)
- 顺手: engine.go Weights/echoScoreVectors 补 MemOS 血统出处注释(借鉴溯源全清单§2.1)
- 报告生成器 scripts/tools/zhiyi-writeops-report.py(影子48h后出分布+误判抽样)
AC: 四操作各1单测+哈希去重+影子零变更全PASS; go build全过;
Rust release build 0; 除既有flaky TestCommitConflictGate_E2E(干净HEAD同败)外go test全绿
|
2026-10-14 03:18:13 +08:00 |
|
小唯
|
1cfb17ac5e
|
chore(git): 停止跟踪 13 个 *.bak.* 改动前快照 + .gitignore 加规则防复发
这些 .bak.<topic>-<ts> 是各卡改动前的备份快照,被多张卡(proofchain/timedecay/standing)
陆续 commit 进版本库,累计约 4800 行纯垃圾,且会随历史永久保留。
git 本身就是版本历史,备份快照不属于版本库。
做法:git rm --cached(磁盘文件保留,不动内容)+ .gitignore 加 *.bak.* 。
本 commit 不触碰任何源码。
|
2026-10-14 01:57:18 +08:00 |
|
小唯
|
8364ff1b36
|
feat(standing-answers): t_e9a4d18f P2 常设答案(mental models)——standing_answers表(SQLite+Rust schema)+读写存储+API直读(/api/v1/standing-answers)+注册表(3问)+生成脚本zhiyi-standing-answers.py(复用本地2B); 单测4/4 PASS; 默认不注入行为零变化
|
2026-10-14 01:47:58 +08:00 |
|
小唯
|
ae39e1ce8a
|
feat(evidence-chain): t_e9a4d18f P1 证据链+proof_count——SourceEvents(多证据列)+ProofCount派生+QualityFromProof(饱和x/(x+K),ZHIYI_PROOF_FALLBACK门控兜底)+Supersedes矛盾保留列; 单测5/5 PASS; Go+Rust build通过; 默认关行为零变化
|
2026-10-14 00:52:29 +08:00 |
|
小唯
|
13ced12ce9
|
feat(memoryweave): GA-P0-4 落 hits+/hits− 双计数器——独立语义的 outcome 信号(禁部署)
新增 append-only 事件表 hit_events(sqlite/Rust-LanceDB/memvector 三后端同步),
带 created_at 时间戳可按周窗口聚合,只由真实 outcome 写入(人工反馈/矛盾/取代/
下游引用);dedup 降权/单纯召回出现**不算**(P0-1/P0-2 拆出的假信号,见 hit_event.go
排除项 + docs/hit-outcome-signal.md y 判据)。修正 已办.md:16623 的 hits+=useful_count
错误等同并标注更正依据。
写入点接线 feedback.go(/feedback/useful→pos, /not-useful→neg)。单测 5 例 PASS(含
dedup 降权不计入 hits− 反例 + sqlite 关库重开 read-back);Rust cargo build 通过;
LanceDB 真实 sidecar IPC append/count/get read-back 取证(count 时区归一修掉跨时区错位)。
禁部署:未动运行中二进制、未碰 live 库。
|
2026-10-12 19:50:58 +08:00 |
|
小唯
|
cb450e9c9d
|
feat(memoryweave): GA-P0-3 拆分 is_deleted 删除原因 → delete_reason 枚举(禁部署)
- 新增 delete_reason 固定枚举列(merge_dup/contradiction/manual/retention/unknown)
- LanceDB(Rust arrow_schema+MemoryRecord+read/insert) 与 sqlite 双侧 additive 同步
- 所有软删写入点统一归一化写 delete_reason:
SoftDelete(manual/merge_dup/contradiction/retention) · SoftDeleteBatch(unknown)
· PurgeInvalid(retention) · Rust soft_delete_batch(unknown)/purge_invalid(retention)
- 新增 lancedb_scan_deleted IPC + Go ScanDeleted:存量已删行回填工具枚举用
- 回填工具 go/cmd/backfill_deletereason(dry-run 默认)+ 单测 7 例(每 reason≥1 写入用例)
- 直方图(副盘真跑):N=11240 全 unknown(tombstones 无 provenance,按 AC 判不出写 unknown)
- 禁部署/禁真删/禁改已删记录其它字段:live 库零改动
|
2026-10-12 18:52:09 +08:00 |
|
小唯
|
28f6951061
|
feat(memoryweave): GA-P0-2 拆分 recall_count → recall_seen_count / recall_verified_count(禁部署)
背景:recall_count 被当成 V 值喂给衰减/遗忘逻辑,但每次召回命中都 ++,
造成「被召回 500+ 次所以永不遗忘」的虚高保命。实测 11576 条 recall_count>0、
2732 条 >=10,全是「出现在结果里」而非「被真正用上」。t_268b0353 注释早已
点明「被召回 ≠ 被验证」。
改法(AC1-6,禁部署):
- LanceDB(arrow_schema) + sqlite(create/alter) 两侧同步新增
recall_seen_count / recall_verified_count(additive,不删旧列 recall_count)
- 拆分两个写入点:召回命中(缓冲 Record→UpdateRecallBatch / 兜底 incrementRecallCount)
→ 写 recall_seen_count;正反馈(IncrementUseful)→ 写 recall_verified_count + useful_count
- recall_count 冻结不再增长,保留只读(deprecated),衰减/遗忘只认 recall_verified_count
- 排序去偏(lancedb_ipc Search importance)改用 recall_seen_count(观测/选择信号);
技能候选筛选(query_memories / GetSkillCandidates)改用 recall_seen_count
- 单测 TestRecallSeenVerifiedIsolation / TestRecallCountFrozen:一次召回 seen++
verified 不增;一次正反馈 verified++;recall_count 冻结
- 实网取证:副本 LanceDB(禁部署)上跑真实 recall+反馈,
BEFORE(0/0/0) → AFTER_RECALL(recall_count=0 seen=1 verified=0) →
AFTER_VERIFY(0/1/1);schema 演进在副本上补列 4 个成功
go build/vet/test + rust build 全绿;E2E 蒸馏触发测试系既有 flake(stash 复现),
本改动无关。禁部署遵守:live /var/lib/memoryweave 未动,仅在副本上验过。
|
2026-10-12 16:54:32 +08:00 |
|
小唯
|
9b7b969cd3
|
feat(memoryweave): GA-P0-1 拆分 not_useful_count → human_not_useful_count / dedup_downweight_count
背景:not_useful_count 被两种语义混写——用户人工点「没用」(feedback.go
MarkNotUseful) 与 dedup/合并流程自动降权(core.go Dedup demote) 都写同一字段。
实测 35010 行里 509 条非零但 human useful 仅 21 ⇒ 字段被混写。P2 自适应阈值
要靠它当标签,统计即垃圾。
改法(AC1-5,禁部署):
- LanceDB(arrow_schema) + sqlite(create/alter) 两侧同步新增
human_not_useful_count / dedup_downweight_count(additive,不删旧列)
- 两个写入点各写各的:feedback.go→IncrementHumanNotUseful;
core.go dedup→IncrementDedupDownweight
- not_useful_count 保留 deprecated,新代码不再读(读侧仅 Scan/迁移保留)
- 存量迁移工具 cmd/split_notuseful(--dry-run 默认,apply 需终审);
实测存量无可按来源判定行(M=0)→ 全部归 unknown(K=109 存活行),apply=no-op
- 单测 TestSplitNotUsefulFieldIsolation:两写入点写不同字段,相对增量断言
go build/vet/test + rust build 全绿;rust open() schema 演进在副本上
实测补列 human_not_useful_count/dedup_downweight_count 成功。
|
2026-10-12 14:17:31 +08:00 |
|
小唯
|
e9fce11a1b
|
fix(zhiyi): t_268b0353 治根 — 断 auto_recall V 传播 + 召回不写 freshness=verified(Rust 主路径+Go 兜底) + volatile_flag 标注预留
- core.go: auto_recall 的 memory_ids 传 nil(「召回命中」不再冒充「记忆有用」进排序权重)
- rust lancedb_ops.rs:489/510(zhiyi-consolidate 主写路径)+ go 兜底: 召回不再盖 freshness=verified
(「被召回」≠「被验证」,越常被召回的旧快照不再越「可信」)
- lancedb_ipc.go: volatile_flag 恒 false 处标注为预留惩罚分支,当前不生效
- 集成测试同步:版本计数负载不再写 freshness 列
|
2026-10-11 23:44:57 +08:00 |
|
小唯
|
aa8f503ae0
|
fix(forgetting): 遗忘候选池固定2000窗口不轮转 → 旋转窗口全覆盖(方案c′)
Rust: scan_forgetting_window 列投影取全部存活mem_ id→内排序→连续窗口→
区间过滤还原全字段;游标=窗口末id;wrapped回绕。修复 LanceDB query 默认limit=10坑。
Go: GetCandidatesForForgetting 传游标+持久化 forget-cursor.json(原子写,韧性降级)。
实测真库 coverage=1.0000(13轮全覆盖22462),池内>10-07从~2→每轮2000。
|
2026-10-11 12:53:15 +08:00 |
|
小唯
|
90af029c16
|
feat(memory): confidence 信任等级字段(Gap#2 来源加权 · 接线全通 · 加权默认关)
- schema: memories/episodes/tombstones +confidence(Float64,nullable) +confidence_source(Utf8,nullable)
- 迁移默认值改类型感知 + 一律可空(原 '' 字面量会把列标成 non-null,与 arrow_schema 冲突)
- 6 层接线全通:Rust schema/insert/scan/search → Go 解包/输出构造 → RecallResult
- recall.go: COALESCE(NULL→1.0) + 门控加权(ZHIYI_CONFIDENCE_LAMBDA 默认 0 = 首日 no-op)
- 新增 conf_e2e_test.go 端到端回归(未设 ZHIYI_CONF_SOCK 自动跳过)
- 验证:副本迁移 25→27 列行数不变;显式声明往返 0.5/authoritative;未声明读回 NULL
|
2026-10-08 20:39:29 +08:00 |
|
小唯
|
9bfe4c217f
|
fix(p1-1): forget path - counting test + purge-invalid endpoint (t_37ac8a45)
|
2026-10-08 15:44:04 +08:00 |
|
小唯
|
a187275e1b
|
fix(lancedb): episodes/tombstones schema 迁移 — open() 补齐缺失列 (P0 t_3df364b8)
根因:open() 用共享 arrow_schema()(25列) 建新表,但不迁移已存在表。
commit ca45c96 加 embedding_model/script_version 后,memories 重建为 25 列,
episodes/tombstones 停留 23 列 ⇒ Append 25 列静默失败 ⇒ episode 丢失 5.9h。
修复:open() 时对比实表 schema,用 add_columns(NewColumnTransform::SqlExpressions)
补齐缺失列,三表统一走迁移路径。
验收:episodes 118693→118714 行 / 23→25 列 / 最新 03:24:24→09:12:04;
近 90s schema 错 0、commit 冲突 0、写入成功 35 次;tombstones 同步 23→25 列。
部署坑:zhiyi-consolidate 是独立 systemd unit(Wants= 单向),重启 zhiyid 不会重启它。
|
2026-10-08 10:17:48 +08:00 |
|
小唯
|
ca45c96e32
|
fix(provenance): 落库 embedding_model/script_version 血缘字段 (t_7e3577c5)
根因: commit→distill→memory 管线从不在服务端持久化请求 metadata 里的
embedding_model/script_version, MemoryRecord 结构缺这两字段, 导致
zhiyi-vault-ingest.py 已发送的血缘被丢弃, 新写入恒 NULL。
修复:
- Go MemoryRecord + DistillInput 加两字段;
core.go commit handler 解析 metadata→AutoDistillTrigger 透传;
server.go 落库时 orDefault(embedding_model→bge-m3, script_version→unknown);
lancedb_ipc.go 记录 map 带上两字段。
- Rust MemoryRecord + arrow_schema() + insert_batch + 4 处 col_str 读取。
验证: commit 带 metadata → 蒸馏落地 19 行 bge-m3/vault-ingest-2.0.0 (原为 NULL)。
|
2026-10-08 03:57:30 +08:00 |
|
小唯
|
1060e62066
|
fix(admin): /memories 与 /memories/export 改用全表扫描(Scan),弃零向量 ANN
病根:两个列表/导出端点一直用『零向量 ANN』冒充『列出全部』——零向量没有方向,
ANN 退化成本存储序前 N 行,再按 ns 客户端过滤 ⇒ 计数完全失真
(实测 export hermes-main 报 1 条,真实 139+;shared 报 0,真实 29)。
修复:
① Rust lancedb_ops: scan_for_forgetting 加 namespace 下推(only_if),limit 作用于过滤后结果集
② Go 接口 LanceDB 新增 Scan(limit, ns):
- RustLanceDBClient → lancedb_scan RPC
- SQLiteClient → SELECT ... WHERE is_deleted=0 [AND ns] ORDER BY created_at DESC LIMIT
- MemLanceClient → 内存 map 过滤 + created_at 倒序
③ 两个端点 ListMemories / ExportMemoriesMD 改用 aa.LanceDB.Scan(limit, ns)
④ 补 mock(zz_commit mockLance / write-buffer fakeLDB)+ 5 条新判据
(全表 3 / hermes-main 2 / shared 1 / limit 生效 / 不存在 ns 0)
|
2026-09-21 16:36:41 +08:00 |
|
小唯
|
3b8ecba48e
|
perf: 织忆内存/碎片双治本 — PageRank O(V+E) 重写 + 写入去抖 + 在线VACUUM
1. PageRank 三重循环 O(47k×374k×20≈3.5e11) → 入边表 O(V+E):
单次 full 整合 4h41m → 95.2s,内存峰值 3.8G → 237MB(实测)
2. 图谱修剪 merge 边 id 加 relation + INSERT OR REPLACE:
修复 09-18 起 UNIQUE constraint 静默失败 → 主库首次跑消 9.8万冗余边
3. LanceDB 写入去抖(server.go + validator.go):
被动验证只写 Confidence 实际变化的记录;原先每输入重写全库 6000 条
→ 版本快照 O(n²),每日 ~1.9万版本/十几G 膨胀的根因
4. 新增 scripts/lance_vacuum_online.py:在线 VACUUM(不停服务)+
24h 版本窗口(可回滚)+ 行数门禁(减少才报警);替代停服务版
每日 vacuum → cron 已改为在线版
实测:侧车 RSS 1.09G→69MB;memories 分片 5383→1;服务全程在线
|
2026-09-21 10:17:56 +08:00 |
|
小唯
|
ee50ef0d59
|
fix(rust): 恢复缺失的 LanceDBStats/stats() 和 helper 函数 (t_3fb41049); storage: 添加软删除累积延迟缓冲 (t_384f785b)
|
2026-09-14 22:14:52 +08:00 |
|
小唯
|
68ce2c9678
|
feat(distill): 限制 prompt ≤8k token 保护本地 2B 单槽; storage: 添加 SoftDeleteBatch 及 Rust 端批量软删除优化 (t_3fb41049)
|
2026-09-14 22:09:44 +08:00 |
|
小怡
|
f2362150d1
|
perf(recall): 累积延迟更新治理写放大 — 读路径零逐条写 + 单事务批量落盘 (t_8496e8b6)
根因: recall 读路径对每条结果同步 lancedb.Update,LanceDB MVCC 每次提交=1 版本
实测 15 版本/分钟 / _versions 17.7G(真实数据 22M)
改动:
- Go: 新增 RecallWriteBuffer(窗口合并+阈值触发+优雅退出落盘);recall.go 读路径改 Record();RustLanceDBClient.UpdateRecallBatch
- Rust: lancedb_update_batch IPC — 按 delta 分组,每组一次 update(`recall_count + delta` + id IN (...)) 提交
- 单测 6 个 + IPC 端到端版本计数测试;bench_test.go 修 NewReranker 签名失配(阻塞包测试)
实测: 批量 3 条 → 1 个版本;逐条 3 次 → 3 个版本 (lance 不支持 CASE WHEN,已按 delta 分组规避)
|
2026-09-12 17:57:31 +08:00 |
|
小唯
|
a69f07c898
|
fix(stats): count_rows filter 类型修正 Option<&str> -> Option<String>
a7082d3 的 count_rows(Some("is_deleted = true")) 编译失败(E0308: 此 lance 版本
签名 Option<String>)。修正为 .to_string()。实测 stats tombstone_count=830
(memories 表 is_deleted=true 行数, 之前恒 0)。
|
2026-09-06 09:25:27 +08:00 |
|
小唯
|
a7082d381a
|
fix(stats): tombstone_count 统计源修正 — 数 memories is_deleted=true 行
SoftDelete 持久化语义 = memories 表内标记 is_deleted=true(不写独立 tombstones 表),
但 Rust stats() 的 tombstone_count 数的是空 tombstones 表 → 恒 0(指标失真)。
修正:stats() 对 memories 表 count_rows(Some("is_deleted = true")) 作为 tombstone_count。
验证: DELETE 一条记忆后 stats tombstone_count 应 >0。
|
2026-09-06 09:22:49 +08:00 |
|
xiaowei
|
4a245b6262
|
fix(forgetting): P2 候选源升级 — Rust scan 全表替代纯缓存遍历
GetCandidatesForForgetting 原实现只遍历进程内 _local.memories 缓存
(commit/recall/search 才触碰), 重启后缓存空 → decay scanned=3 扫不全,
9-25 到期记忆若不在缓存则永远无法被遗忘(闭环断)。
安全版 scan_for_forgetting (防 febc2c9 风暴复发):
- 强制 limit (IPC 钳制硬上限 5000, decay 侧 2000)
- 不读 vector 列 (1024维×3000条≈12MB+, IPC JSON 会卡)
- 真读 last_recalled_at 列 (scan_all 旧实现 String::new() 恒空 → 遗忘判定失真)
- 消费方截断护栏已就位 (merge 桶500 / conflict 500 / sanity 1000)
- IPC 失败/空 → fallback 缓存遍历 (保持可用)
验证: [decay] scanned=3 → 2000 (重启即扫全表), CPU 0%, 无 panic
|
2026-09-06 02:32:58 +08:00 |
|
xiaowei
|
2a350cf781
|
fix(distill): max_tokens 800→1200 — Agnes推理token预算不足
Agnes 2.0-flash是推理模型,推理token占大量预算。
800仍不够→JSON截断(parse error: unexpected end of JSON input)。
1200确保推理+正文都够用。
|
2026-08-20 01:13:06 +08:00 |
|