 小唯
|
1060e62066
|
fix(admin): /memories 与 /memories/export 改用全表扫描（Scan），弃零向量 ANN
病根：两个列表/导出端点一直用『零向量 ANN』冒充『列出全部』——零向量没有方向，
ANN 退化成本存储序前 N 行，再按 ns 客户端过滤 ⇒ 计数完全失真
（实测 export hermes-main 报 1 条，真实 139+；shared 报 0，真实 29）。
修复：
① Rust lancedb_ops: scan_for_forgetting 加 namespace 下推（only_if），limit 作用于过滤后结果集
② Go 接口 LanceDB 新增 Scan(limit, ns)：
- RustLanceDBClient → lancedb_scan RPC
- SQLiteClient → SELECT ... WHERE is_deleted=0 [AND ns] ORDER BY created_at DESC LIMIT
- MemLanceClient → 内存 map 过滤 + created_at 倒序
③ 两个端点 ListMemories / ExportMemoriesMD 改用 aa.LanceDB.Scan(limit, ns)
④ 补 mock（zz_commit mockLance / write-buffer fakeLDB）+ 5 条新判据
（全表 3 / hermes-main 2 / shared 1 / limit 生效 / 不存在 ns 0）
|
2026-09-21 16:36:41 +08:00 |
|
|
小唯
|
3b8ecba48e
|
perf: 织忆内存/碎片双治本 — PageRank O(V+E) 重写 + 写入去抖 + 在线VACUUM
1. PageRank 三重循环 O(47k×374k×20≈3.5e11) → 入边表 O(V+E)：
单次 full 整合 4h41m → 95.2s，内存峰值 3.8G → 237MB（实测）
2. 图谱修剪 merge 边 id 加 relation + INSERT OR REPLACE：
修复 09-18 起 UNIQUE constraint 静默失败 → 主库首次跑消 9.8万冗余边
3. LanceDB 写入去抖（server.go + validator.go）：
被动验证只写 Confidence 实际变化的记录；原先每输入重写全库 6000 条
→ 版本快照 O(n²)，每日 ~1.9万版本/十几G 膨胀的根因
4. 新增 scripts/lance_vacuum_online.py：在线 VACUUM（不停服务）+
24h 版本窗口（可回滚）+ 行数门禁（减少才报警）；替代停服务版
每日 vacuum → cron 已改为在线版
实测：侧车 RSS 1.09G→69MB；memories 分片 5383→1；服务全程在线
|
2026-09-21 10:17:56 +08:00 |
|
|
小唯
|
ee50ef0d59
|
fix(rust): 恢复缺失的 LanceDBStats/stats() 和 helper 函数 (t_3fb41049); storage: 添加软删除累积延迟缓冲 (t_384f785b)
|
2026-09-14 22:14:52 +08:00 |
|
|
小唯
|
68ce2c9678
|
feat(distill): 限制 prompt ≤8k token 保护本地 2B 单槽; storage: 添加 SoftDeleteBatch 及 Rust 端批量软删除优化 (t_3fb41049)
|
2026-09-14 22:09:44 +08:00 |
|
|
小怡
|
f2362150d1
|
perf(recall): 累积延迟更新治理写放大 — 读路径零逐条写 + 单事务批量落盘 (t_8496e8b6)
根因: recall 读路径对每条结果同步 lancedb.Update，LanceDB MVCC 每次提交=1 版本
实测 15 版本/分钟 / _versions 17.7G(真实数据 22M)
改动:
- Go: 新增 RecallWriteBuffer(窗口合并+阈值触发+优雅退出落盘)；recall.go 读路径改 Record()；RustLanceDBClient.UpdateRecallBatch
- Rust: lancedb_update_batch IPC — 按 delta 分组，每组一次 update(`recall_count + delta` + id IN (...)) 提交
- 单测 6 个 + IPC 端到端版本计数测试；bench_test.go 修 NewReranker 签名失配(阻塞包测试)
实测: 批量 3 条 → 1 个版本；逐条 3 次 → 3 个版本 (lance 不支持 CASE WHEN，已按 delta 分组规避)
|
2026-09-12 17:57:31 +08:00 |
|
|
小唯
|
a69f07c898
|
fix(stats): count_rows filter 类型修正 Option<&str> -> Option<String>
a7082d3 的 count_rows(Some("is_deleted = true")) 编译失败(E0308: 此 lance 版本
签名 Option<String>)。修正为 .to_string()。实测 stats tombstone_count=830
(memories 表 is_deleted=true 行数, 之前恒 0)。
|
2026-09-06 09:25:27 +08:00 |
|
|
小唯
|
a7082d381a
|
fix(stats): tombstone_count 统计源修正 — 数 memories is_deleted=true 行
SoftDelete 持久化语义 = memories 表内标记 is_deleted=true（不写独立 tombstones 表），
但 Rust stats() 的 tombstone_count 数的是空 tombstones 表 → 恒 0（指标失真）。
修正：stats() 对 memories 表 count_rows(Some("is_deleted = true")) 作为 tombstone_count。
验证: DELETE 一条记忆后 stats tombstone_count 应 >0。
|
2026-09-06 09:22:49 +08:00 |
|
|
xiaowei
|
4a245b6262
|
fix(forgetting): P2 候选源升级 — Rust scan 全表替代纯缓存遍历
GetCandidatesForForgetting 原实现只遍历进程内 _local.memories 缓存
(commit/recall/search 才触碰), 重启后缓存空 → decay scanned=3 扫不全,
9-25 到期记忆若不在缓存则永远无法被遗忘(闭环断)。
安全版 scan_for_forgetting (防 febc2c9 风暴复发):
- 强制 limit (IPC 钳制硬上限 5000, decay 侧 2000)
- 不读 vector 列 (1024维×3000条≈12MB+, IPC JSON 会卡)
- 真读 last_recalled_at 列 (scan_all 旧实现 String::new() 恒空 → 遗忘判定失真)
- 消费方截断护栏已就位 (merge 桶500 / conflict 500 / sanity 1000)
- IPC 失败/空 → fallback 缓存遍历 (保持可用)
验证: [decay] scanned=3 → 2000 (重启即扫全表), CPU 0%, 无 panic
|
2026-09-06 02:32:58 +08:00 |
|
|
xiaowei
|
2a350cf781
|
fix(distill): max_tokens 800→1200 — Agnes推理token预算不足
Agnes 2.0-flash是推理模型，推理token占大量预算。
800仍不够→JSON截断(parse error: unexpected end of JSON input)。
1200确保推理+正文都够用。
|
2026-08-20 01:13:06 +08:00 |
|