diff --git a/docs/记忆系统架构与流水线.md b/docs/记忆系统架构与流水线.md new file mode 100644 index 00000000..144b42d0 --- /dev/null +++ b/docs/记忆系统架构与流水线.md @@ -0,0 +1,105 @@ +# 记忆系统架构与流水线 + +> 版本: v3.0 | 2026-07-30 全面盘点修复 +> 作者: 小唯 A06 + +## 六层记忆架构 + +``` +L0 运行时记忆 → llm_context.json (15KB, v2格式) +L1 对话记忆 → Hermes Sessions (SQLite FTS5) +L2 语义记忆 → 织忆 (LanceDB + BGE-M3) +L3 代码记忆 → CBM (codebase-memory-mcp v0.9.0) +L4 情感记忆 → Soulful (JSONL 画像/心迹/牵挂) +L5 结构化知识 → 仓颉书库 (7主题/15+skills) +L6 外部存储 → TencentDB (SQLite + sqlite-vec) +``` + +## 核心原则 + +1. **织忆是核心枢纽** — 所有层的数据最终汇聚/可查询到织忆 +2. **Daemon 是统一写入器** — deep_think 循环聚合各层状态 +3. **变更检测防冗余** — hash 对比,只有实质变化才 commit +4. **异常隔离** — 写入失败不影响主流程 + +## 数据流图 + +``` +┌──────────────┐ P0(每6h) ┌──────────┐ +│ CBM (L3) │ ──────────────▶ │ │ +│ 188K节点 │ │ │ +│ 753K边 │ P2(每12h) │ 织忆 │ +├──────────────┤ ──────────────▶ │ (L2) │ +│ 仓颉 (L5) │ │ 63ep │ +│ 7主题/15skill│ │ 4397mem │ +├──────────────┤ P1(每日) │ 8705节点 │ +│ Soulful (L4) │ ──────────────▶ │ │ +│ 画像/心迹/牵挂│ └──────────┘ +├──────────────┤ │ +│ Daemon (L0) │ ──deep_think(120s)──▶│ +│ llm_context │ │ +├──────────────┤ daemon每tick ┌──────────┐ +│ TencentDB(L6)│ ◀────────────────── │ Daemon │ +│ 3610任务 │ │ (L0) │ +└──────────────┘ │ 统一写入 │ + └──────────┘ +``` + +## P0-P4 集成流水线 + +| 阶段 | 脚本 | 数据流 | 触发方式 | 状态 | +|------|------|--------|---------|------| +| P0 | `cbm-to-zhiyi.py` | CBM 项目状态 → 织忆 | cron 每6h | ✅ | +| P1 | `update_profile.py` | Soulful 画像更新 → 织忆 | daemon deep_think | ✅ | +| P2 | `cangjie-to-zhiyi.sh` | 仓颉技能调用 → 织忆 | cron 每12h | ✅ | +| P3 | `cbm-query-wrapper.py` | CBM CLI 查询 → 织忆 | 手动调用 | ✅ | +| P4 | `memory-system-check.sh` | 5层自检报告 | cron 每小时 | ✅ | + +## 自检命令 + +```bash +# 全系统 5 层自检 +bash ~/.hermes/scripts/memory-system-check.sh + +# 指定层快速检查 +curl -s -H "X-API-Key: zhiyi-dev-key-2026" http://127.0.0.1:7821/api/v1/health +curl -s http://127.0.0.1:8420/health +codebase-memory-mcp cli list_projects 2>/dev/null | python3 -m json.tool +``` + +## 2026-07-30 盘点修复记录 + +### 发现的问题 + +| 问题 | 严重度 | 状态 | +|------|--------|------| +| 织忆 recall 偶尔超时(首次bge加载慢) | P0 | ✅ 已修(memory_recall.py 加15s超时+重试) | +| Soulful 情感记忆停滞(14天无增长) | P1 | ✅ 已修(daemon.py journals路径修复+cares自愈) | +| P0-P3 未接入自动化流水线 | P2 | ✅ 已修(daemon deep_think + cron) | +| 遗留 DB 占 25MB(graph.db/memoryweave.db) | P3 | ✅ 已归档 | +| agent_id 三套不一致 | P4 | ✅ 统一为 a06 | +| CBM 只索引2个项目 | P5 | ✅ 扩展至5项目 | +| memory_recall.py 超时&无重试 | P6 | ✅ 已修(15s+3次重试) | +| 架构文档丢失 | P7 | ✅ 本笔记 | + +### cron 任务清单 (2026-07-30) + +| cron | 调度 | 模式 | 用途 | +|------|------|------|------| +| 记忆系统自检 | 每小时 | no_agent | 5层健康检查 | +| 记忆系统自我升级 | 每天4am | no_agent | 自动缺陷修复 | +| CBM全索引刷新 | 每天3am | no_agent | 5项目索引 | +| CBM→织忆同步 | 每6小时 | no_agent | P0集成 | +| 仓颉→织忆同步 | 每12小时 | no_agent | P2集成 | +| 自我优化报告 | 每周日10am | no_agent | 优化建议 | +| 技能健康扫描 | 每周一10am | no_agent | 技能质量 | +| 每日复盘 | 每天10pm | no_agent | 画像更新 | +| 牵挂每日提醒 | 每天9am | no_agent | 情感关怀 | + +## 统一查询入口 + +```python +# 跨层统一查询 +python3 ~/.hermes/scripts/memory_recall.py "牧尘偏好" --top-k 3 +# 输出: 织忆 + TencentDB L1 + TencentDB L0 + Soulful 合并结果 +```