339 lines
14 KiB
Markdown
339 lines
14 KiB
Markdown
# 织忆系统修复工作记录
|
||
|
||
> 维护者：小唯 A06
|
||
> 创建：2026-05-30
|
||
> 最新更新：2026-06-02
|
||
|
||
## G7 E3 自优化闭环完成 (2026-06-02)
|
||
| 组件 | 状态 | 验证 |
|
||
|------|------|------|
|
||
| GetSkillCandidates (candidates) | ✅ | 返回 20 条候选（min_recall=5 过滤），Rust IPC lancedb_query |
|
||
| crystallize 端点 | ✅ | 返回 eta=0.5, status=probation, linked_entities, prompt_template |
|
||
| execute 端点 | ✅ | 基于 linked memories 返回 enriched_prompt（需先 crystallize 建立链接） |
|
||
| trial/feedback | ✅ | success trial 后 ETA=1.0→0.99，贝叶斯正常更新 |
|
||
| lancedb_query IPC | ✅ | Go 通过 Rust IPC 查 LanceDB，解决 candidates 永远为 0 的问题 |
|
||
| 空时间字符串处理 | ✅ | map[string]interface{} 反序列化，空字符串保持零值 |
|
||
| crystallize 路由路径 | ✅ | 去掉 "POST " 前缀，标准库 mux 正确识别 |
|
||
| commit | `b005916` | fix G7 E3: crystallize路由路径+GetSkillCandidates通过Rust IPC查LanceDB |
|
||
|
||
## E4.3 Bug Fix (2026-06-01)
|
||
| 问题 | 根因 | 修复 |
|
||
|------|------|------|
|
||
| ShouldForget 的 degree 参数始终为 0 | admin.go:73 用 `mem["namespace"]` 但 LanceDB 返回 map 里无此 key；且 namespace 值（如 hermes-main）不是实体 | 改为从 `mem["content"]` 提取实体（大写单词、中文实体、技术标记），取图谱最大度 |
|
||
| 涉及文件 | go/internal/api/routes/admin.go | 替换 namespace 读取为 extractTopEntityDegree() |
|
||
|
||
## 阶段状态
|
||
|
||
| 阶段 | 状态 | 备注 |
|
||
|------|------|------|
|
||
| G1: Recall 管线 | ✅ 完成 | MMR 修复 + E1 图谱扩展 + 搜索缓存 |
|
||
| └ E1: 图谱导航激活 | ✅ 完成 | ExpandFromResults 已接入 Recall Step 5，condition=len<5 时触发 |
|
||
| └ E2: 多 agent 命名空间激活 | ✅ 完成 | hermes→hermes-main, openclaw→openclaw-main，Rust sidecar namespace 过滤已验证 |
|
||
| └ E3: 增量 embedding | ✅ 完成 | Go Commit 时同步调用 BGE HTTP → vector 立即写入 LanceDB，recall 无需等待 batch |
|
||
| G2: 本地 BGE | ✅ 完成 | 8000 端口 bge-m3，延迟 110ms |
|
||
| G3: self-metrics | ✅ 完成 | deprecated_per_day=2, auto_resolve_rate=0（无冲突是正常状态）|
|
||
| G4: WebSocket | ✅ 完成 | prefetch.push + consolidation.done 推送正常 |
|
||
| G5: Eval 框架 | ✅ 完成 | eval/run + eval/generate(12条) + vprop 端点 |
|
||
| G6: 聚类+蒸馏深化 | ✅ 完成 | G6.1 DBSCAN + G6.2 LLM质量回溯 + G6.3 L2 Patterns + gap |
|
||
| G7: 遗忘 + 技能系统 | ✅ 完成 | E4.3: extractTopEntityDegree + ShouldForget graphDegree；G7 E3: 贝叶斯+crystallize+execute+feedback 完整闭环 |
|
||
| G8: 备份恢复 | ✅ 完成 | Backup ✅ 已有；新增 Restore + ListBackups，支持 systemctl 停启服务恢复 |
|
||
| G9: 缓存 + 持久化 | ✅ 完成 | SearchCache 改造为 L1（内存）+ L2（Redis）双级，TTL 3555s 验证通过 |
|
||
|
||
## G8+G9 实现细节 (2026-06-02)
|
||
|
||
### G8 Restore API
|
||
- `GET /api/v1/admin/backups` — 列出 `/home/muc/backups/memoryweave/` 下所有备份
|
||
- `POST /api/v1/admin/restore` — 从指定备份恢复：stop 服务 → 清理 lances → 解压 tar → 还原 sqlite → 重启服务
|
||
|
||
### G9 多级缓存
|
||
- L1: 进程内 SearchCache（LRU+TTL，1000 条，1h TTL）
|
||
- L2: Redis `zhiyi:cache:*`（TTL≈3600s，进程重启后不丢）
|
||
- Get: L1 miss → 查 L2 → 回填 L1
|
||
- Set: 写 L1 + 写 L2
|
||
- Invalidate: L1 + L2 同步失效
|
||
|
||
### 蒸馏队列端点修复 (2026-06-02)
|
||
- `GET /api/v1/distill/status` — 引擎状态（queue_len, batch_size, last_distill, daily_used）
|
||
- `GET /api/v1/distill/queue` — 队列内容（episode_id, content, category）
|
||
- `GET /api/v1/distill/quota` — 配额（remaining, used, limit, percent, status）
|
||
- Engine 新增 QueueLen/QueueItems/GetStatus/GetQuota 导出方法
|
||
|
||
## 提交记录
|
||
|
||
- `[本次提交]` — distill端点: /status /queue /quota；G8: Restore+ListBackups；G9: SearchCache 双级缓存
|
||
- `[前次提交]` — G8: Restore+ListBackups 端点；G9: SearchCache 双级缓存（内存+Redis L2）
|
||
|
||
- `b005916` — G7 E3: crystallize路由路径+GetSkillCandidates通过Rust IPC查LanceDB
|
||
- `243a206` — G7.3: skill execute + quality_score fix
|
||
- `43286dd` — G7.1+G7.2: skill persistence + crystallize API
|
||
- `cd0f898` — G6: eps=1.0 (23 clusters), col_vector() for FixedSizeListArray reading
|
||
- `cc615c5` — docs: consolidate fix work log (2026-05-31)
|
||
- `3b031ed` — G6完整提交: skill trial路由 + LLM API key传Rust sidecar + Authorization header + reasoning_content fallback
|
||
- `e8b3a9f` — E1 RuneCount bug fix
|
||
- `f4a2c71` — MMRSelect text-based diversity
|
||
- `4f1e8d2` — WSPrefetchAdapter wired to recall pipeline
|
||
- `a7b2c3d` — G5: eval framework + vprop endpoints
|
||
|
||
## 已修复的 bug
|
||
|
||
### E1 图谱扩展 len() 字节数 bug
|
||
- 文件：`go/internal/governance/graph_sqlite.go`
|
||
- `len(chinese)` → `utf8.RuneCountInString(chinese)`
|
||
- 提交: `e8b3a9f`
|
||
|
||
### G6.2 LLM 质量回溯修复（2026-05-31）
|
||
- **问题1**：API key 有 `sk-` 前缀 → 修正为 `0ExNiL...`（无前缀）
|
||
- **问题2**：MiniMax M2.7 是推理模型，响应在 `reasoning_content` 而非 `content` → 加 fallback
|
||
- **问题3**：Go client 不传 LLM API key → 从 `LLM_API_KEY` 环境变量读取
|
||
- **问题4**：Rust IPC handler 用空 CLI args → 改用 `req.llm_endpoint`
|
||
- **模型切换**：MiniMax M2.7 → Qwen3.5-122B（速度 2s，更稳定）
|
||
- 提交: `3b031ed`
|
||
|
||
### G6.1 Rust IPC 字段映射错误
|
||
- `clusters_found` → `clusters`（Rust IPC 返回字段名与 Go 期望不匹配）
|
||
- consolidation 用 `cluster_only` 绕过 LLM 超时（定时器路径）
|
||
|
||
### MMR 多样性去重失效
|
||
- 文件：`go/internal/storage/recall.go`
|
||
- Rust IPC 不返回 vector → 改用 `jaccardBigramSimilarity`
|
||
- 修正 MMR 公式
|
||
- 提交: `f4a2c71`
|
||
|
||
### WebSocket prefetch 未接入 recall 管线
|
||
- 文件：`go/internal/api/routes/ws_events.go` + `core.go`
|
||
- 新增 `WSPrefetchAdapter` 实现 `storage.PrefetchPusher` 接口
|
||
- 在 `NewAPI` 中通过 `SetPrefetchPusher` 注入
|
||
- 提交: `4f1e8d2`
|
||
|
||
### E1 图谱导航激活（2026-05-31）
|
||
- **现状**：E1 代码已全部实现并通过 `server.go:112` 接入 `RecallPipeline.SetGraphExpander(graphStore)`
|
||
- **触发条件**：`recall.go` Step 5 — 结果 < 5 条时调用 `ExpandFromResults` 扩展 1 跳图谱邻居
|
||
- **扩展流程**：实体提取 → BFS Navigate → 邻居去重 → 合并返回
|
||
- **清理内容**：移除 `ExpandFromResults` 中残留的 5 条 `fmt.Printf("[E1] ...")` debug 语句
|
||
- **下一步**：图谱节点命名规范（recall 结果实体 ↔ graph 节点名对齐）
|
||
|
||
### E2 多 agent 命名空间激活（2026-05-31）
|
||
- **现状**：代码早已实现，本次验证确认有效
|
||
- **Hermes**：`agent_id="hermes-a06"` → `namespace="hermes-main"`（Go `deriveNamespace`）
|
||
- **OpenClaw**：`agent_id="openclaw"`，`namespace="openclaw-main"`（zhiyi client 显式传递）
|
||
- **验证**：同一 query 在 hermes-main 和 default-main 返回不同 ID 的记忆，namespace 过滤生效
|
||
- **Rust sidecar**：`search()` 和 `scan_all()` 均有 `only_if("namespace = '{}'", ns)` 过滤
|
||
|
||
## 验证数据
|
||
|
||
- 搜索缓存: 首次 934ms → 二次 18ms ✅
|
||
- BGE 延迟: 110-145ms < 200ms ✅
|
||
- BGE 自相似度: 1.0 ≥ 0.99 ✅
|
||
- WebSocket prefetch: 第 2 次 recall 后触发 ✅
|
||
- WebSocket consolidation.done: 直接触发 ✅
|
||
- LLM 速度测试（Qwen3.5-122B）: 2076ms ✅
|
||
- Consolidation full 路径: 3.7s（cluster_only，未触发 LLM 是设计预期）
|
||
- Recall 七维度: encode→ann→rerank→mmr 全链路 814ms ✅
|
||
- Self-optimization 自动调参: diversity/gap_threshold/distill_interval ✅
|
||
- Eval recall@5=1.0, MRR=1.0, nDCG=1.0 ✅
|
||
|
||
## 服务拓扑
|
||
|
||
### 进程与服务
|
||
|
||
| 服务 | 二进制路径 | 端口/Socket | systemd 服务 | 用途 |
|
||
|------|-----------|-------------|--------------|------|
|
||
| **zhiyid** | `~/.local/bin/zhiyid` | `7821`(HTTP) | `zhiyid.service` | Go HTTP API 主服务 |
|
||
| **zhiyi-sidecar** | `~/projects/memoryweave/rust/target/release/zhiyi-consolidate` | `/tmp/zhiyi-ipc.sock` | `zhiyi-sidecar.service` | Rust IPC Consolidation 处理器 |
|
||
| **BGE Embed Server** | `~/projects/memoryweave/rust/bge_embed_server.py` | `8000` | `bge-embed.service` | 本地向量嵌入服务 |
|
||
| **VLLM Gateway** | — | `3000` | — | LLM 推理网关（OneAPI） |
|
||
|
||
### 数据存储
|
||
|
||
| 存储 | 路径 | 说明 |
|
||
|------|------|------|
|
||
| **LanceDB** | `/var/lib/memoryweave/` | 向量存储 + 记忆数据 |
|
||
| **SQLite** | `/var/lib/memoryweave/memoryweave.db` | 结构化关系数据 |
|
||
| **Graph DB** | `/var/lib/memoryweave/graph.db` | 知识图谱 |
|
||
| **IPC Socket** | `/tmp/zhiyi-ipc.sock` | Go → Rust 通信 |
|
||
|
||
### LLM 配置
|
||
|
||
| 参数 | 值 |
|
||
|------|-----|
|
||
| ENDPOINT | `http://127.0.0.1:3000/v1/chat/completions` |
|
||
| MODEL | `qwen/qwen3.5-122b-a10b` |
|
||
| API KEY | `0ExNiL...MWBP`（无 sk- 前缀） |
|
||
|
||
### BGE 配置
|
||
|
||
| 参数 | 值 |
|
||
|------|-----|
|
||
| ENDPOINT | `http://127.0.0.1:8000/v1/embeddings` |
|
||
| MODEL | `BAAI/bge-m3` |
|
||
| 向量维度 | 1024 |
|
||
|
||
## 部署命令
|
||
|
||
```bash
|
||
# Go 服务（用户级 systemd）
|
||
cd ~/projects/memoryweave/go
|
||
go build -o /tmp/zhiyid-test ./cmd/zhiyid/
|
||
systemctl --user stop zhiyid
|
||
cp /tmp/zhiyid-test ~/.local/bin/zhiyid
|
||
systemctl --user daemon-reload
|
||
systemctl --user restart zhiyid
|
||
|
||
# Rust sidecar（用户级 systemd）
|
||
cd ~/projects/memoryweave/rust
|
||
cargo build --release
|
||
systemctl --user stop zhiyi-sidecar
|
||
cp target/release/zhiyi-consolidate <原路径>
|
||
systemctl --user daemon-reload
|
||
systemctl --user restart zhiyi-sidecar
|
||
```
|
||
|
||
## API 端点
|
||
|
||
```
|
||
认证：X-API-Key: zhiyi-dev-key-2026
|
||
|
||
POST /api/v1/commit # 提交记忆
|
||
POST /api/v1/recall # 检索记忆
|
||
POST /api/v1/recall/debug # 检索七维度诊断
|
||
POST /api/v1/graph/navigate # 图谱导航
|
||
GET /api/v1/stats # 统计信息
|
||
GET /api/v1/metrics/self # 自优化指标
|
||
POST /api/v1/admin/consolidate # 触发深度整合
|
||
POST /api/v1/admin/dedup # 去重
|
||
POST /api/v1/eval/run # 评估
|
||
POST /api/v1/tuning/run # 自动调参
|
||
GET /api/v1/health # 健康检查
|
||
WS /api/v1/ws # WebSocket 实时推送
|
||
|
||
外部：
|
||
POST http://localhost:8000/v1/embeddings # BGE 向量化
|
||
POST http://localhost:3000/v1/chat/completions # LLM 调用
|
||
```
|
||
|
||
## 关键文件
|
||
|
||
```
|
||
~/projects/memoryweave/
|
||
├── WORKLOG.md # 本文件
|
||
├── REPAIR-FULL.md # 修复计划总表
|
||
├── go/
|
||
│ ├── cmd/zhiyid/main.go
|
||
│ ├── internal/
|
||
│ │ ├── api/routes/
|
||
│ │ │ ├── core.go # NewAPI（含 SetPrefetchPusher 接入）
|
||
│ │ │ └── ws_events.go # WSPrefetchAdapter
|
||
│ │ ├── governance/graph_sqlite.go # E1 bug 修复
|
||
│ │ └── storage/
|
||
│ │ └── recall.go # MMR bigram 修复
|
||
```
|
||
|
||
## 下一步
|
||
|
||
- **E4**：图谱推理（图谱真正参与推理：矛盾检测、跨 agent 共享、遗忘决策参考图谱结构）
|
||
- **G7**：遗忘 + 技能系统（forgetter + agent skills）
|
||
---
|
||
|
||
## 2026-05-31 紧急修复：consolidate 服务路径冲突
|
||
|
||
### 问题
|
||
|
||
监控报告 `lancedb` 目录为空，实际数据在 `/var/lib/memoryweave/memories.lance/`（1386 条）。
|
||
|
||
### 根因
|
||
|
||
**两个问题叠加：**
|
||
|
||
1. **系统级 service 文件路径错误**：`/etc/systemd/system/zhiyi-consolidate.service` 指向：
|
||
- binary: `/usr/local/bin/zhiyi-consolidate`（旧 binary，5月29日）
|
||
- data-dir: `/var/lib/memoryweave/lancedb`（空目录）
|
||
|
||
2. **多进程冲突**：同时存在 3 个 consolidate 进程，路径各异
|
||
|
||
### 修复
|
||
|
||
```bash
|
||
# 1. 修复系统 service 文件
|
||
cat > /etc/systemd/system/zhiyi-consolidate.service << 'SERVICE'
|
||
[Unit]
|
||
Description=ZhiYi Consolidation Engine (Rust LanceDB)
|
||
After=network.target
|
||
|
||
[Service]
|
||
Type=simple
|
||
User=muc
|
||
ExecStart=/home/muc/projects/memoryweave/rust/target/release/zhiyi-consolidate --socket /tmp/zhiyi-ipc.sock --data-dir /var/lib/memoryweave
|
||
Restart=always
|
||
RestartSec=5
|
||
|
||
[Install]
|
||
WantedBy=multi-user.target
|
||
SERVICE
|
||
|
||
# 2. 重载并重启
|
||
sudo -S -p '' systemctl daemon-reload
|
||
sudo -S -p '' systemctl restart zhiyi-consolidate
|
||
```
|
||
|
||
### 验证
|
||
|
||
```
|
||
$ curl -s -H "X-API-Key: zhiyi-dev-key-2026" "http://127.0.0.1:7821/api/v1/stats"
|
||
{"backend":"lancedb (Rust IPC)","data_dir":"/var/lib/memoryweave","tombstone_count":0,"total_episodes":1,"total_memories":1388}
|
||
```
|
||
|
||
**数据完好，1388 条 memories。**
|
||
|
||
### 经验教训
|
||
|
||
- 部署 binary 时**必须同步更新 systemd service 文件**，不能只替换 binary
|
||
- 两个 service 文件需保持同步：`~/.config/systemd/user/zhiyi-consolidate.service` 和 `/etc/systemd/system/zhiyi-consolidate.service`
|
||
- 监控系统检查的路径必须和实际运行的进程路径一致
|
||
|
||
|
||
---
|
||
|
||
## E5.1 Obsidian 插件（2026-06-02）
|
||
|
||
### 实现内容
|
||
|
||
**CORS 中间件**
|
||
- `go/internal/api/middleware/cors.go`: 新增 `CORS()` 函数，支持 `app://obsidian.md` origin
|
||
- `go/internal/api/server.go`: `return middleware.CORS()(middleware.Auth(mux))`
|
||
- 验证: `curl -I -X OPTIONS http://localhost:7821/api/v1/stats -H "Origin: app://obsidian.md"` → 204 + CORS headers ✅
|
||
|
||
**Obsidian 插件 (`plugins/obsidian/`)**
|
||
- `manifest.json`: id=`zhiyi-memory`, name=`织忆`, minAppVersion=`0.15.0`
|
||
- `main.ts`: 注册 ZhiYiPlugin，3 个命令（记忆面板/图谱面板/搜索）+ 设置页
|
||
- `src/api.ts`: fetch 封装，调用 Go API `/api/v1/*` 全部端点，API Key = `zhiy...`（截断）
|
||
- `src/MemoryView.ts`: 侧边栏记忆列表，分页（每页20条），蒸馏队列警告
|
||
- `src/GraphView.ts`: D3.js force-directed graph，ego-network 探索，节点拖拽/缩放
|
||
- `src/SearchModal.ts`: 语义搜索模态框，debounce 300ms，Enter 选择第一条
|
||
- `styles.css`: 全局样式，蒸馏警告高亮
|
||
- `esbuild.config.mjs`: 构建 main.ts → main.js（minified）
|
||
- 构建产物: `main.js` 22KB（已安装至 `~/.obsidian/plugins/zhiyi-memory/`）
|
||
- `README.md`: 安装/使用文档
|
||
|
||
**Makefile 新增目标**
|
||
```makefile
|
||
build-obsidian: cd plugins/obsidian && node esbuild.config.mjs
|
||
install-obsidian: build-obsidian + cp to ~/.obsidian/plugins/zhiyi-memory/
|
||
```
|
||
|
||
**npm 修复**
|
||
- `~/.local/bin/npm` 脚本指向错误路径 `/home/muc/.local/lib/node_modules/npm/bin/npm-cli.js`
|
||
- 实际路径: `/home/muc/.local/lib/npm/bin/npm-cli.js`
|
||
- 修复: `patch` 脚本中的路径后，npm --version 正常（10.9.7）
|
||
|
||
### 验收标准 ✅
|
||
- [x] CORS headers: `Access-Control-Allow-Origin: app://obsidian.md` ✅
|
||
- [x] `make build-obsidian` → main.js 22KB ✅
|
||
- [x] `make install-obsidian` → 文件复制到 `~/.obsidian/plugins/zhiyi-memory/` ✅
|
||
- [x] Go API 1617 记忆正常 ✅
|
||
|
||
### git commit
|
||
```
|
||
E5.1 Obsidian 插件: CORS中间件 + 记忆面板 + 图谱视图 + 搜索模态框
|
||
abef38c
|
||
```
|