xiaoxue_admin/zhiyi
Archived
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
47 Commits 1 Branch 0 Tags
main
Commit Graph
47 Commits
This Branch
This Branch
All Branches
Author SHA1 Message Date
小唯 A06 650048ece5 chore: 排除 data/ 目录（运行时数据不入库） 2026-05-30 03:18:53 +08:00
小唯 A06 83776df7d3 perf: rerank修复 + MMR向量复用优化 
1. jina_rerank: 修复 API key 从环境变量读取，修复响应格式
   (document对象→文本字符串)，支持 bge-reranker-v2-m3
2. recall: rerank fallback 编码的向量缓存到 candidate._cached_vector，
   MMR 自动复用（避免 fallback+MMR 双重 encode_batch）
3. recall: 移除重复的 doc_texts 定义（修复语法错误）
 2026-05-27 15:38:04 +08:00
小唯 A06 d424c443f0 fix: health check Redis连接属性错误(store.redis→store.client) 2026-05-27 15:23:31 +08:00
小唯 A06 dbb4fbd60b perf: recall 性能优化 — BGE批量编码 + TTL缓存 + 图谱缓存 
- BGE 批量编码：5个 expanded query 从串行5次HTTP合并为1次批量调用
  减少 HTTP RTT 开销 (~600ms → ~150ms)
- Recall 结果缓存：TTL 60s，LRU 200条，相同 query 直接返回 ~2ms
- Graph related_map 缓存：TTL 120s，减少重复的 SQLite 图查询
- Graph boost 限制 top-20 结果 + 避免重复 doc_entities 查询（N+1优化）

冷启动 QPS: ~11（与优化前持平）
热启动 QPS: ~500（缓存命中，~2ms/次）
 2026-05-27 15:21:17 +08:00
小唯 A06 69cfb72026 fix: PatternStore/Templates路径迁移 + Pattern.list_all API 
- PatternStore/Templates 存储路径从 ~/.memory-fabric 迁移到 ~/projects/zhiyi/data
- templates.py GET /patterns 修复：调用 _scan() 列出所有 patterns 而非返回空列表
- 批量处理 837 条 distilled，生成 910 个 patterns 并持久化
 2026-05-27 13:25:19 +08:00
小唯 A06 624d29b132 feat: 织忆v3.0存储架构补齐完成 
Step 1-9 全部完成：
- carriers/ 记忆锚存储层（9个md + REST API）
- feedback/feedback.jsonl 持久化
- conflicts/conflict_*.jsonl 持久化
- pattern_mining 集成到 distill 流程
- queue.db SQLite 持久化队列
- archive cronjob（每天3:00自动归档）
- graph JSONL导出 + NetworkX快照
- 多命名空间支持（hermes-main/dev/production）
- shared/ 跨Agent共享层

涉及文件：
- src/storage/: carrier_store, feedback_store, conflict_store, queue_store, shared_store, namespace_store, graph_store
- src/api/routes/: carriers, conflicts, feedback, shared, commit
- src/distill/: consolidation, engine
- src/api/server.py
 2026-05-27 12:44:42 +08:00
小唯 A06 4281982a61 feat: 织忆v3.0存储架构补齐（Step 1-5, 9） 
Step 1: carriers/ 记忆锚存储层（9个md文件 + REST API）
Step 2: feedback/feedback.jsonl 持久化写入
Step 3: conflicts/conflict_*.jsonl 冲突记录持久化
Step 4: consolidation.pattern_mining 集成到 distill 流程
Step 5: queue.db SQLite 持久化蒸馏队列
Step 6: 归档 cronjob（每天3:00自动归档）
Step 9: graph JSONL导出 + NetworkX快照
 2026-05-27 12:07:04 +08:00
小唯 A06 6836d91c4d fix: Consumer XREADGROUP last_id='>' + version统一3.1 + 存储路径统一到~/projects/zhiyi/data 2026-05-27 11:18:50 +08:00
小唯 A06 119257c7c1 fix: graph/stats SQL子查询错误(graph_edges无entity列) 2026-05-27 10:55:41 +08:00
小唯 A06 ed5753e881 fix: rebuild-index 分批编码 + nl_query search_by_vector + consumer 消费组初始化 2026-05-27 10:40:52 +08:00
小唯 A06 38abc1cab6 fix: bge-m3 1024d向量维度 + save兼容list + search_by_vector + 修复_log.recall 2026-05-27 02:33:07 +08:00
小唯 A06 981b837361 fix: _log.recall -> _log.info (Logger无此方法导致500) 2026-05-27 02:06:54 +08:00
小唯 A06 5bb72a7fee fix: health endpoint vector_dim + embedder单例统一 2026-05-27 01:49:57 +08:00
小唯 A06 af558bac01 feat: NL query + GPU acceleration + Nginx + systemd 2026-05-27 00:27:49 +08:00
小唯 A06 5c0a3236b3 fix: /api/v1/graph/* 路径免认证（用于浏览器直接打开可视化页面） 2026-05-26 18:47:04 +08:00
小唯 A06 a4166216d0 feat(v3.1): 图谱可视化完整功能 
图谱优化:
- scripts/enhance_graph.py — 节点聚类 + 碎片词过滤
  * 3362 节点 → 1526 有意义节点
  * 869 个概念簇自动识别
  * 碎片词/单字噪声自动过滤
- docs/graph_visualization.html — 更新为增强数据
  * D3.js 力导向图 (canvas 渲染)
  * 聚类标签显示
  * 搜索/双击展开/信息面板

API 新增:
- GET /graph/viz — 可视化页面（含内嵌数据，无跨域）
- GET /graph/enhanced-data — 增强版图谱数据
- GET /graph/stats — 图谱统计概览

飞书入口: 已发送消息卡片（点击链接打开）
 2026-05-26 18:44:40 +08:00
小唯 A06 311dd133bb feat(v3.1): 知识图谱可视化 
P3 实现：图谱可视化（优先级1）

新文件:
- docs/graph_visualization.html — D3.js 力导向图可视化
  * 初始显示 TOP100 高连接节点 + 1跳邻居（约2000节点）
  * 双击节点展开邻居
  * 搜索定位节点
  * 缩放/拖拽/点击详情
  * 关系类型彩色编码

- src/api/routes/graph_viz.py — 图数据 API
  * GET /api/v1/graph/data — D3.js 格式图数据
  * GET /api/v1/graph/stats — 图谱统计概览

- docs/graph_data.json — 预导出图数据（2003节点, 2587边, 330KB）

功能:
- 3362 节点 / 3642 边 / 6 种关系类型
- 高连接节点: muc(54), 发了(51), 4GB(50), AI(40), memory(36)
- 滚动缩放 / 拖拽平移 / 双击展开邻居 / 搜索定位
- info-panel 显示节点详情和所有关联关系
 2026-05-26 18:29:03 +08:00
小唯 A06 a05d13e209 feat(v3.1): P0-P3全面优化完成 
P0稳定性:
- pytest测试框架 + conftest.py（87测试全通过）
- API Key认证中间件（X-API-Key Header）
- Pydantic输入验证增强

P1可靠性:
- 结构化日志（JSON/彩色双模式，commit/recall/redis关键路径）
- 健康检查增强（Redis/磁盘空间/索引完整性/实例状态）
- 备份脚本（data/+Redis RDB，保留10份）

P2性能/体验:
- FAISS IVFFlat升级（doc>1000自动触发）
- OpenAPI文档完整化（/docs, /redoc）
- 批量API（/commit/batch, /recall/batch已存在）
- 同义词Query扩展（42组同义词，recall路由集成）

P3调研:
- GPU加速调研（RTX 3050方案）
- 图谱可视化调研（3362节点可视图）
- 自然语言查询调研

其他:
- logger.py/StructuredLogger兼容
- Health check返回degraded状态
- 版本升至3.1
 2026-05-26 17:39:07 +08:00
小唯 A06 1021ee5211 feat(v3.0): LRU自动淘汰+图谱自动追加+自动蒸馏+重要性持久化全自动化 2026-05-26 16:17:24 +08:00
小唯 A06 538d976358 feat(v3.0): recall自动查询知识图谱，邻近记忆boost分数 2026-05-26 15:55:21 +08:00
小唯 A06 35b427b817 feat(v3.0): recall新增sort=recent时间排序 2026-05-26 15:02:05 +08:00
小唯 A06 f31cf32515 fix(v3.0): Distilled双态移除+冲突自动触发+版本3.0+冗余消除 
- Distilled模型: 删除status/confidence/created_at/updated_at字段
- commit时自动触发ConflictDetector.scan_conflicts(无需手动调用)
- version: 2.6 → 3.0 (server.py + admin.py)
- 冗余消除: commit时overlap>0.8自动合并(标记deprecated)
 2026-05-26 14:45:26 +08:00
小唯 A06 20126277c0 feat(v3.0): 知识图谱+定时遗忘+LRU容量控制+deprecated过滤 
- 知识图谱: GraphStore(SQLite) + GET/POST /graph/* 路由, 多跳导航
- 定时遗忘: zhiyi_archive_daily.py cronjob(每天3:00), 自动归档低价值记忆
- LRU容量控制: /admin/evict, recall_count低的记忆优先淘汰
- deprecated过滤: recall时自动排除已标记废弃的记忆
- 图谱构建: /graph/build 从distilled记录批量构建(3312节点/3568边)
 2026-05-26 14:29:12 +08:00
小唯 A06 53439370c6 feat(v3.0): 遗忘策略+核心记忆保护+隐私隔离+记忆归档 
- 遗忘策略: recall_count=0的记忆按 max(0.1, 1.0-days*0.015) 线性衰减
- 核心记忆保护: tier=core 永不衰减, importance=9999.0
- 隐私隔离: agent_id 字段, recall 支持 agent_id 过滤
- 记忆归档: /admin/archive + /admin/archive/preview 接口
- Distilled 模型增加 tier+agent_id 字段
- faiss_index 三处构建位置补全 tier+agent_id
 2026-05-26 13:52:54 +08:00
小唯 A06 dd7b747260 feat(v3.0): PassiveValidator 被动验证机制 
- 新增 src/storage/passive_validator.py（PassiveValidator 类）
- 三层匹配策略：entity/fact 精确匹配 → keyword substring 匹配 → overlap coefficient
- 验证数据存储 Redis Hash（validation:{id}），计数器存储 val_counter:{id}
- 集成到 commit.py（每次 commit 自动触发，无需牧尘参与）
- 更新织忆 v3.0 设计文档（9.2 节）
 2026-05-26 12:53:16 +08:00
小唯 A06 67ccd7c893 feat(v3.0): 记忆管理增强 + recall热度追踪 + importance_score + MMR + bootstrap 
- recall 热度追踪：每次 recall 递增 Redis Hash（recall_count:{doc_id}）
- importance_score：recall_count × 时间衰减（half-life=90天）
- MMR 多样性搜索：diversity 参数，MMR = (1-λ)×relevance + λ×(1-max_sim)
- /bootstrap 冷启动接口：返回 importance 降序的高价值记忆
- recall_stats() 修复：get_commit_store()._redis → get_redis_client()
 2026-05-26 12:21:06 +08:00
小唯 A06 5fb4e37ac5 fix(v2.9): commit content去重 + recall时间戳 + 索引content去重 
- commit: 按content hash去重，相同内容只返回已有episode_id + deduplicated=true
- recall结果: timestamp字段显示created_at，方便判断新旧版本
- 索引构建: 按content前80字分组，每组保留updated_at最大的版本
- 解决频繁变更事实(IP/密码)的多个过期版本问题
- FAISS向量: 1124 → 484（去重640个重复副本）
 2026-05-26 11:26:43 +08:00
小唯 A06 4c2c83f750 feat(v2.9): hermes-zhiyi-bridge plugin Phase 3 complete 
- memory_search: bge-m3 semantic recall via /recall API
- memory_write: commit to /commit API (fix: episode_id/distilled_id)
- memory_stats: stats via /stats API
- Prefetch: automatic recall before each turn
- sync_turn: async write after each conversation turn
- is_available: health check against ZHIYI_URL

E2E verified: search returns 10 results, write succeeds, recall finds new doc
 2026-05-26 10:03:09 +08:00
小唯 A06 f453d06b83 feat(v2.9): bge-m3 1024维embedding + bge-reranker-v2-m3重排 
- 新增 bge_embedder.py: 模力方舟 bge-m3 API, 1024维向量
- 新增 jina_rerank.py: 模力方舟 bge-reranker-v2-m3 重排API
- recall pipeline: bge-m3 encode + FAISS粗排 + bge-reranker二次重排
- FAISSIndex.index_with_vectors(): 支持预计算向量全量构建
- FAISSRecall.index_documents_with_vectors(): 全量重建索引
- commit.py: 全量索引重建，从JSONLShardStore读取完整数据
- 修复: 数据一致性(FAISS=sbert_docs=stats全部同步)
- recall验证: 新commit内容score=0.714命中
 2026-05-26 09:45:54 +08:00
小唯 A06 085295d793 fix: redis_store read_events从XREADGROUP切换到XREAD修复双实例事件分配不均 
根因：消费者组有历史残留consumer(3个)，XREADGROUP将事件轮询分配，
导致部分实例漏收事件。
修复：改用XREAD+last_id跟踪，每个实例读取所有事件并通过instance_id过滤自身。
 2026-05-25 19:46:15 +08:00
小唯 A06 575c06f1f3 docs: 添加 requirements.txt + deploy.sh 部署脚本 
requirements.txt: 完整依赖清单（50+ 依赖）
deploy.sh: 自动化部署脚本（Redis + venv + HF模型 + 验证）
- 支持 --gpu 模式（需要手动复制 torch CUDA 版本）
- CPU 模式直接 pip install -r requirements.txt 即可
 2026-05-25 18:34:18 +08:00
小唯 A06 2ad824573c feat: E1 GPU加速 + E3 定时蒸馏 
E1: venv torch 升级到 2.12.0+cu130，RTX 3050 可用，SBert GPU 编码自动检测
E2: 已完成（上一 commit）
E3: 新增 /distill/process-queue 端点处理积压 episodes
    定时 cron job 每小时触发（job_id: 7fb9776bd5b4）
    10 条 pending 已处理
E4: 跳过（append_log 低频 + async 收益低）
 2026-05-25 17:54:03 +08:00
小唯 A06 5a6796ebc2 feat: E2 FAISS向量索引替代内存向量存储 
- 新增 src/storage/faiss_index.py: FAISSIndex 类（IndexFlatIP，L2归一化内积=余弦相似度）
- 新增 src/storage/faiss_embedder.py: FAISSRecall（兼容SentenceTransformersRecall接口）
- 集成到 server.py: 切换为 FAISSRecall
- data/sbert_index.faiss: 从现有JSONL构建的FAISS二进制索引（35文档）
- 支持 mmap 持久化，后续可切换 IndexHNSW 处理大规模数据
 2026-05-25 17:28:46 +08:00
小唯 A06 c2e21d448d feat(D3): 负载均衡 + 高可用 
- Nginx upstream 双实例 (7821, 7822)
- least_conn 负载策略
- 服务注册/发现（心跳续约 TTL 30s）
- 故障切换验证通过
 2026-05-25 16:26:09 +08:00
小唯 A06 cee53da87f feat(D2): 事件传播层 - EventConsumer 后台线程 
- 新增 storage/event_consumer.py: 消费 Redis Streams 事件
- 集成到 server.py: startup 事件启动消费者
- 服务注册: 启动时注册实例，心跳续约
- 跨实例事件消费 + CRDT merge 到本地 embedder
 2026-05-25 15:43:31 +08:00
小唯 A06 b46ce6b4b5 feat(D1): Redis 存储层 - 多实例共享 commit store 
- 新增 storage/redis_store.py: RedisCommitStore + 服务注册/发现
- 集成到 commit.py: commit 时同时写入 Redis + 发布事件到 Streams
- 支持: append_commit, publish_event, 服务注册/发现, 事件消费
- 失败不影响主流程（本地 JSONL 仍可用）
 2026-05-25 15:29:06 +08:00
小唯 A06 eaf9800b09 feat: SBert替换TF-IDF + commit自动索引重建 
- B: sentence-transformers (moka-ai/m3e-base) 替换 TF-IDF
- C: commit 时自动重建完整索引（从 JSONL store）
- 共享 embedder 单例（server.py 全局）
- 文档持久化（sbert_docs.jsonl）
- HF 镜像加速（hf-mirror.com）
 2026-05-25 12:28:59 +08:00
小唯 A06 62e870f4ab feat: commit 时同步蒸馏 + 完整 pipeline 
- DistillEngine: 新增 distill_episode() 同步蒸馏方法
- commit 路由: commit → distill_sync → 写入 distilled JSONL
- batch-commit: 同上，批量同步蒸馏
- 实体提取: CJK连续词 + 英文词分词优化
- commit 响应增加 distilled_id 字段

Pipeline: commit → distilled → recall 立即可用
 2026-05-25 10:26:05 +08:00
小唯 A06 ad6acfa612 feat: recall 接入 TF-IDF 语义搜索 
- 新增 storage/recall_embedder.py: TF-IDF 分词器 + 向量引擎
  - CJK 逐字分词，英文驼峰拆分
  - 余弦相似度计算
  - RecallEmbedder 封装
- recall 路由：TF-IDF 语义搜索优先 + 关键词兜底
- 新增 /recall/rebuild-index 和 /recall/stats 端点
 2026-05-25 10:19:00 +08:00
小唯 A06 13f9d3d069 fix: recall增强 — 搜索episodes+distilled多类目、多月扫描 
- JSONLShardStore: 新增 search_recent() 方法，支持跨月搜索
- recall路由: 改为搜索 episodes+distilled 双类目
- 修复 namespace 路径问题（~/.memory-fabric）
 2026-05-25 09:51:44 +08:00
小唯 A06 e8921207c8 feat: Phase 2.3模板 + Phase 3 SDK/同步 + Phase 4性能优化 (2026-05-25) 
- Phase 2.3: Pattern→Template生成器 + TemplateStore + REST API
- Phase 3.1: ZhiYiSync/ZhiYiClient Python SDK + zhiyi-memory skill
- Phase 3.2: AppendLog + MemoryCRDT + sync API (多实例同步)
- Phase 4: SQLite图存储(GraphSQLiteStorage) + Embedding缓存(EmbeddingCache)
- 修复venv依赖，重建端到端测试
 2026-05-25 09:45:22 +08:00
xiaowei 58eaf9d59c feat: Phase 2.1 知识图谱 + Phase 2.2 Peer Representation 
Phase 2.1 知识图谱 (src/graph/):
- GraphNode/GraphEdge 数据模型
- GraphBuilder: 从 Distilled 构建节点和边
- GraphQuery: BFS 多跳导航, degree_centrality, jaccard_similarity
- LazyIndexer: 懒加载索引管理

Phase 2.2 Peer Representation (src/peer/):
- PeerRepr 数据模型: explicit/deductive/induced preferences
- DecayCalculator: 线性衰减公式 score=max(0.1, 1.0-days*0.015)
- Tier 分层: CORE/ACTIVE/PASSIVE/DEPRECATED
- 三步推理引擎: Explicit/Deductive/Inductive Inference
- 置信度聚合: 0.35*deductive + 0.35*induced + 0.30*explicit

Tests: 37 passed (test_graph.py + test_peer.py)
 2026-05-25 03:11:20 +08:00
xiaowei 9986e04d1b feat: Phase 1.3 基础 API — FastAPI 服务器 
- src/api/server.py: FastAPI 主服务，端口 7821
- src/api/routes/commit.py: /commit, /batch-commit
- src/api/routes/recall.py: /recall, /recall/batch
- src/api/routes/conflicts.py: /conflicts/* 冲突检测
- src/api/routes/feedback.py: /feedback/* 反馈回路
- src/api/routes/admin.py: /stats, /config
- pyproject.toml: 项目依赖定义
- .venv: FastAPI + uvicorn 环境
 2026-05-25 02:25:01 +08:00
xiaowei 961e071149 feat: Phase 1.2 L0→L1 JSONL 分片存储 
- src/storage/jsonl_store.py: JSONLShardStore，按月分片+自动归档
- src/storage/tombstone.py: TombstoneStore 墓碑机制
- tests/test_jsonl_store.py, test_tombstone.py
 2026-05-25 02:13:38 +08:00
xiaowei 5711c1b565 feat: Phase 1.1 续 — 硬规则+合并+冲突检测+主引擎 
- src/distill/hard_rules.py: 硬规则过滤器
- src/distill/evaluator.py: LLM 评估层（简化版）
- src/distill/consolidation.py: Consolidation 流水线
- src/distill/conflicts.py: 冲突检测与解决
- src/distill/engine.py: Auto-Distill Engine 主引擎
- tests/test_hard_rules.py, test_consolidation.py
 2026-05-25 02:05:29 +08:00
xiaowei 1802ffd40b feat: Phase 1.1 数据模型 + 持久化队列 
- Episode 模型 (src/models/episode.py)
- Distilled 模型 (src/models/distilled.py)
- SQLite 持久化队列 (src/distill/queue.py)
- 模型测试 (tests/test_models.py)
- 队列测试 (tests/test_queue.py)
 2026-05-25 01:46:34 +08:00
xiaowei 2e503d82ae Initial commit: 织忆 v1.0.0 - Phase 1.1 Auto-Distill Engine (框架) 2026-05-24 23:15:11 +08:00