xiaoxue_admin
/
xiaowei-system
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
275 Commits 1 Branch 9 Tags 5.8 GiB
Commit Graph

52 Commits

Author SHA1 Message Date
小唯 A06 8a13319914 auto-snapshot 2026-09-09 03:00:34 2026-09-09 03:00:34 +08:00
小唯 A06 23ba1cd590 auto-snapshot 2026-09-07 03:00:30 2026-09-07 03:00:30 +08:00
小唯 A06 ac03fad53b fix(模型根治): 移除本地4B+多平台防限流 — llama disable(gpu-watchdog不再拉起), 蒸馏/画像/全部cron切云(agnes主+glm-4-flash智谱替补+deepseek商汤末位), daemon.py call_llm真fallback链+按model路由, glm-4路由修正(智谱非商汤), 看门狗候选池扩充+ZHIPU key加载; skill固化: sqlite-db-corruption-recovery模式13(OOM根因定案)+provider-tiering防限流策略 2026-09-06 12:32:03 +08:00
小唯 A06 5ce7390c2c fix(optimizer+daemon): 统计口径与日志刷屏 — cron读jobs键(57任务)、daemon逐行分类(error 60295→~50)、compaction空转刷10万行停刷、深度思考日志改单行 2026-09-06 10:26:33 +08:00
小唯 A06 1b21f556f3 auto-snapshot 2026-09-06 03:00:26 2026-09-06 03:00:26 +08:00
小唯 A06 55a37e2097 退役 TencentDB(TDAI): 双写停用 + TDDB_ENABLED开关 + 污染点切断 (2026-09-05) 
- 架构结论: TencentDB L1 2677条系循环污染源(重复+幻觉人名), 源头即织忆/Soulful, 无独立价值
- daemon.py: 11处patch, TDDB_ENABLED=False 短路全部TencentDB读写
  - 写方向: soulful_profile_to_tdb_scene/tddb_capture/zhiyi_to_tdb/_distill_l2_to_l3/_distill_l3_to_l4
  - 读方向: _distill_l4_to_l5(回写画像污染点)/save_llm_context L3 scenes/check_scene_aware_cares
  - 主循环 tddb_capture 调用 + 误导日志移除
- memory-system-self-upgrade.py: upgrade_tddb 短路
- memory_recall.py: 标记退役
- 服务: tdai-gateway stop+disable, 数据归档 ~/.memory-tencentdb.archive-20260905 (1.9G)
- 验证: llm_context scenes=[], 重启后日志 TencentDB 匹配=0, zhiyid OK
- 备份: .archive/daemon.py.before-tddb-retire-20260905.py
 2026-09-05 03:50:49 +08:00
小唯 A06 c549095b22 feat: 本地GPU推理全面落地 + 云LLM调用本地化 (2026-08-29) 
- 7B Q3常驻(llama-server-7b.service, parallel 2) + 3B备用, llama-switch.sh开关
- bge-m3 INT8量化 + CUDA (bge-embed.service)
- gpu_infer.py统一入口 + gpu_run.sh + GPU健康看门狗
- 织忆蒸馏切local/qwen7b(zhiyid.service), TencentDB L1切local(tdai-gateway.yaml)
- daemon.py call_llm本地优先(fallback云)
- github-weekly/投研简报/wiki_curator/cangjie全部本地优先
- distill-model-watchdog适配local分支+健康检查防误切
- 移除.env/auth.json跟踪(防敏感泄漏)
 2026-08-29 18:53:48 +08:00
小唯 A06 1478105246 auto-snapshot 2026-08-24 03:00:32 2026-08-24 03:00:32 +08:00
小唯 A06 b8390182da auto-snapshot 2026-08-22 03:00:14 2026-08-22 03:00:14 +08:00
小唯 A06 aee0ef62f6 备份: daemon.py修复reflection字符串崩溃 + 小米模型配置 + DSH小米模型配置 + opencode升级v1.18.18 2026-08-19 23:42:38 +08:00
小唯 A06 3997d9e904 fix: 全面切 Agnes — 蒸馏看门狗+巡检自愈+6个脚本 
- distill-model-watchdog.py: 候选池Agnes优先, 双端点支持, _update_zhiyid端点/key联动, _update_tddb只改llm段(不再误改embedding)
- model-health.py: 蒸馏自愈Agnes优先, 当前模型探针用_get_endpoint(修复误判agnes挂→切回NewAPI的bug), tdai更新只改llm段
- daemon.py: FAST/DEEP/COMPACTION_MODEL→agnes-2.0-flash, 硬编码模型名/URL→动态
- cangjie_distill.py: 默认模型→agnes-2.0-flash
- wiki_curator.py: LLM→agnes(无key fallback NewAPI)
- github-weekly-digest.py: 模型→agnes, 端点动态
- model-health.sh: 测试列表加Agnes+独立端点
- tdai-gateway.yaml: llm.baseUrl/key→Agnes, embedding保持bge-m3(已修正)
 2026-08-17 23:27:45 +08:00
小唯 A06 af0ebff46b chore: tdai-gateway 看门狗 + skill-curator/learner/daemon 修复 
- 新增 tdai-gateway-watchdog.sh（每30min检查 systemd active + 8420 端口，异常飞书报警）
- skill-curator: PROTECTED_SKILLS + stopwords + .archive 扫描修复
- learner: pattern 支持度≥2 门禁 + episode_id 返回值修复
- daemon: L1→L2 蒸馏 procedural 分类
 2026-08-02 23:41:48 +08:00
小唯 A06 0d607c858f 织忆提升: learner轨迹学习门禁+织忆写入, daemon程序记忆分类 (源自ai-agent-book蒸馏方法论) 2026-08-02 21:34:49 +08:00
小唯 A06 9fb53afa2f fix(daemon): graph.db schema 启动自愈 + cron脚本模型更新 
1. daemon.py 新增 _ensure_graph_schema(): 启动时幂等建表
   (graph_nodes/graph_edges/version_history)，防止 graph.db 为空/丢失
   时所有蒸馏 SQL 报 no such table（2026-08-01 迁移事故根因）
2. cangjie_distill.py / wiki_curator.py: cron 模型 gpt-oss-120b → nemotron-3-super
   (model-health 排名驱动，均 NewAPI 免费模型，cron 用途)
 2026-08-01 10:16:54 +08:00
xiaowei 3328f00b11 feat: 生态完美化修复 F1-F5 
F1: Hermes全插件确认(browser/web/kanban已内置)
F2: OpenClaw 5 agent技能体系(子任务执行中)
F3: Hermes↔OpenClaw桥接(openclaw-bridge.py)
F4: CBM→织忆通道确认(OpenClaw可读)
F5: prof-b分身感知(profile-sync.py)
+ daemon.py集成 F3/F5 deep_think循环
+ cron: profile同步每4h + OpenClaw状态每8h
 2026-07-30 12:33:33 +08:00
xiaowei 3b340646dc feat: 全部8项记忆系统修复完成 
P0: memory_recall.py 超时15s+keepalive线程+3次重试
P1: daemon.py 情绪感知+journals修复+cares自愈
P2: daemon.py deep_think集成P0(每4次)+P2(随机skill)
P3: 遗留DB归档(回收25MB)
P4: agent_id统一为a06(6脚本)
P5: CBM索引2→5项目+新脚本cbm-index-all.sh
P6: memory_recall.py 稳定性修复
P7: 架构文档同步到Obsidian
 2026-07-30 12:16:45 +08:00
小唯 A06 a9722448fb auto-snapshot 2026-07-28 03:00:15 2026-07-28 03:00:15 +08:00
小唯 A06 476e5a740b auto-snapshot 2026-07-26 03:00:40 2026-07-26 03:00:40 +08:00
小唯 A06 a4c37e5390 auto-snapshot 2026-07-22 03:00:54 2026-07-22 03:00:54 +08:00
小唯 A06 644827625d fix: TencentDB接口格式修正 + requests模块缺失 
关键修复：
1. /recall 返回 {context/memory_count}，/search/memories 返回 {results字符串/total}
   → save_llm_context 改为调 /search/memories，正确解析 results 字符串
2. requests 未在顶部 import，导致 L3/L4 读取全部被 except 吞掉
3. /search/memories timeout 5s（原3s不够）
4. 文档注释全部更新
 2026-07-20 17:14:53 +08:00
小唯 A06 3dc41283af fix: save_llm_context 真正写入L1-L6数据 + 自检脚本v2字段修复 
save_llm_context:
- 重写为真正的v2格式（含L1-L6实时数据）
- observations从graph_nodes实时读，patterns从pattern节点读
- TencentDB /recall写入scenes，L5 distilled_rules从user-profile读
- L6 traits从画像字段读

自检脚本memory-system-check.sh:
- local语法错误修复（函数外不能用local）
- 字段验证改为v2格式：observations/patterns/scenes/policies/distilled_rules
- 输出格式：v2 L1=30 L2=50 L3=0 L4=0 L5=1
 2026-07-20 16:52:29 +08:00
小唯 A06 25cf2ab0ac feat: L1→L2 增加会话消息分析 + 加速deep_tick至2min 
- 来源2（新增）：分析 state.db 3.3万条消息，追踪高频关键词topic
- deep_tick 间隔从300s→120s，加速pattern积累
- L2→L3触发阈值3，预计2个tick后触发
 2026-07-20 16:38:17 +08:00
小唯 A06 2b4aa713e2 feat: _distill_l1_to_l2 以 graph_nodes 为 primary L1 数据源 
- primary: 聚合 graph_nodes namespace×type 组合（cnt≥3）→ pattern 节点
- 10 个高频组合一次性创建（hermes-main/entity 3867节点等）
- legacy: memories 表保留兼容
- occurrences 持续累加，3次后 L2→L3 触发
 2026-07-20 10:35:47 +08:00
小唯 A06 9aecca9582 feat: 记忆系统分层合并完成 - L1→L6 全链路蒸馏 
修复：
- TencentDB 只支持 /capture，/scenes 死代码全移除（3处）
- soulful_profile_to_tdb_scene() → /capture 格式
- _distill_l2_to_l3() → /capture 格式

新增蒸馏函数（deep_tick 每5min）：
- _distill_l3_to_l4(): L2 patterns → cross-domain policies (TencentDB)
- _distill_l4_to_l5(): policies → traits (user-profile.json distilled_rules)
- _distill_l5_to_l6(): traits → values (heart-traces.jsonl type字段补全)

memory_recall.py 重构：
- 新增 query_llm_context() 统一读取入口（优先 llm_context.json）
- 新增 --format unified 输出 llm_context v2 格式

验证通过：
- llm_context.json v2: 9字段完整
- distilled_rules: 新增「简洁直接，不废话」
- heart-traces.jsonl: 13条 type 字段全补充
- L4→L5/L5→L6 实际运行日志确认

commit: 605c5f3(L1→L2→L3) → 80a72c5(L3→L4→L5→L6)
 2026-07-20 01:21:03 +08:00
小唯 A06 605c5f3b3f feat: L1→L2→L3 蒸馏管道 + llm_context.json v2 统一格式 
- _distill_l1_to_l2(): memories 表 pattern 发现，occurrence≥3 写 graph_nodes
- _distill_l2_to_l3(): L2 patterns → TencentDB L2 scenes (domain-rule)
- save_llm_context() 重构: 统一 v2 格式（user_profile/active_scenes/short_term）
- 移除旧字段: tddb/latest_persona/system_prompt_snippets/os_keywords
- main_loop deep_tick 注册两个新蒸馏函数

验证: 11/11 检查全通过
 2026-07-20 00:21:50 +08:00
小唯 A06 a7f2316c0f feat: 四套记忆系统合并 Phase 1-4（2026-07-19） 
- Phase 1.1: soulful_profile_to_tdb_scene() 新增（opencode执行）
- Phase 1.2: 重构 tddb_sync → 统一 user_profile 结构（整合Soulful profile + TencentDB）
- Phase 2.1: _cleanup_expired_cares() + _check_scene_aware_cares() 新增
- Phase 3: zhiyi_to_tdb() 新增（recent_moments → TencentDB L1）
- Phase 4: latest_persona 旧逻辑移除，tddb[] 字段清理
- cares-queue 清理3条过期项（7-10已过期9天）

验证: daemon.py语法✅ TencentDB✅ 织忆✅ cares无过期✅
 2026-07-19 22:31:44 +08:00
小唯 A06 86a79bd940 chore: 全面检查完成 + Calibre书库接入 192.168.123.11:8089 
全面检查修复:
- 4个cron wrapper脚本空格问题修复
- NewAPI token验证逻辑确认(curl需带token)
- OpenClaw 2026.7.1最新
- Herms v0.18.0已升级

Calibre内容服务器:
- 书库: D:\calibre书库- 端口: 8089 (已放行防火墙)
- 启动: 牧尘手动执行(方案A)
- OPDS: http://192.168.123.11:8089/opds
- 状态: 正常运行✅
 2026-07-18 02:09:03 +08:00
小唯 A06 431cae640d fix(daemon): 删除重复函数定义 + 统一模型常量 
问题:
- 4个函数重复定义: _write_conflicts_to_queue(x2) detect_memory_conflicts(x2)
  Python后者覆盖前者，导致行为不一致
- update_profile_from_journal model参数缺mistralai/前缀会报错
- update_profile_from_journal URL硬编码http://127.0.0.1:3000未用API常量

修复:
- 删除L483-618处重复的_write_conflicts_to_queue+detect_memory_conflicts
- 删除L841-892处重复的同样两个函数
- model参数统一用FAST_MODEL常量
- URL改用f{API}常量
 2026-07-14 15:53:07 +08:00
小唯 A06 460abde2d9 fix(daemon): 代码审查修复4个问题 
1. 删除重复的 update_profile_from_journal 定义（L481-555死代码）
2. detect_memory_conflicts 模型名补 mistralai/ 前缀（修复400错误）
3. 3处双重json.loads(list comprehension)统一用lambda修复
4. L546占位符残留(X/N)修复，变量名entries→parsed
 2026-07-14 11:44:25 +08:00
小唯 A06 4c505be881 feat: awesome-llm-apps 借鉴落地（6项目分析+3项实现） 
来源: Shubhamsaboo/awesome-llm-apps (Gitea: awesome-llm-apps-source)

实现:
- corrective_rag → daemon.py: corrective_recall (LLM相关性评分+query改写重检)
- agentic_rag_reasoning → daemon.py: log_reasoning_step/get_reasoning_trace (deep_tick推理轨迹)
- always_on_agents → daemon.py: deep_tick内4阶段记录追踪步骤
- knowledge_graph_rag → zhiyi skill: 多跳推理查询+来源链追溯模式文档

未改动: multi_mcp_agent/router (openclaw已验证架构，skill已记录)
 2026-07-14 10:10:01 +08:00
小唯 A06 fb709f0cec feat(记忆系统): 5阶段全部落地 - 时间衰减recall/遗忘曲线分层/画像LLM合成/冲突检测/Consolidation引擎 
Phase 1: time_decay_recall() - 织忆recall加权时间衰减(60%语义+40%衰减)
Phase 4: get_memory_tier + log_memory_access + _boost_recalled_memory - hot/warm/cold/archive四层+30天访问boost×1.15
Phase 2: update_profile_from_journal - deep_tick时LLM分析journal更新画像
Phase 3: detect_memory_conflicts + _write_conflicts_to_queue - journal vs 织忆矛盾检测+冲突队列
Phase 5: _consolidate_memories() - memory-system-self-upgrade.py每日Consolidation(重复记忆检测+高频模式挖掘+触发器)

全部语法验证通过，daemon已重启生效。
 2026-07-13 13:53:43 +08:00
小唯 A06 c9b0fc8a7f feat: 画像可执行化 + skill牧尘规范 
1. user-profile.json v2: 8条behavior_rules可执行行为规范
2. daemon.py: save_llm_context改system_prompt_snippets注入llm_context
3. daemon.py: journal_entry details结构化结论
4. 3个核心skill加牧尘_usage_notes字段
5. Obsidian: llm-context注入机制.md新建+memory_recall.md更新

验证: 8条snippets已注入llm_context.json,织忆prefetch自动携带
 2026-07-13 12:53:17 +08:00
小唯 A06 31831c1ed1 feat: 三套记忆系统全面检查+修复上线 
1. memory_recall.py: 修复5个bug（due→follow_up_date等）
2. daemon.py: TencentDB capture（每deep tick）+ 自动同步到llm_context.json
3. Soulful: 清理脏cares数据，追加7条有意义心迹
4. skill-manager-scan.sh: 包装脚本修复cron no_agent问题
5. 新增参考文档记录工作流
 2026-07-13 11:29:08 +08:00
小唯 A06 7997b316c0 fix: 心迹写入2个bug 
1. Phase3运算符优先级: important AND 标记 → 加括号
2. Phase2情绪词: 移除泛化词(成功/完成/解决了/修好了)
   只保留精准情感词(开心/高兴/太好了/完美/棒/太牛了)
 2026-07-10 19:06:32 +08:00
小唯 A06 dcdef35c1c fix: daemon.py 3个字段bug修复 
1. save_llm_context: queue→cares（json字段名）
2. save_llm_context: due_date→follow_up_date
3. _sync_soulful_to_llm_context 函数缺失补全
4. 同步调用插入 light tick
 2026-07-10 18:11:08 +08:00
小唯 A06 16cce9dd45 fix: daemon.py 心迹写入(技术重要时刻)+cron职责分离 
- journal_entry增加技术重要事件写心迹(不依赖情绪检测)
- 新增update-profile-full.sh wrapper供cron使用
- check_cares.py飞书卡片格式修复(cron已修复)
- 每日复盘cron改为update_profile --full纯cron
 2026-07-10 17:08:06 +08:00
小唯 A06 46767ba886 fix: psutil.pid_exists用os.getpid()代替ctx[pid] 2026-07-10 03:38:11 +08:00
小唯 A06 1e2ede2fe5 fix: daemon_status用psutil兜底,psutil导入 2026-07-10 03:36:29 +08:00
小唯 A06 61d2ab09c6 fix: tighten exception handling in daemon.py, soulful_core.py, zhiyi/__init__.py 
- daemon.py: replace bare 'except Exception: pass' with specific
  (json.JSONDecodeError, OSError, IOError, KeyError, TypeError) in
  save_llm_context() — all 4 locations
- soulful_core.py: replace bare Exception in _zhiyi_commit with
  (requests.exceptions.Timeout, ConnectionError, RequestException, OSError, IOError);
  note ZHIYI_TIMEOUT=3 kept unchanged
- zhiyi/__init__.py: replace bare Exception in _load_soulful_context with
  (json.JSONDecodeError, OSError, IOError, KeyError, TypeError)

All files verified: python3 -m py_compile OK
 2026-07-10 03:29:22 +08:00
小唯 A06 36ec8dc9fd fix: 审查补充 — content类型校验/os_keywords类型检查/encoding utf-8 2026-07-10 03:20:47 +08:00
小唯 A06 d910338bec fix: 代码审查修复 — profile路径/jsonl→json/sys.modules覆写/timeout/循环import/summarize重复定义 2026-07-10 03:17:48 +08:00
小唯 A06 050752a3a3 feat: daemon每tick写llm_context.json供Hermes插件注入Soulful上下文 2026-07-10 02:46:44 +08:00
小唯 A06 ea577f6b14 fix: daemon LLM模型换成mistral-large（step-3.5-flash不稳定）+ 日志增强 2026-07-10 01:31:05 +08:00
小唯 A06 d536dca24f fix: Soulful代码审查修复 
严重:
- argparse语法错误 (-t,--type 顺序)
- main()未定义但被调用
- API变量未定义导致call_llm崩溃
- os_sense中文提取失效（\w不匹配中文）

数据:
- 牵挂去重（删除重复条目）
- soulful_core.py结构修复

低优先级（记录，不阻塞）:
- 文件无锁并发写入
- 画像数据未在daemon使用（下次对话我会主动用）
- 牵挂识别误报（待持续优化）
 2026-07-10 01:19:41 +08:00
小唯 A06 4e5ad6218c feat: Soulful 数据流向优化 
- CaresQueue: 优先行动/其次飞书, auto_helpable关键词静默处理
- soulful_core: 新增 summarize() 接口, HeartTraces.delete()
- 删除了重复心迹, 牵挂去重处理
 2026-07-10 01:07:14 +08:00
小唯 A06 f99830d11a feat: Soulful Phase 1-5 全部完成 
Phase 1: 心迹库+画像库+牵挂队列 + daemon集成
Phase 2: 情感词库 + journal_entry自动心迹写入
Phase 3: os_sense.py (轻量OS感知) + daemon集成
Phase 4: SOUL.md文案灵魂感改造
Phase 5: update_profile.py自动牵挂识别

Files:
- scripts/soulful_core.py (HeartTraces/UserProfile/CaresQueue)
- scripts/update_profile.py (画像更新+自动牵挂识别)
- scripts/check_cares.py (牵挂温暖飞书推送)
- scripts/os_sense.py (OS无感感知, Phase3新增)
- scripts/daemon.py (集成三库+情感词库+心迹写入)
 2026-07-09 23:48:02 +08:00
小唯 A06 7e43f0f742 fix: 更新飞书 webhook token（446db983）替换过期token（65c3ce80） 2026-07-09 23:29:33 +08:00
小唯 A06 82ee9bf176 feat: Soulful Phase 1 — 心迹/画像/牵挂三库 + daemon集成 
- soulful_core.py: HeartTraces + UserProfile + CaresQueue 核心库
- update_profile.py: 从 journal 自动更新用户画像 + 心迹事件检测
- check_cares.py: 牵挂到期检查 + 温暖飞书推送
- daemon.py v2.1: 集成三库（心迹注入deep_think context、每小时牵挂检查、6h画像更新）
- cronjob: 每日9:00牵挂提醒 + 每日21:00牵挂清单
- 数据目录: ~/.hermes/soulful/

版本: 1.0.0
 2026-07-09 21:32:30 +08:00
小唯 A06 3de81d97ae feat(daemon): reflection结构 + graceful shutdown 
- Deep prompt 改为三段式 reflection (evaluation/memory/next_goal)
- deep_think 返回 (reflection_dict, action_string)
- execute_action 从 deep_think 移到 main_loop（决策/执行分离）
- threading.Event 替代 SHUTDOWN_FILE 轮询
- signal handler 注册 SIGTERM/SIGINT → graceful stop
- last_reflection 持久化到 ctx
- JSON 容错解析 + 回退旧格式兼容
Ref: alibaba/page-agent d2+d4 移植
 2026-07-09 16:44:48 +08:00
小唯 A06 f0200697bd auto-snapshot 2026-07-09 08:06:08 2026-07-09 08:06:08 +08:00