Commit Graph

6 Commits

Author SHA1 Message Date
小唯 A06 ff51317e2d bge GPU化(CUDA优先+OOM降级CPU,实测606MiB共存安全); gpu看门狗显存阈值92→85%防llama+bge撞车 2026-09-09 01:01:03 +08:00
小唯 A06 5d3b64de0c auto-snapshot 2026-09-01 23:22:39 2026-09-01 23:22:40 +08:00
小唯 A06 c549095b22 feat: 本地GPU推理全面落地 + 云LLM调用本地化 (2026-08-29)
- 7B Q3常驻(llama-server-7b.service, parallel 2) + 3B备用, llama-switch.sh开关
- bge-m3 INT8量化 + CUDA (bge-embed.service)
- gpu_infer.py统一入口 + gpu_run.sh + GPU健康看门狗
- 织忆蒸馏切local/qwen7b(zhiyid.service), TencentDB L1切local(tdai-gateway.yaml)
- daemon.py call_llm本地优先(fallback云)
- github-weekly/投研简报/wiki_curator/cangjie全部本地优先
- distill-model-watchdog适配local分支+健康检查防误切
- 移除.env/auth.json跟踪(防敏感泄漏)
2026-08-29 18:53:48 +08:00
小唯 A06 d53c7be92e auto-snapshot 2026-08-26 03:00:22 2026-08-26 03:00:22 +08:00
小唯 A06 f9502531f8 fix(bge): 禁用ONNX arena分配器,防止内存泄漏
enable_cpu_mem_arena=False  // 禁用arena保留区
enable_mem_pattern=False     // 禁用内存模式避免碎片

之前5.8GB是arena的保留虚拟内存+碎片,实际工作集约1.5GB。
现在RSS=真实工作集,织忆召回正常。
2026-07-13 17:07:10 +08:00
小唯 A06 2378c10922 init: 初始配置基线 2026-07-09 2026-07-09 02:09:53 +08:00