小唯
|
3102be6f65
|
fix(vprop): persistVProp 改增量写,消除每次 recall 9530 次 Redis 往返(p50 192ms→4.2ms)
根因:persistVProp() 全量遍历 decisions(7592)+memVValues(1938),每条一次 HSET,
且在全局写锁内 ⇒ 单次 recall 9530 次往返≈133ms,随运行时长线性恶化。
修法:只写本次 decision + 本次引用的 memVValues(语义等价,历史条目已在 Redis)。
|
2026-11-01 12:41:06 +08:00 |
|
xiaoyi
|
9a4a734c19
|
fix(metrics): 计数器/率指标语义分清 + t8 阈值改由 Condition 承载(t_da03e910)
- 审计误读订正:deprecated_per_day 是计数器(无分母),不给 _samples/_valid 是对的
- 新增 deprecated_total:区分「今天 0 条」与「从未统计过」(0 的二义性)
- executor t8:原 Condition:0.1 从不生效(判据硬编码 >5)→ Condition:5.0 + 读 t.Condition,行为不变
- 单测钉住:RecordDeprecation 双计数、t8 阈值真的可配、计数器不带率键
- docs/metrics-semantics.md:counter/rate/mean 三种读法 + 0 的二义性铁律
|
2026-10-26 14:55:01 +08:00 |
|
小唯
|
45726d26a7
|
fix(selfoptimize): t_e5997ca4 gap 计数器写侧统一 — +1 只在 open→closed 迁移点 + 计数器 v2 版本化重置
根因(小怡 2026-10-17 终审实测定位):写侧仍有未收口的事件式自增点,
ClosedGaps(9) 越过 TotalGaps(2),gap_closure_rate 被 -1 断言拦下但指标永久不可解读。
① routes/gaps.go:44 POST /close 在 Close() 之后无条件 Dash.RecordGapClosed()
⇒ 同一缺口每次调用都 +1(无限计数)。且实测现行注册为前缀路由
/api/v1/gaps/close/(无 {topic} 通配)⇒ PathValue 恒为 ""、端点恒 400,
该自增点当时不可达,但一旦注册改通配即复活。
② server.go:1950 gap_scan 自动修复循环 AutoRepair 成功只计数不关缺口
⇒ 同一缺口每轮再 +1(无限虚增,线上 9 vs 2 的主要来源)。
修复:
- Close/RecordHit 返回 bool(是否真发生 open→closed 迁移);+1 唯一入口
收敛到迁移点内部;RecordGapClosed 降为包内 recordGapClosed(编译期堵死
跨包事件式自增)。
- gaps.go 删无条件 +1;补前缀路由 topic 解析(端点自此真正可用),
响应如实区分 closed / already_closed。
- server.go 修复循环改「修复成功 ⇒ 关闭缺口」(RepairHandler 同语义),
下一轮 !g.Closed 即跳过,计数只在迁移点。
- 历史 9 vs 2 处置选 (b) 计数器版本化重置:dashboard_schema_version=
dashboard_schema_v2 标记入 Redis HASH + 本地 JSON(既有 90 天 TTL 键,
不新增键);首载无标记 ⇒ ClosedGaps/TotalGaps 归零并回写标记(一次性、
可机械复核),标记在位 ⇒ 保真。代价:丢失不可信的 gap 历史累计。
- 口径不变:ClosedGaps/TotalGaps = 缺口个数;Metrics() 越界断言保留作
安全网(不当修复用)。
测试:
- selfoptimize: Close×3 / RecordHit×3 / 修复循环 3 轮 ⇒ 各只 +1、rate<=1;
SchemaV2 一次性重置 + 标记在位保真(v1 文件 9/2 载入归零、v2 值保真)。
- routes: POST /close ×2(现行前缀注册 + {topic} 通配注册两形态)⇒ 只 +1、
auto_* 计数器快照不变;新增 TestMain 把 ZHIYI_DASHBOARD_PATH 指到临时目录
(先例:selfoptimize 包同款,防测试写生产落盘点)。
- 判别力证明(/tmp 改前树 c015feb 旁证副本,不进仓库):逐字复刻改前两写
路径 ⇒ ClosedGaps diff=6 > TotalGaps=2(rate 3.0 越界,线上 9 vs 2 同型)
FAIL;改后同场景 diff=2、rate=1.0。
边界:只动 gap 计数器与调用点;部署不在本卡(t_ad887e7c,待牧尘放行)。
|
2026-10-17 22:12:40 +08:00 |
|
小唯
|
44fd0e95b4
|
fix(metrics): t_c70f385c 消费者 N/A 护栏 + daily-check N/A 显示 + 反例测试
小怡终审 2026-10-17 21:05 必须修的 4 项之一(-1 哨兵被当低分 ⇒ 触发器恒 fire):
1. selfoptimize.go: 新增 IsNA(v) 判 N/A(metricNA<0)。
2. executor.go: TGapDetected/TQualityDrop/TVValueLow 阈值比较前显式判 N/A,
-1 不再被当「低于阈值」每轮触发(与旧 recall_hit_rate 恒=1 同类失真、方向相反)。
配 executor_na_test.go 反例(v=-1 断言不触发)+ 正向对照。
3. tuning.go: AnalyticsHandler 建议 builder 抽为纯函数 AnalyticsSuggestions,
统一走 ratioFor(-1/valid=0/样本不足 ⇒ 不产生建议);配 tuning_analytics_test.go 反例。
4. 两个 daily-check.sh: gap/auto/usefulness 值为 -1 时显示 —(N/A),不再打印误导性 -1/天。
测试命令(go.mod 在 go/ 下,须 cd go):
cd go && go test ./internal/selfoptimize/... ./internal/api/routes/
(TestCommitConflictGate_E2E 为既有环境性 LLM 蒸馏用例,非本次改动路径,单独 FAIL)
生产部署仍待小怡终审 + 牧尘放行(本卡边界)。
|
2026-10-17 21:22:28 +08:00 |
|
小唯
|
b2a016e90f
|
fix(metrics): t_c70f385c 指标口径修复 — recall_hit_rate 退役 + gap_closure_rate 断言 + 最小样本门 N=20
- recall_hit_rate 退役:分子原为 core.go 的 len(results)>0(恒=1、无区分度),
「返回且被使用」语义已由 recall_usefulness_rate 承担(207 样本 0.98)。
Metrics()/distributed/metrics-gauge/executor/tuning/CLI/daily-check 全链移除该键。
- gap_closure_rate 统一为「缺口个数」口径:Close() 加 !g.Closed 守卫(与 RecordHit 一致),
根治同一缺口重复关闭导致 ClosedGaps 虚增、越界 4.5;Metrics() 加越界断言 gapRate>1 → -1。
- 所有率类指标加最小样本门 minRateSamples=20:样本<20 ⇒ -1 + valid=0,
杜绝 auto_resolve_rate 2 样本判满分。
- 测试:metrics_retire_regression_test.go 用生产同款计数复现改前/改后 JSON;
selfoptimize 全套通过。
|
2026-10-17 20:32:34 +08:00 |
|
小唯
|
faf71cbe99
|
fix(tuning): 调参接线消费方 + 阻尼 + 持久化(治「旋钮没接到任何东西」)
实测三真相(2026-10-14):
① 无消费者 —— grep Tuner. 全仓只有 3 处路由注册,没有任何代码读
Diversity/GapThreshold/DecayRate/DistillInterval ⇒ 调参改了数字、行为零变化。
② 不幂等(棘轮)—— 同一判据每调一次推一步:连跑两次 decay 0.015→0.018→0.0216。
③ 不持久化 —— 包级内存变量,重启即回默认。
修法:
- 接线:storage.SetDefaultMMRDiversity / selfoptimize.SetGapThreshold(消费者持值、调参器推送,
避免 storage←routes 反向依赖)。初值对齐消费方真实默认(Diversity 0.5→0.3)⇒ 当天行为不变。
- 阻尼:同一参数 6h 冷却。
- 持久化:/var/lib/memoryweave/tuning-state.json(env ZHIYI_TUNING_STATE 可覆盖),启动 load+接线。
- 删规则3(废弃率→提高衰减率):方向危险 —— NewForgetter 注释记载
「0.015→0.03 曾致误删(36天库龄下 0-recall 长记忆全被清)」。
- 删规则5(蒸馏损失→缩短蒸馏间隔):无正确消费方 —— engine.go 的 batchTimeout 是
「队列冻结兜底 ticker」(安全网),不是蒸馏节奏。
测试 4 个:哨兵/少样本拦截、冷却、推送、持久化(含「健康数据仍能调」反向验证)。
|
2026-10-14 09:50:09 +08:00 |
|
小唯
|
aab877a13c
|
fix(distill): t_c06ad4d0 解污染——蒸馏回调改走独立计数 distill_success_count,不再灌 UsefulCount/recall_usefulness_rate 分子; 拆账不丢数(字段+RecordDistillSuccess+Redis/本地持久化+Metrics键); 回归测试10次蒸馏⇒UsefulCount仍0、无反馈样本rate仍metricNA
|
2026-10-14 02:01:36 +08:00 |
|
小唯
|
467d9b4ac1
|
fix(metrics): 分母退化返回 N/A(-1) 而非 1 + 每项比率自报 samples/positive/negative
牧尘批准「分母退化就返回 N/A 而非 1」。逐项落地:
- 新增 metricNA(-1) 哨兵:真实比率必落 [0,1],-1 不可能被误读成任何一档成绩
- 6 项比率/均值统一走 rateOrNA():分母<=0 ⇒ -1(旧实现返回 0,0 意为「0%」同样是没资格下的结论)
- 每项配 <name>_valid(1=可解读) / <name>_samples(分母) / usefulness 另配 positive/negative
⇒ 让「负样本饥饿」可被机器读出,无需魔法阈值
- distributed.go Prometheus 渲染同步:HELP 注明 -1 语义 + 输出 *_valid/*_samples,
并警告看板须先按 *_valid 过滤,否则 -1 会拉低均值
只增键、不改键名 ⇒ 全部既有消费方(SyncFromDashboard / 各 JSON 端点)不受影响。
单测 5/5 新增 PASS;既有 2 例断言旧语义(零状态=0)已按本意更新为对齐零状态值。
go build ./... 通过;go vet 干净。
⚠️ 尚未解决(另案):recall_usefulness_rate 的真病灶是 server.go:384 在蒸馏完成回调里
调 RecordUseful() ⇒ 分子数的是「蒸馏成功次数」、分母是「召回负反馈次数」,两者不同源。
本 commit 只让它可被看见,未改该调用点(server.go 当前有其他 worker 在改,避免撞车)。
|
2026-10-14 01:25:45 +08:00 |
|
小唯
|
886c0c20e2
|
style(gofmt): 全仓 66 文件对齐 gofmt 1.25
gofmt -l 实测 66 文件不合规(历史遗留+gofmt 1.25 规范化:
单行 if/for/case 展开成块、Go1.19+ doc 注释 // 与段落 // 空行)。
本 commit 只含格式化,零逻辑改动:
- 66/66 文件「去注释+去空白+分号归一」后 token 流与 HEAD 完全一致
- go build ./... exit 0;go vet ./... exit 0(改前后一致)
- go test ./... 17 包全 ok(改前后一致)
验收: gofmt -l . 为空;git diff -w 非空系 gofmt 1.25 非纯空白特性,
非逻辑改动(等价性以 token 流 + test 兜底)。
|
2026-10-10 15:51:25 +08:00 |
|
xiaoyi
|
7904a238ed
|
selfoptimize: Dashboard 指标落盘补本地 JSON 兜底(Redis 不可用时重启不丢指标)
- 病根:server.go 调 EnableRedisPersistence(),但本机无 Redis → GetRedisClient() nil
→ redisPersistence 恒 nil → persist() 首行 return,7 项指标只活在进程内(实测重启即全 0)
- 改:Redis 不可用 → 走本地 JSON(/var/lib/memoryweave/dashboard.json,ZHIYI_DASHBOARD_PATH 可覆盖)
原子写(tmp+rename)、best-effort(读/写失败静默退回仅内存,行为不劣化)
deprecated_today 跨天归零(记 deprecated_date)
- 补:RecordFeedback 漏了 persist() → useful/not_useful 从不落盘(唯一一个漏的 Record*)
- 测:3 个新用例(往返/跨天归零/缺文件坏文件安全)+ TestMain 重定向落盘点
(修前实测:整套测试会把生产 dashboard.json 写成测试数字)
- 验证:重启 zhiyid 后 metrics 仍为 recall_hit_rate=0.33 / recall_usefulness_rate=1(改前恒 0)
|
2026-09-26 23:56:11 +08:00 |
|
小唯
|
3b8ecba48e
|
perf: 织忆内存/碎片双治本 — PageRank O(V+E) 重写 + 写入去抖 + 在线VACUUM
1. PageRank 三重循环 O(47k×374k×20≈3.5e11) → 入边表 O(V+E):
单次 full 整合 4h41m → 95.2s,内存峰值 3.8G → 237MB(实测)
2. 图谱修剪 merge 边 id 加 relation + INSERT OR REPLACE:
修复 09-18 起 UNIQUE constraint 静默失败 → 主库首次跑消 9.8万冗余边
3. LanceDB 写入去抖(server.go + validator.go):
被动验证只写 Confidence 实际变化的记录;原先每输入重写全库 6000 条
→ 版本快照 O(n²),每日 ~1.9万版本/十几G 膨胀的根因
4. 新增 scripts/lance_vacuum_online.py:在线 VACUUM(不停服务)+
24h 版本窗口(可回滚)+ 行数门禁(减少才报警);替代停服务版
每日 vacuum → cron 已改为在线版
实测:侧车 RSS 1.09G→69MB;memories 分片 5383→1;服务全程在线
|
2026-09-21 10:17:56 +08:00 |
|
小唯
|
dbe6c278c5
|
deep-think integration: conflict-detector fix, GraphRAG recall fusion, Louvain community discovery, deep-think endpoint
|
2026-09-19 19:12:49 +08:00 |
|
小唯
|
bea2849494
|
fix(tests): 修 pre-existing 测试失配,恢复 make test 全绿 (t_8496e8b6)
四处均为本任务之前就存在的测试漂移(与优化B 无关,但让 go test ./... 无法通过):
1. selfoptimize: 2a350cf 给 NewGapDetector 增加了 (emb, ldb) 两个参数,
8 处测试调用点未跟进,整包 test 构建失败。测试只用到 RecordMiss/Close/List,
不需要真实依赖,传 nil, nil 即可。
2. integration_test.go:296 selfoptimize.NewGapDetector() 同上。
3. integration_test.go:323 InMemoryGraph.Navigate 新增 relFilter 参数,补 nil。
4. integration_test.go:339 /api/v1/triggers/fire 的夹具用了 "t1"(那是 executor
内部编号),routes.Triggers 的真实 ID 是 t_decay/t_distill/t_merge 等,
导致 Fire 返回 404 trigger not found。夹具改用 t_decay。
验证: go vet ./... 无输出; go test ./... -count=1 全部 ok(根包 8.1s)
|
2026-09-12 18:07:40 +08:00 |
|
xiaowei
|
2a350cf781
|
fix(distill): max_tokens 800→1200 — Agnes推理token预算不足
Agnes 2.0-flash是推理模型,推理token占大量预算。
800仍不够→JSON截断(parse error: unexpected end of JSON input)。
1200确保推理+正文都够用。
|
2026-08-20 01:13:06 +08:00 |
|