Files
memoryweave/go/internal/storage/usage_track_test.go
T
小唯 941b7eec32 fix(storage): t_20bfbd9a 边车线程风暴根治 — Rust 连接并发上限+RSS护栏降级串行;命中事件重试跨commit指数退避+积压上限
AC1 Rust accept 循环对每连接 thread::spawn 无上限,Go 侧每 rpc 新 dial ⇒
   IPC 洪泛线程线性涨到 736。加 AtomicUsize 连接门(默认64, env ZHIYI_CONN_MAX),
   超限回 heavy_conn_busy;RSS 超上限(默认3000MB, env ZHIYI_RSS_LIMIT_MB)降级串行。
AC3 usage_recall 加 retry_count/next_retry_at:持久失败行指数退避(1s..600s)不再
   每 commit 热重扫;积压超 ZHIYI_USAGE_BACKLOG_MAX(默认500)本轮跳过扫描。
AC4 新增 usageBackoff/backlog 单测。Go 全仓测试通过。
2026-10-18 02:19:03 +08:00

184 lines
6.9 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package storage
import (
"path/filepath"
"testing"
"time"
)
// setupUsageTest 把追踪库指到临时路径 + 显式打开门控,测完复位。
func setupUsageTest(t *testing.T) {
t.Helper()
SetUsageTrackDBPathForTest(filepath.Join(t.TempDir(), "usage_test.db"))
resetUsageTrackForTest()
SetUsageTrackingForTest(true)
t.Cleanup(func() { SetUsageTrackingForTest(false) })
}
// setupUsageTestOff 显式关掉门控 + 全新临时库,供 AC1 零变化用例。
func setupUsageTestOff(t *testing.T) {
t.Helper()
SetUsageTrackDBPathForTest(filepath.Join(t.TempDir(), "usage_off.db"))
resetUsageTrackForTest()
SetUsageTrackingForTest(false)
t.Cleanup(func() { SetUsageTrackingForTest(false) })
}
// AC1:门控默认关 ⇒ 零行为变化。关闭时所有函数应立即返回、不写库、不崩溃。
func TestUsageTracking_DefaultOff(t *testing.T) {
setupUsageTestOff(t)
if UsageTrackingEnabled() {
t.Fatal("ZHIYI_USAGE_TRACK 未设时应默认关闭(零行为变化)")
}
// 关闭时 no-op 且不 panic
RecordRecalled([]RecalledMemory{{ID: "mem_x", Content: "foo bar baz qux"}})
if got := CheckCommittedForUse(nil, "a06", "hermes", "foo bar baz qux"); got != nil {
t.Fatalf("关闭时应返回 nil flags, got %v", got)
}
if got := UsageReport(10); got != nil {
t.Fatalf("关闭时报告应为空, got %v", got)
}
}
func TestUsageTracking_DistinctiveTokens(t *testing.T) {
toks := DistinctiveTokens("家庭服务器IP为192.168.123.11,星空组网走VPN", 8)
if len(toks) < 3 {
t.Fatalf("应抽出 ≥3 个独特 token, got %v", toks)
}
// 通用停用词不该进来
for _, bad := range []string{"为", "的", "是", "一个"} {
for _, tk := range toks {
if tk == bad {
t.Fatalf("停用词 %q 不应成为独特 token: %v", bad, toks)
}
}
}
}
// 核心:召回 → 后续内容携带独特 token ⇒ 判定「被用上」。
func TestUsageTracking_CarryForward(t *testing.T) {
setupUsageTest(t)
mlc := NewMemLanceClient(nil)
memContent := "家庭服务器IP固定为192.168.123.11,星空组网走VPN 192.168.188.10"
RecordRecalled([]RecalledMemory{{
ID: "mem_usage_t1", Content: memContent,
Namespace: "hermes", Agent: "a06", Query: "家庭服务器IP",
}})
// 提交的内容真实携带了该记忆的独特 token(agent 把它带进了实际产出)
flags := CheckCommittedForUse(mlc, "a06", "hermes",
"家庭服务器IP是192.168.123.11,星空组网用VPN 192.168.188.10 访问")
if len(flags) != 1 {
t.Fatalf("期望 1 条「被用上」判定, got %d", len(flags))
}
if flags[0].MemoryID != "mem_usage_t1" {
t.Fatalf("记忆 id 不符: %s", flags[0].MemoryID)
}
if flags[0].HitCount < 2 {
t.Fatalf("命中 token 数应 ≥2, got %d", flags[0].HitCount)
}
// outcome 事件已追加(downstream_use, pos)
events, _ := mlc.GetHitEvents("mem_usage_t1", 5)
if len(events) != 1 || events[0].Outcome != "pos" || events[0].Reason != "downstream_use" {
t.Fatalf("期望 1 条 pos/downstream_use hit event, got %+v", events)
}
// report 可读回
rep := UsageReport(10)
if len(rep) != 1 || rep[0].MemoryID != "mem_usage_t1" {
t.Fatalf("report 应含 1 条样本, got %+v", rep)
}
}
// 同一次 recall 行只消费一次:同一记忆多次命中不无限累加。
func TestUsageTracking_ConsumedOnce(t *testing.T) {
setupUsageTest(t)
mlc := NewMemLanceClient(nil)
RecordRecalled([]RecalledMemory{{
ID: "mem_usage_t2", Content: "GPU 型号为 RTX3050 4GB,运行 Deepin 系统",
Namespace: "hermes", Agent: "a06", Query: "显卡",
}})
// 第一次命中 ⇒ 判定
if f := CheckCommittedForUse(mlc, "a06", "hermes", "GPU 是 RTX3050 4GB 跑 Deepin"); len(f) != 1 {
t.Fatalf("第一次应判定, got %d", len(f))
}
// 第二次(同一 recall 行已消费)⇒ 不再判定
if f := CheckCommittedForUse(mlc, "a06", "hermes", "GPU RTX3050 Deepin 4GB 显卡"); len(f) != 0 {
t.Fatalf("消费后不应重复判定, got %d", len(f))
}
// 且只追加了 1 条 hit event
ev, _ := mlc.GetHitEvents("mem_usage_t2", 5)
if len(ev) != 1 {
t.Fatalf("应仅 1 条 hit event, got %d", len(ev))
}
}
// 反证:不相关内容撞不上独特 token ⇒ 不误判。
func TestUsageTracking_NoFalsePositiveOnUnrelated(t *testing.T) {
setupUsageTest(t)
mlc := NewMemLanceClient(nil)
RecordRecalled([]RecalledMemory{{
ID: "mem_usage_t3", Content: "LanceDB 是 MVCC 存储,版本目录会膨胀",
Namespace: "hermes", Agent: "a06", Query: "lancedb",
}})
if f := CheckCommittedForUse(mlc, "a06", "hermes", "今天天气很好,出去散步了"); len(f) != 0 {
t.Fatalf("无关内容不应误判, got %v", f)
}
}
// t_20bfbd9a 治本①:跨 commit 指数退避 —— usageBackoff 第 n 次失败的增长与封顶。
func TestUsageBackoff_ExponentialGrowthAndCap(t *testing.T) {
// 默认 base=1s, cap=600s
one := usageBackoff(1)
two := usageBackoff(2)
three := usageBackoff(3)
ten := usageBackoff(10)
eleven := usageBackoff(11)
if one != time.Second {
t.Fatalf("第1次失败应退避 base(1s), got %v", one)
}
if two != 2*time.Second {
t.Fatalf("第2次失败应退避 2*base(2s), got %v", two)
}
if three != 4*time.Second {
t.Fatalf("第3次失败应退避 4*base(4s), got %v", three)
}
if ten != 512*time.Second {
t.Fatalf("第10次失败应退避 512s(尚未超过 cap 600s), got %v", ten)
}
if eleven != 600*time.Second {
t.Fatalf("第11次失败(下一次翻倍 1024s 将超 cap 600s)应封顶 600s, got %v", eleven)
}
}
// t_20bfbd9a 治本②:积压上限量化 —— 未消费待重试行超过 ZHIYI_USAGE_BACKLOG_MAX 时本轮跳过扫描。
func TestCheckCommittedForUse_BacklogCapSkipsScan(t *testing.T) {
setupUsageTest(t)
db := usageOpen()
if db == nil {
t.Fatal("usageOpen failed")
}
// 显式压小积压上限,验证超过即跳过
t.Setenv("ZHIYI_USAGE_BACKLOG_MAX", "2")
now := time.Now().Format(time.RFC3339)
// 塞 3 条未消费召回行(超过上限 2)
for i := 0; i < 3; i++ {
if _, err := db.Exec(`INSERT INTO usage_recall(memory_id, content, tokens, q_hash, namespace, agent, recalled_at)
VALUES(?,?,?,?,?,?,?)`,
"mem_bk"+string(rune('0'+i)), "牧尘今天要求处理看板任务验收"+string(rune('0'+i)),
`["牧尘今天要求处理看板任务验收"]`, "q", "ns", "agent", now); err != nil {
t.Fatalf("insert: %v", err)
}
}
// 无需真实 LanceDB(ldb=nil 直接返回 nil flags);本用例只验证「超限即提前跳过」不 panic 且不消费
flags := CheckCommittedForUse(nil, "agent", "ns", "牧尘今天要求处理看板任务验收0")
if flags != nil {
t.Fatalf("ldb=nil 应直接返回 nil flags(超限跳过不应触及消费路径), got %v", flags)
}
// 判据:超限跳过时所有行仍 consumed=0(没有消费行为发生)
var pending int
_ = db.QueryRow(`SELECT COUNT(*) FROM usage_recall WHERE consumed=0`).Scan(&pending)
if pending != 3 {
t.Fatalf("超限跳过扫描后应 3 行全部未消费(no consumption), got %d", pending)
}
}