diff --git a/go/internal/api/routes/patterns.go b/go/internal/api/routes/patterns.go index 4f79fe1..848286c 100644 --- a/go/internal/api/routes/patterns.go +++ b/go/internal/api/routes/patterns.go @@ -76,6 +76,7 @@ func (pa *PatternAPI) Detect(w http.ResponseWriter, r *http.Request) { var req struct { Limit int `json:"limit"` Namespace string `json:"namespace"` + DryRun bool `json:"dry_run"` } if r.Body != nil { _ = json.NewDecoder(r.Body).Decode(&req) // 空 body 也合法(用默认) @@ -102,6 +103,16 @@ func (pa *PatternAPI) Detect(w http.ResponseWriter, r *http.Request) { } } pats := pattern.DetectFromRecords(distilled, pa.Cfg) + // t_639c5a03 dry-run:{"dry_run":true} 只返回不写库(验证判据用)。 + if req.DryRun { + respond(w, 200, map[string]interface{}{ + "dry_run": true, + "scanned": len(records), + "detected": len(pats), + "patterns": pats, + }) + return + } created, updated, uerr := pa.Store.UpsertPatterns(pats) if uerr != nil { respondError(w, 500, "upsert patterns: "+uerr.Error()) diff --git a/go/internal/pattern/pattern.go b/go/internal/pattern/pattern.go index a9a4a72..981c14d 100644 --- a/go/internal/pattern/pattern.go +++ b/go/internal/pattern/pattern.go @@ -37,7 +37,7 @@ type Pattern struct { // Config 检测参数(设计 §4.1)。 type Config struct { - MinComboFreq int // 工具组合出现 ≥ N 次才产 pattern(默认 3) + MinComboFreq int // 工具组合需 ≥ N 条**独立来源记忆**才产 pattern(默认 2,t_639c5a03 门槛) ClusterThresh float64 // 相似路径聚类 cosine 阈值(默认 0.85) MinClusterSize int // 簇内 ≥ N 条才产 workflow pattern(默认 3) MaxRecords int // 单次扫描参与检测的记忆上限(防 O(n²) 爆炸,默认 500) @@ -47,7 +47,7 @@ type Config struct { // DefaultConfig 设计参数。 func DefaultConfig() Config { return Config{ - MinComboFreq: 3, + MinComboFreq: 2, ClusterThresh: 0.85, MinClusterSize: 3, MaxRecords: 500, @@ -55,7 +55,9 @@ func DefaultConfig() Config { } } -// knownTools 常见工具/CLI/命令名(小写)。工具组合频率分析从这里识别 + 兜底正则。 +// knownTools 常见工具/CLI/命令名(小写)白名单。t_639c5a03:工具组合的成员**必须** +// 来自本白名单或"命令式标识"(含 - 或数字,如 systemd-run / sqlite3),普通英文词不再入组合键。 +// 剔除记录:"ts"(会命中时间戳片段 ts)、"jq2"(非真实命令)。 var knownTools = map[string]bool{ "jq": true, "yq": true, "git": true, "grep": true, "sed": true, "awk": true, "curl": true, "wget": true, "tar": true, "zip": true, "unzip": true, @@ -65,9 +67,48 @@ var knownTools = map[string]bool{ "sqlite3": true, "psql": true, "mysql": true, "redis-cli": true, "ssh": true, "scp": true, "rsync": true, "systemctl": true, "journalctl": true, "systemd-run": true, "crontab": true, "find": true, "rg": true, "ripgrep": true, - "fd": true, "fzf": true, "gh": true, "gcloud": true, "aws": true, "jq2": true, - "hermes": true, "zhiyi": true, "obsidian": true, "esbuild": true, "ts": true, + "fd": true, "fzf": true, "gh": true, "gcloud": true, "aws": true, + "hermes": true, "zhiyi": true, "obsidian": true, "esbuild": true, "tsc": true, "cargo": true, "rustc": true, "swift": true, "brew": true, + "bash": true, "sh": true, "zsh": true, "cat": true, "ls": true, "cp": true, + "mv": true, "rm": true, "mkdir": true, "chmod": true, "head": true, "tail": true, + "sort": true, "uniq": true, "wc": true, "xargs": true, "kill": true, "ps": true, + "lsof": true, "flock": true, "ping": true, "nc": true, "openssl": true, + "java": true, "javac": true, "mvn": true, "gradle": true, "dotnet": true, + "remotion": true, "uv": true, "pytest": true, "gofmt": true, "golangci-lint": true, +} + +// commonExts 常见文件扩展名(小写,含点)。token 以此结尾 ⇒ 文件名/扩展名,不是工具。 +var commonExts = map[string]bool{ + ".md": true, ".go": true, ".json": true, ".py": true, ".js": true, ".ts": true, + ".tsx": true, ".jsx": true, ".yaml": true, ".yml": true, ".toml": true, ".sh": true, + ".db": true, ".sql": true, ".csv": true, ".log": true, ".txt": true, ".html": true, + ".css": true, ".rs": true, ".c": true, ".h": true, ".cpp": true, ".conf": true, + ".xml": true, ".ini": true, ".env": true, ".pdf": true, ".png": true, ".jpg": true, + ".jpeg": true, ".svg": true, ".gif": true, ".ipynb": true, ".lock": true, ".sum": true, + ".bak": true, ".tmp": true, ".gz": true, ".mp4": true, ".mp3": true, ".docx": true, + ".xlsx": true, ".pptx": true, ".service": true, ".sock": true, ".socket": true, +} + +// toolStopwords 常见停用词(小写):高频非工具词,绝不作为工具名(卡要求第 1 条)。 +var toolStopwords = map[string]bool{ + "the": true, "and": true, "for": true, "with": true, "that": true, "this": true, + "from": true, "into": true, "then": true, "when": true, "what": true, "they": true, + "have": true, "will": true, "your": true, "not": true, "but": true, "all": true, + "can": true, "use": true, "via": true, "per": true, "are": true, "was": true, + "one": true, "two": true, "ok": true, "yes": true, "true": true, "false": true, + "null": true, "none": true, "etc": true, "vs": true, "id": true, "ids": true, + "ns": true, "log": true, "logs": true, "file": true, "files": true, "path": true, + "line": true, "lines": true, "name": true, "type": true, "data": true, "time": true, + "date": true, "test": true, "note": true, "step": true, "steps": true, "first": true, + "last": true, "next": true, "top": true, "api": true, "http": true, "https": true, + "url": true, "uri": true, "json": true, "yaml": true, "yml": true, "md": true, + "txt": true, "tmp": true, "dev": true, "prod": true, "src": true, "doc": true, + "docs": true, "ref": true, "config": true, "default": true, "error": true, + "errors": true, "warn": true, "info": true, "debug": true, "fail": true, + "failed": true, "success": true, "start": true, "stop": true, "check": true, + "list": true, "get": true, "set": true, "new": true, "old": true, "fix": true, + "pr": true, "mr": true, "db": true, } // DetectFromRecords 纯检测核心:从 L1 记忆列表发现重复模式。 @@ -75,7 +116,7 @@ var knownTools = map[string]bool{ // 返回合并去重后的 pattern 列表(同 Name 合并 source_tasks、取更高 confidence)。 func DetectFromRecords(records []models.MemoryRecord, cfg Config) []Pattern { if cfg.MinComboFreq <= 0 { - cfg.MinComboFreq = 3 + cfg.MinComboFreq = 2 } if cfg.MinClusterSize <= 0 { cfg.MinClusterSize = 3 @@ -129,16 +170,25 @@ func DetectFromRecords(records []models.MemoryRecord, cfg Config) []Pattern { c.tasks = append(c.tasks, rec.ID) } for name, c := range comboCount { - if len(c.tasks) < cfg.MinComboFreq { + // t_639c5a03 门槛:支撑数按**独立来源记忆**(去重且非空 ID)计,< MinComboFreq 直接丢。 + seen := map[string]bool{} + var sources []string + for _, id := range c.tasks { + if id != "" && !seen[id] { + seen[id] = true + sources = append(sources, id) + } + } + if len(sources) < cfg.MinComboFreq { continue } merge(Pattern{ - Type: "tool_combo", - Name: name, - Data: strings.Join(c.tools, "+"), - Tools: c.tools, - Confidence: confidenceFromFreq(len(c.tasks)), - SourceTasks: c.tasks, + Type: "tool_combo", + Name: name, + Data: strings.Join(c.tools, "+"), + Tools: c.tools, + Confidence: confidenceFromFreq(len(sources)), + SourceTasks: sources, }) } @@ -276,25 +326,33 @@ func clusterConfidence(cluster []models.MemoryRecord) float64 { return sum / float64(pairs) } -// ExtractTools 从记忆内容提取工具/命令名。识别 knownTools + 兜底 ascii token。 +// ExtractTools 从记忆内容提取工具/命令名(t_639c5a03 重写)。 +// 判据(卡·必须实现 #1):成员必须是**真实的命令/tool 标识** —— +// - knownTools 白名单(词边界命中),或 +// - "命令式标识" token:在白名单外但形如命令名(含 '-' 或数字,如 systemd-run、sqlite3), +// 且通过 isValidTool 形态检查(排除扩展名 .md、日期/数字片段 2026 / 2026-09-23、 +// 纯标点、长度 <2、路径/任务 ID、停用词)。 +// +// 旧实现的"宽松兜底"(任何 ascii token 都进组合键)是 `.md`/`2026+23` 垃圾 pattern 的根因,已删。 // 确定性:结果排序去重。 func ExtractTools(content string) []string { found := map[string]bool{} lower := strings.ToLower(content) for t := range knownTools { // 词边界匹配(避免 "go" 命中 "google") - if tokenPresent(lower, t) { + if isValidTool(t) && tokenPresent(lower, t) { found[t] = true } } - // 兜底:捕获已知列表外的 ascii 命令式 token(2~14 字符,含 - 的命令风格) for _, tok := range regexTokenExtract(content) { lt := strings.ToLower(tok) - if len(lt) < 2 { + if !isValidTool(lt) { + continue + } + // 白名单外只放行"命令式标识"(含 - 或数字);普通英文词(log/step/report…)不进组合键。 + if !knownTools[lt] && !strings.ContainsAny(lt, "-0123456789") { continue } - // 排除明显非工具的常见词(纯小写短词且不在 knownTools 的放行——保持宽松, - // 让工具组合信号进来;过噪由 MinComboFreq 过滤) found[lt] = true } out := make([]string, 0, len(found)) @@ -305,6 +363,70 @@ func ExtractTools(content string) []string { return out } +// isValidTool token 形态判据(lowercase):是否为真实命令/工具标识的形状。 +// 排除:长度 <2 或 >32;含 '/'、'\\'、'_'(路径、usage_track 键、t_9143c968 任务 ID); +// 以 '.' 开头(".md");无字母(纯数字/纯标点/数字+分隔符);以常见扩展名结尾 +// (report.md / a.py);数字/日期/版本片段(2026、2026-09-23、2026+23、09:23、1.2.3、v1.2.3); +// 停用词。 +func isValidTool(tok string) bool { + if len(tok) < 2 || len(tok) > 32 { + return false + } + if strings.ContainsAny(tok, `/_\`) { + return false + } + if tok[0] == '.' || tok[0] == '-' { + return false // 隐藏文件 / CLI flag + } + hasLetter := false + for i := 0; i < len(tok); i++ { + if c := tok[i]; (c >= 'a' && c <= 'z') || (c >= 'A' && c <= 'Z') { + hasLetter = true + break + } + } + if !hasLetter { + return false + } + if i := strings.LastIndexByte(tok, '.'); i > 0 && commonExts[tok[i:]] { + return false + } + if isNumericFragment(tok) { + return false + } + if toolStopwords[tok] { + return false + } + return true +} + +// isNumericFragment 纯数字 / 日期 / 时间 / 版本片段: +// - 只由数字与分隔符 [-+:./] 组成("2026"、"2026-09-23"、"2026+23"、"09:23"、"1.2.3"),或 +// - 至多一个前导字母 + 其余全为数字/分隔符("v1.2.3"、"v2")。 +// +// "gcc-12"/"sqlite3" 这类字母出现在数字之前且不止前导一个 ⇒ 正常标识,返回 false。 +func isNumericFragment(tok string) bool { + if tok == "" { + return false + } + seenDigit := false + rest := tok + if c := rest[0]; (c >= 'a' && c <= 'z') || (c >= 'A' && c <= 'Z') { + rest = rest[1:] // 至多剥一个前导字母 + } + for _, r := range rest { + switch { + case r >= '0' && r <= '9': + seenDigit = true + case r == '-' || r == '+' || r == ':' || r == '.' || r == '/': + // 分隔符放行 + default: + return false // 还有别的字母/字符 ⇒ 不是纯数字片段 + } + } + return seenDigit +} + // tokenPresent 检查 lower 文本中 t 是否作为独立 token 出现(词边界,避免 "go" 命中 "google")。 func tokenPresent(lower, t string) bool { if t == "" { @@ -449,3 +571,37 @@ func truncateForPattern(s string, n int) string { } return string(r[:n]) + "…" } + +// IsValidPatternName pattern 命名键合法性闸门(t_639c5a03,写入前最后防线)。 +// 合法形态: +// - tool_combo:(+)* —— 每个成员过 isValidTool +// - workflow:cluster-- +// +// 其余("tool_combo:.md"、"tool_combo:2026+23" 等垃圾键)一律拒绝, +// UpsertPatterns 拒写 —— 即使调用方判据再退化,垃圾也进不了 graph_nodes。 +func IsValidPatternName(name string) bool { + i := strings.IndexByte(name, ':') + if i <= 0 { + return false + } + body := name[i+1:] + if body == "" { + return false + } + switch name[:i] { + case "tool_combo": + for _, t := range strings.Split(body, "+") { + // 写入闸=形态 + 命令式标识双重:白名单成员或含 -/数字,普通英文词(report/log…)拒。 + if !isValidTool(t) { + return false + } + if !knownTools[t] && !strings.ContainsAny(t, "-0123456789") { + return false + } + } + return true + case "workflow": + return strings.HasPrefix(body, "cluster-") + } + return false +} diff --git a/go/internal/pattern/pattern_test.go b/go/internal/pattern/pattern_test.go index a174294..74cc652 100644 --- a/go/internal/pattern/pattern_test.go +++ b/go/internal/pattern/pattern_test.go @@ -52,13 +52,13 @@ func TestDetect_ToolCombo(t *testing.T) { } } -// TestDetect_BelowThreshold —— 2 条同组合(<3)→ 不产 tool_combo(AC2 反例)。 +// TestDetect_BelowThreshold —— 1 条同组合(<2)→ 不产 tool_combo(AC2 反例;门槛 t_639c5a03=2)。 func TestDetect_BelowThreshold(t *testing.T) { - recs := comboRecords(2, "jq git curl") + recs := comboRecords(1, "jq git curl") pats := DetectFromRecords(recs, DefaultConfig()) for _, p := range pats { if p.Type == "tool_combo" { - t.Fatalf("2 条同组合不应产 tool_combo,实际产出: %#v", p) + t.Fatalf("1 条同组合不应产 tool_combo,实际产出: %#v", p) } } } @@ -109,3 +109,104 @@ func TestExtractTools_WordBoundary(t *testing.T) { t.Fatalf("'google' 误命中工具 'go'(词边界失效): %v", tools) } } + +// ── t_639c5a03:垃圾 pattern 判据单测(AC2)────────────────────────────── + +// fakeMem 一条带指定 ID 的假蒸馏记忆(向量 nil → 走 bigram 回退,确定性)。 +func fakeMem(id, content string) models.MemoryRecord { + return models.MemoryRecord{ID: id, Content: content, Category: "distilled", Vector: nil} +} + +// TestDetect_JunkTokensRejected —— 3 条含 .md / 2026 / 标点 的假记忆 ⇒ 0 pattern(AC2 第一条)。 +// 覆盖卡现象里的垃圾样本:.md、.md+2026-09-23、2026+23 全不得被当工具组合。 +func TestDetect_JunkTokensRejected(t *testing.T) { + recs := []models.MemoryRecord{ + fakeMem("j1", "今天把结果导出成 .md 文件"), + fakeMem("j2", "版本 .md+2026-09-23 的构建产物"), + fakeMem("j3", "数字 2026+23 是什么意义"), + } + pats := DetectFromRecords(recs, DefaultConfig()) + for _, p := range pats { + t.Fatalf("垃圾记忆不应产出任何 pattern,实际 %#v", p) + } +} + +// TestDetect_RealToolComboNeeds2Sources —— 2 条真工具共现(jq+git)⇒ 1 pattern(AC2 第二条)。 +// 同时验证门槛 ≥2 条独立来源(单条不产)。 +func TestDetect_RealToolComboNeeds2Sources(t *testing.T) { + // 单条真工具组合 → 不产(门槛 2) + one := DetectFromRecords([]models.MemoryRecord{ + fakeMem("o1", "用 jq 和 git 解析 json"), + }, DefaultConfig()) + for _, p := range one { + if p.Type == "tool_combo" { + t.Fatalf("单条真工具组合不应产 pattern(门槛≥2),实际 %#v", p) + } + } + // 2 条同真组合 → 1 个 tool_combo,成员 jq+git,支撑 2 条 + two := DetectFromRecords([]models.MemoryRecord{ + fakeMem("a1", "先用 jq 解析再 git 提交"), + fakeMem("a2", "jq 提取字段后 git commit"), + }, DefaultConfig()) + var tc []Pattern + for _, p := range two { + if p.Type == "tool_combo" { + tc = append(tc, p) + } + } + if len(tc) != 1 { + t.Fatalf("2 条同真组合应产 1 个 tool_combo,实际 %d: %#v", len(tc), two) + } + if tc[0].Name != "tool_combo:git+jq" { + t.Fatalf("命名键不符: got %q", tc[0].Name) + } + if len(tc[0].SourceTasks) != 2 { + t.Fatalf("支撑应为 2 条独立来源,实际 %v", tc[0].SourceTasks) + } +} + +// TestExtractTools_JunkTokenFilter —— 形态级:.md/2026/日期/纯标点/扩展名/停用词全被滤。 +func TestExtractTools_JunkTokenFilter(t *testing.T) { + content := "处理 .md 和 2026 与 2026-09-23 以及 2026+23 与 report.md 与 a.py" + + " 还有 git status 和 curl -I https://x 和 ... 和 step 1" + tools := ExtractTools(content) + found := map[string]bool{} + for _, s := range tools { + found[s] = true + } + // 只应识别 git / curl 三个真标识(https 是 URL scheme 停用词,-i 是 flag 不识别) + for _, junk := range []string{".md", "2026", "2026-09-23", "2026+23", "report", "a", "step", "https", "-i"} { + if found[junk] { + t.Fatalf("垃圾 token %q 不应被当工具,实际 %v", junk, tools) + } + } + for _, want := range []string{"git", "curl"} { + if !found[want] { + t.Fatalf("应识别真标识 %q,实际 %v", want, tools) + } + } +} + +// TestIsValidPatternName_Gate —— 写入闸:垃圾命名键全拒、真工具键/工作流键放行。 +func TestIsValidPatternName_Gate(t *testing.T) { + bad := []string{ + "tool_combo:.md", "tool_combo:2026+23", "tool_combo:.md+2026-09-23", + "tool_combo:2026", "tool_combo:report", "tool_combo:2026-09-23", + "tool_combo:usage_track", "tool_combo:t_9143c968", "tool_combo:a+b", + "tool_combo:log", "tool_combo:", + } + for _, name := range bad { + if IsValidPatternName(name) { + t.Fatalf("垃圾命名键 %q 不应通过闸门", name) + } + } + good := []string{ + "tool_combo:git+jq", "tool_combo:curl+git+jq", "tool_combo:sqlite3", + "workflow:cluster-3-abcdef12", "workflow:cluster-2-00aa11bb", + } + for _, name := range good { + if !IsValidPatternName(name) { + t.Fatalf("合法命名键 %q 应通过闸门", name) + } + } +} diff --git a/go/internal/pattern/store.go b/go/internal/pattern/store.go index 396b79b..f24bc71 100644 --- a/go/internal/pattern/store.go +++ b/go/internal/pattern/store.go @@ -117,6 +117,10 @@ func (s *GraphPatternStore) UpsertPatterns(patterns []Pattern) (created, updated now := time.Now().UTC().Format(time.RFC3339) for _, p := range patterns { + // t_639c5a03 最后写入门闸:垃圾命名键(tool_combo:.md / tool_combo:2026+23 等)拒写。 + if !IsValidPatternName(p.Name) { + continue + } // 读现有 var ( id string