fix(pattern): detect 判据拒收垃圾工具组合 (.md/日期/标点) + 门槛≥2来源 + dry-run + 写入门闸 (t_639c5a03)

This commit is contained in:
小唯
2026-10-30 20:04:31 +08:00
parent f178594402
commit 5709af0bfa
4 changed files with 294 additions and 22 deletions
+11
View File
@@ -76,6 +76,7 @@ func (pa *PatternAPI) Detect(w http.ResponseWriter, r *http.Request) {
var req struct {
Limit int `json:"limit"`
Namespace string `json:"namespace"`
DryRun bool `json:"dry_run"`
}
if r.Body != nil {
_ = json.NewDecoder(r.Body).Decode(&req) // 空 body 也合法(用默认)
@@ -102,6 +103,16 @@ func (pa *PatternAPI) Detect(w http.ResponseWriter, r *http.Request) {
}
}
pats := pattern.DetectFromRecords(distilled, pa.Cfg)
// t_639c5a03 dry-run:{"dry_run":true} 只返回不写库(验证判据用)。
if req.DryRun {
respond(w, 200, map[string]interface{}{
"dry_run": true,
"scanned": len(records),
"detected": len(pats),
"patterns": pats,
})
return
}
created, updated, uerr := pa.Store.UpsertPatterns(pats)
if uerr != nil {
respondError(w, 500, "upsert patterns: "+uerr.Error())
+175 -19
View File
@@ -37,7 +37,7 @@ type Pattern struct {
// Config 检测参数(设计 §4.1)。
type Config struct {
MinComboFreq int // 工具组合出现 ≥ N 次才产 pattern(默认 3)
MinComboFreq int // 工具组合需 ≥ N 条**独立来源记忆**才产 pattern(默认 2,t_639c5a03 门槛)
ClusterThresh float64 // 相似路径聚类 cosine 阈值(默认 0.85)
MinClusterSize int // 簇内 ≥ N 条才产 workflow pattern(默认 3)
MaxRecords int // 单次扫描参与检测的记忆上限(防 O(n²) 爆炸,默认 500)
@@ -47,7 +47,7 @@ type Config struct {
// DefaultConfig 设计参数。
func DefaultConfig() Config {
return Config{
MinComboFreq: 3,
MinComboFreq: 2,
ClusterThresh: 0.85,
MinClusterSize: 3,
MaxRecords: 500,
@@ -55,7 +55,9 @@ func DefaultConfig() Config {
}
}
// knownTools 常见工具/CLI/命令名(小写)。工具组合频率分析从这里识别 + 兜底正则。
// knownTools 常见工具/CLI/命令名(小写)白名单。t_639c5a03:工具组合的成员**必须**
// 来自本白名单或"命令式标识"(含 - 或数字,如 systemd-run / sqlite3),普通英文词不再入组合键。
// 剔除记录:"ts"(会命中时间戳片段 ts)、"jq2"(非真实命令)。
var knownTools = map[string]bool{
"jq": true, "yq": true, "git": true, "grep": true, "sed": true, "awk": true,
"curl": true, "wget": true, "tar": true, "zip": true, "unzip": true,
@@ -65,9 +67,48 @@ var knownTools = map[string]bool{
"sqlite3": true, "psql": true, "mysql": true, "redis-cli": true,
"ssh": true, "scp": true, "rsync": true, "systemctl": true, "journalctl": true,
"systemd-run": true, "crontab": true, "find": true, "rg": true, "ripgrep": true,
"fd": true, "fzf": true, "gh": true, "gcloud": true, "aws": true, "jq2": true,
"hermes": true, "zhiyi": true, "obsidian": true, "esbuild": true, "ts": true,
"fd": true, "fzf": true, "gh": true, "gcloud": true, "aws": true,
"hermes": true, "zhiyi": true, "obsidian": true, "esbuild": true,
"tsc": true, "cargo": true, "rustc": true, "swift": true, "brew": true,
"bash": true, "sh": true, "zsh": true, "cat": true, "ls": true, "cp": true,
"mv": true, "rm": true, "mkdir": true, "chmod": true, "head": true, "tail": true,
"sort": true, "uniq": true, "wc": true, "xargs": true, "kill": true, "ps": true,
"lsof": true, "flock": true, "ping": true, "nc": true, "openssl": true,
"java": true, "javac": true, "mvn": true, "gradle": true, "dotnet": true,
"remotion": true, "uv": true, "pytest": true, "gofmt": true, "golangci-lint": true,
}
// commonExts 常见文件扩展名(小写,含点)。token 以此结尾 ⇒ 文件名/扩展名,不是工具。
var commonExts = map[string]bool{
".md": true, ".go": true, ".json": true, ".py": true, ".js": true, ".ts": true,
".tsx": true, ".jsx": true, ".yaml": true, ".yml": true, ".toml": true, ".sh": true,
".db": true, ".sql": true, ".csv": true, ".log": true, ".txt": true, ".html": true,
".css": true, ".rs": true, ".c": true, ".h": true, ".cpp": true, ".conf": true,
".xml": true, ".ini": true, ".env": true, ".pdf": true, ".png": true, ".jpg": true,
".jpeg": true, ".svg": true, ".gif": true, ".ipynb": true, ".lock": true, ".sum": true,
".bak": true, ".tmp": true, ".gz": true, ".mp4": true, ".mp3": true, ".docx": true,
".xlsx": true, ".pptx": true, ".service": true, ".sock": true, ".socket": true,
}
// toolStopwords 常见停用词(小写):高频非工具词,绝不作为工具名(卡要求第 1 条)。
var toolStopwords = map[string]bool{
"the": true, "and": true, "for": true, "with": true, "that": true, "this": true,
"from": true, "into": true, "then": true, "when": true, "what": true, "they": true,
"have": true, "will": true, "your": true, "not": true, "but": true, "all": true,
"can": true, "use": true, "via": true, "per": true, "are": true, "was": true,
"one": true, "two": true, "ok": true, "yes": true, "true": true, "false": true,
"null": true, "none": true, "etc": true, "vs": true, "id": true, "ids": true,
"ns": true, "log": true, "logs": true, "file": true, "files": true, "path": true,
"line": true, "lines": true, "name": true, "type": true, "data": true, "time": true,
"date": true, "test": true, "note": true, "step": true, "steps": true, "first": true,
"last": true, "next": true, "top": true, "api": true, "http": true, "https": true,
"url": true, "uri": true, "json": true, "yaml": true, "yml": true, "md": true,
"txt": true, "tmp": true, "dev": true, "prod": true, "src": true, "doc": true,
"docs": true, "ref": true, "config": true, "default": true, "error": true,
"errors": true, "warn": true, "info": true, "debug": true, "fail": true,
"failed": true, "success": true, "start": true, "stop": true, "check": true,
"list": true, "get": true, "set": true, "new": true, "old": true, "fix": true,
"pr": true, "mr": true, "db": true,
}
// DetectFromRecords 纯检测核心:从 L1 记忆列表发现重复模式。
@@ -75,7 +116,7 @@ var knownTools = map[string]bool{
// 返回合并去重后的 pattern 列表(同 Name 合并 source_tasks、取更高 confidence)。
func DetectFromRecords(records []models.MemoryRecord, cfg Config) []Pattern {
if cfg.MinComboFreq <= 0 {
cfg.MinComboFreq = 3
cfg.MinComboFreq = 2
}
if cfg.MinClusterSize <= 0 {
cfg.MinClusterSize = 3
@@ -129,16 +170,25 @@ func DetectFromRecords(records []models.MemoryRecord, cfg Config) []Pattern {
c.tasks = append(c.tasks, rec.ID)
}
for name, c := range comboCount {
if len(c.tasks) < cfg.MinComboFreq {
// t_639c5a03 门槛:支撑数按**独立来源记忆**(去重且非空 ID)计,< MinComboFreq 直接丢。
seen := map[string]bool{}
var sources []string
for _, id := range c.tasks {
if id != "" && !seen[id] {
seen[id] = true
sources = append(sources, id)
}
}
if len(sources) < cfg.MinComboFreq {
continue
}
merge(Pattern{
Type: "tool_combo",
Name: name,
Data: strings.Join(c.tools, "+"),
Tools: c.tools,
Confidence: confidenceFromFreq(len(c.tasks)),
SourceTasks: c.tasks,
Type: "tool_combo",
Name: name,
Data: strings.Join(c.tools, "+"),
Tools: c.tools,
Confidence: confidenceFromFreq(len(sources)),
SourceTasks: sources,
})
}
@@ -276,25 +326,33 @@ func clusterConfidence(cluster []models.MemoryRecord) float64 {
return sum / float64(pairs)
}
// ExtractTools 从记忆内容提取工具/命令名。识别 knownTools + 兜底 ascii token。
// ExtractTools 从记忆内容提取工具/命令名(t_639c5a03 重写)。
// 判据(卡·必须实现 #1):成员必须是**真实的命令/tool 标识** ——
// - knownTools 白名单(词边界命中),或
// - "命令式标识" token:在白名单外但形如命令名(含 '-' 或数字,如 systemd-run、sqlite3),
// 且通过 isValidTool 形态检查(排除扩展名 .md、日期/数字片段 2026 / 2026-09-23、
// 纯标点、长度 <2、路径/任务 ID、停用词)。
//
// 旧实现的"宽松兜底"(任何 ascii token 都进组合键)是 `.md`/`2026+23` 垃圾 pattern 的根因,已删。
// 确定性:结果排序去重。
func ExtractTools(content string) []string {
found := map[string]bool{}
lower := strings.ToLower(content)
for t := range knownTools {
// 词边界匹配(避免 "go" 命中 "google")
if tokenPresent(lower, t) {
if isValidTool(t) && tokenPresent(lower, t) {
found[t] = true
}
}
// 兜底:捕获已知列表外的 ascii 命令式 token(2~14 字符,含 - 的命令风格)
for _, tok := range regexTokenExtract(content) {
lt := strings.ToLower(tok)
if len(lt) < 2 {
if !isValidTool(lt) {
continue
}
// 白名单外只放行"命令式标识"(含 - 或数字);普通英文词(log/step/report…)不进组合键。
if !knownTools[lt] && !strings.ContainsAny(lt, "-0123456789") {
continue
}
// 排除明显非工具的常见词(纯小写短词且不在 knownTools 的放行——保持宽松,
// 让工具组合信号进来;过噪由 MinComboFreq 过滤)
found[lt] = true
}
out := make([]string, 0, len(found))
@@ -305,6 +363,70 @@ func ExtractTools(content string) []string {
return out
}
// isValidTool token 形态判据(lowercase):是否为真实命令/工具标识的形状。
// 排除:长度 <2 或 >32;含 '/'、'\\'、'_'(路径、usage_track 键、t_9143c968 任务 ID);
// 以 '.' 开头(".md");无字母(纯数字/纯标点/数字+分隔符);以常见扩展名结尾
// (report.md / a.py);数字/日期/版本片段(2026、2026-09-23、2026+23、09:23、1.2.3、v1.2.3);
// 停用词。
func isValidTool(tok string) bool {
if len(tok) < 2 || len(tok) > 32 {
return false
}
if strings.ContainsAny(tok, `/_\`) {
return false
}
if tok[0] == '.' || tok[0] == '-' {
return false // 隐藏文件 / CLI flag
}
hasLetter := false
for i := 0; i < len(tok); i++ {
if c := tok[i]; (c >= 'a' && c <= 'z') || (c >= 'A' && c <= 'Z') {
hasLetter = true
break
}
}
if !hasLetter {
return false
}
if i := strings.LastIndexByte(tok, '.'); i > 0 && commonExts[tok[i:]] {
return false
}
if isNumericFragment(tok) {
return false
}
if toolStopwords[tok] {
return false
}
return true
}
// isNumericFragment 纯数字 / 日期 / 时间 / 版本片段:
// - 只由数字与分隔符 [-+:./] 组成("2026"、"2026-09-23"、"2026+23"、"09:23"、"1.2.3"),或
// - 至多一个前导字母 + 其余全为数字/分隔符("v1.2.3"、"v2")。
//
// "gcc-12"/"sqlite3" 这类字母出现在数字之前且不止前导一个 ⇒ 正常标识,返回 false。
func isNumericFragment(tok string) bool {
if tok == "" {
return false
}
seenDigit := false
rest := tok
if c := rest[0]; (c >= 'a' && c <= 'z') || (c >= 'A' && c <= 'Z') {
rest = rest[1:] // 至多剥一个前导字母
}
for _, r := range rest {
switch {
case r >= '0' && r <= '9':
seenDigit = true
case r == '-' || r == '+' || r == ':' || r == '.' || r == '/':
// 分隔符放行
default:
return false // 还有别的字母/字符 ⇒ 不是纯数字片段
}
}
return seenDigit
}
// tokenPresent 检查 lower 文本中 t 是否作为独立 token 出现(词边界,避免 "go" 命中 "google")。
func tokenPresent(lower, t string) bool {
if t == "" {
@@ -449,3 +571,37 @@ func truncateForPattern(s string, n int) string {
}
return string(r[:n]) + "…"
}
// IsValidPatternName pattern 命名键合法性闸门(t_639c5a03,写入前最后防线)。
// 合法形态:
// - tool_combo:<valid-tool>(+<valid-tool>)* —— 每个成员过 isValidTool
// - workflow:cluster-<N>-<fingerprint>
//
// 其余("tool_combo:.md"、"tool_combo:2026+23" 等垃圾键)一律拒绝,
// UpsertPatterns 拒写 —— 即使调用方判据再退化,垃圾也进不了 graph_nodes。
func IsValidPatternName(name string) bool {
i := strings.IndexByte(name, ':')
if i <= 0 {
return false
}
body := name[i+1:]
if body == "" {
return false
}
switch name[:i] {
case "tool_combo":
for _, t := range strings.Split(body, "+") {
// 写入闸=形态 + 命令式标识双重:白名单成员或含 -/数字,普通英文词(report/log…)拒。
if !isValidTool(t) {
return false
}
if !knownTools[t] && !strings.ContainsAny(t, "-0123456789") {
return false
}
}
return true
case "workflow":
return strings.HasPrefix(body, "cluster-")
}
return false
}
+104 -3
View File
@@ -52,13 +52,13 @@ func TestDetect_ToolCombo(t *testing.T) {
}
}
// TestDetect_BelowThreshold —— 2 条同组合(<3)→ 不产 tool_combo(AC2 反例)。
// TestDetect_BelowThreshold —— 1 条同组合(<2)→ 不产 tool_combo(AC2 反例;门槛 t_639c5a03=2)。
func TestDetect_BelowThreshold(t *testing.T) {
recs := comboRecords(2, "jq git curl")
recs := comboRecords(1, "jq git curl")
pats := DetectFromRecords(recs, DefaultConfig())
for _, p := range pats {
if p.Type == "tool_combo" {
t.Fatalf("2 条同组合不应产 tool_combo,实际产出: %#v", p)
t.Fatalf("1 条同组合不应产 tool_combo,实际产出: %#v", p)
}
}
}
@@ -109,3 +109,104 @@ func TestExtractTools_WordBoundary(t *testing.T) {
t.Fatalf("'google' 误命中工具 'go'(词边界失效): %v", tools)
}
}
// ── t_639c5a03:垃圾 pattern 判据单测(AC2)──────────────────────────────
// fakeMem 一条带指定 ID 的假蒸馏记忆(向量 nil → 走 bigram 回退,确定性)。
func fakeMem(id, content string) models.MemoryRecord {
return models.MemoryRecord{ID: id, Content: content, Category: "distilled", Vector: nil}
}
// TestDetect_JunkTokensRejected —— 3 条含 .md / 2026 / 标点 的假记忆 ⇒ 0 pattern(AC2 第一条)。
// 覆盖卡现象里的垃圾样本:.md、.md+2026-09-23、2026+23 全不得被当工具组合。
func TestDetect_JunkTokensRejected(t *testing.T) {
recs := []models.MemoryRecord{
fakeMem("j1", "今天把结果导出成 .md 文件"),
fakeMem("j2", "版本 .md+2026-09-23 的构建产物"),
fakeMem("j3", "数字 2026+23 是什么意义"),
}
pats := DetectFromRecords(recs, DefaultConfig())
for _, p := range pats {
t.Fatalf("垃圾记忆不应产出任何 pattern,实际 %#v", p)
}
}
// TestDetect_RealToolComboNeeds2Sources —— 2 条真工具共现(jq+git)⇒ 1 pattern(AC2 第二条)。
// 同时验证门槛 ≥2 条独立来源(单条不产)。
func TestDetect_RealToolComboNeeds2Sources(t *testing.T) {
// 单条真工具组合 → 不产(门槛 2)
one := DetectFromRecords([]models.MemoryRecord{
fakeMem("o1", "用 jq 和 git 解析 json"),
}, DefaultConfig())
for _, p := range one {
if p.Type == "tool_combo" {
t.Fatalf("单条真工具组合不应产 pattern(门槛≥2),实际 %#v", p)
}
}
// 2 条同真组合 → 1 个 tool_combo,成员 jq+git,支撑 2 条
two := DetectFromRecords([]models.MemoryRecord{
fakeMem("a1", "先用 jq 解析再 git 提交"),
fakeMem("a2", "jq 提取字段后 git commit"),
}, DefaultConfig())
var tc []Pattern
for _, p := range two {
if p.Type == "tool_combo" {
tc = append(tc, p)
}
}
if len(tc) != 1 {
t.Fatalf("2 条同真组合应产 1 个 tool_combo,实际 %d: %#v", len(tc), two)
}
if tc[0].Name != "tool_combo:git+jq" {
t.Fatalf("命名键不符: got %q", tc[0].Name)
}
if len(tc[0].SourceTasks) != 2 {
t.Fatalf("支撑应为 2 条独立来源,实际 %v", tc[0].SourceTasks)
}
}
// TestExtractTools_JunkTokenFilter —— 形态级:.md/2026/日期/纯标点/扩展名/停用词全被滤。
func TestExtractTools_JunkTokenFilter(t *testing.T) {
content := "处理 .md 和 2026 与 2026-09-23 以及 2026+23 与 report.md 与 a.py" +
" 还有 git status 和 curl -I https://x 和 ... 和 step 1"
tools := ExtractTools(content)
found := map[string]bool{}
for _, s := range tools {
found[s] = true
}
// 只应识别 git / curl 三个真标识(https 是 URL scheme 停用词,-i 是 flag 不识别)
for _, junk := range []string{".md", "2026", "2026-09-23", "2026+23", "report", "a", "step", "https", "-i"} {
if found[junk] {
t.Fatalf("垃圾 token %q 不应被当工具,实际 %v", junk, tools)
}
}
for _, want := range []string{"git", "curl"} {
if !found[want] {
t.Fatalf("应识别真标识 %q,实际 %v", want, tools)
}
}
}
// TestIsValidPatternName_Gate —— 写入闸:垃圾命名键全拒、真工具键/工作流键放行。
func TestIsValidPatternName_Gate(t *testing.T) {
bad := []string{
"tool_combo:.md", "tool_combo:2026+23", "tool_combo:.md+2026-09-23",
"tool_combo:2026", "tool_combo:report", "tool_combo:2026-09-23",
"tool_combo:usage_track", "tool_combo:t_9143c968", "tool_combo:a+b",
"tool_combo:log", "tool_combo:",
}
for _, name := range bad {
if IsValidPatternName(name) {
t.Fatalf("垃圾命名键 %q 不应通过闸门", name)
}
}
good := []string{
"tool_combo:git+jq", "tool_combo:curl+git+jq", "tool_combo:sqlite3",
"workflow:cluster-3-abcdef12", "workflow:cluster-2-00aa11bb",
}
for _, name := range good {
if !IsValidPatternName(name) {
t.Fatalf("合法命名键 %q 应通过闸门", name)
}
}
}
+4
View File
@@ -117,6 +117,10 @@ func (s *GraphPatternStore) UpsertPatterns(patterns []Pattern) (created, updated
now := time.Now().UTC().Format(time.RFC3339)
for _, p := range patterns {
// t_639c5a03 最后写入门闸:垃圾命名键(tool_combo:.md / tool_combo:2026+23 等)拒写。
if !IsValidPatternName(p.Name) {
continue
}
// 读现有
var (
id string