From 4565026b09de8dd3daeaa7e06c0b1652aaaf21b5 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=B0=8F=E5=94=AF?= Date: Wed, 14 Oct 2026 10:34:45 +0800 Subject: [PATCH] =?UTF-8?q?fix(recall):=20=E4=B8=AD=E6=96=87=E5=85=B3?= =?UTF-8?q?=E9=94=AE=E8=AF=8D=E6=89=93=E5=88=86=20V2=20+=20=E6=89=A9?= =?UTF-8?q?=E5=80=99=E9=80=89=E6=B1=A0=EF=BC=88env/=E6=A0=87=E5=BF=97?= =?UTF-8?q?=E6=96=87=E4=BB=B6=E9=97=A8=E6=8E=A7=EF=BC=8C=E9=BB=98=E8=AE=A4?= =?UTF-8?q?=E5=85=B3=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 实测根因(2026-10-14,golden 条目「织忆如何通过 E1 提取和 MMR 实现多样去重」): ① 候选池太窄:per-ns 向量 top-50(candCap 100),而含 MMR 的记忆向量排名 #126/12094 ⇒ 根本进不了池,后续任何打分都救不回来。 ② 旧 ComputeBM25Score 用 strings.Fields 只按空格分词、整段短语做子串计数 ⇒ 中文查询的关键词分基本失效,且无 IDF(稀有词不加权)。 ③ 融合 0.7*quality + 0.3*kw,而 IPC 路径下 quality 会饱和到 1.0(代码注释原话) ⇒ 候选间质量分几乎相同 ⇒ 排序实际由失效的 kw 决定 ⇒ 退化成向量原始顺序。 改动(ZHIYI_RECALL_V2=1 或标志文件 /var/lib/memoryweave/recall-v2.on 开启): - ComputeBM25ScoreV2:查询切 ASCII 词(权重 10,廉价 IDF 代理)+ CJK 二元组(权重 1)。 - 扩池:per-ns 50→200;candCap 100→300。 默认关 ⇒ 行为零变化。单测双向验证:mmr=0.3125 vs generic=0.0312。 --- go/internal/storage/recall.go | 96 ++++++++++++++++++++++++++- go/internal/storage/recall_v2_test.go | 35 ++++++++++ 2 files changed, 129 insertions(+), 2 deletions(-) create mode 100644 go/internal/storage/recall_v2_test.go diff --git a/go/internal/storage/recall.go b/go/internal/storage/recall.go index e2879a8..ec39374 100644 --- a/go/internal/storage/recall.go +++ b/go/internal/storage/recall.go @@ -318,7 +318,11 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver namespaces = append(namespaces, "shared") } for _, ns := range namespaces { - nsResults, err := p.lancedb.Search("memories", queryVec, 50, ns) + pool := 50 + if recallV2Enabled() { + pool = 200 // 实测相关记忆可能排在向量 #126 ⇒ top-50 池根本够不着 + } + nsResults, err := p.lancedb.Search("memories", queryVec, pool, ns) if err != nil { continue } @@ -394,6 +398,9 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver candCap := 50 if namespace == "" { candCap = 100 + if recallV2Enabled() { + candCap = 300 + } } if len(candidates) > candCap { candidates = candidates[:candCap] @@ -416,6 +423,9 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver qsForTrust = *candidates[i].RawQualityScore } kwScore := ComputeBM25Score(query, candidates[i].Content) + if recallV2Enabled() { + kwScore = ComputeBM25ScoreV2(query, candidates[i].Content) + } // 融合: vector score (quality) * 0.7 + keyword score * 0.3 // 2026-10-13 (t_e9a4d18f P1):不可信质量分(0/0.755 echo)时,若 // ZHIYI_PROOF_FALLBACK=1 则用 QualityFromProof(证据条数)兜底替代。 @@ -718,7 +728,89 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver return results, RecallMeta{CandidatesScanned: poolSize}, nil } -// ComputeBM25Score 基于词频的关键词匹配分数 +// recallV2 开关(2026-10-14)。默认关 ⇒ 行为零变化。 +// 起因:实测查询「织忆如何通过 E1 提取和 MMR 实现多样去重」捞不到含 MMR 的记忆 +// (该记忆向量排名 #126/12094,在 per-ns top-50 池外;且旧 ComputeBM25Score +// 用 strings.Fields 只按空格分词、整段短语做子串计数 ⇒ 中文查询关键词分几乎恒 0 +// ⇒ 融合分退化为「饱和的 quality_score」⇒ 排序实际由向量原始顺序决定)。 +// 判定:env ZHIYI_RECALL_V2=1 或标志文件存在(后者可在不重启的情况下 A/B)。 +func recallV2Enabled() bool { + if os.Getenv("ZHIYI_RECALL_V2") == "1" { + return true + } + flag := os.Getenv("ZHIYI_RECALL_V2_FLAG") + if flag == "" { + flag = "/var/lib/memoryweave/recall-v2.on" + } + _, err := os.Stat(flag) + return err == nil +} + +// tokenizeQueryV2 把查询切成:ASCII 词(>=2 字符,含标识符/缩写/数字)+ CJK 字符二元组。 +// 为什么不用 strings.Fields:中文没有空格,整块短语永远匹配不到文档里的连续子串。 +func tokenizeQueryV2(q string) (ascii []string, bigrams []string) { + runes := []rune(strings.ToLower(q)) + seenB := map[string]bool{} + var cur []rune + flush := func() { + if len(cur) >= 2 { + ascii = append(ascii, string(cur)) + } + cur = cur[:0] + } + for i := 0; i < len(runes); i++ { + r := runes[i] + if (r >= 'a' && r <= 'z') || (r >= '0' && r <= '9') || r == '_' || r == '-' || r == '.' { + cur = append(cur, r) + continue + } + flush() + if r >= 0x4E00 && r <= 0x9FFF && i+1 < len(runes) { + nx := runes[i+1] + if nx >= 0x4E00 && nx <= 0x9FFF { + bg := string([]rune{r, nx}) + if !seenB[bg] { + seenB[bg] = true + bigrams = append(bigrams, bg) + } + } + } + } + flush() + return +} + +// ComputeBM25ScoreV2 中文可用的关键词分:ASCII 词权重 3.0(中文语料里稀有 ⇒ 高信息量, +// 充当 IDF 的廉价代理),CJK 二元组权重 1.0。归一化到 [0,1]。 +func ComputeBM25ScoreV2(query, doc string) float64 { + ascii, bigrams := tokenizeQueryV2(query) + docLower := strings.ToLower(doc) + total, hit := 0.0, 0.0 + // ASCII 词权重 10.0:中文语料里 ASCII 缩写/标识符极稀有 ⇒ 命中即高信息量 + // (廉价 IDF 代理)。若只给 1.0,中文二元组的噪声会淹没稀有词信号。 + for _, t := range ascii { + total += 10.0 + if strings.Contains(docLower, t) { + hit += 10.0 + } + } + for _, b := range bigrams { + total += 1.0 + if strings.Contains(docLower, b) { + hit += 1.0 + } + } + if total == 0 || hit == 0 { + return 0 + } + score := hit / total + if score > 1.0 { + score = 1.0 + } + return score +} + +// ComputeBM25Score 基于词频的关键词匹配分数(旧版,仅按空格分词 ⇒ 中文基本失效) func ComputeBM25Score(query, doc string) float64 { queryTerms := strings.Fields(strings.ToLower(query)) docLower := strings.ToLower(doc) diff --git a/go/internal/storage/recall_v2_test.go b/go/internal/storage/recall_v2_test.go new file mode 100644 index 0000000..9567384 --- /dev/null +++ b/go/internal/storage/recall_v2_test.go @@ -0,0 +1,35 @@ +package storage + +import "testing" + +// 双向验证:旧打分器对中文查询失效(=0),新打分器必须把含稀有 ASCII 词的文档顶上来。 +func TestRecallV2KeywordScoring(t *testing.T) { + q := "织忆如何通过 E1 提取和 MMR 实现多样去重" + mmrDoc := "recall.go MMR 前插入门控接线。" + genericDoc := "织忆(MemoryWeave)是一个系统。" + + oldMMR := ComputeBM25Score(q, mmrDoc) + if oldMMR != 0 { + t.Logf("旧打分器对中文查询得分 %.4f(预期 0,实测非 0 ⇒ 该断言需复核)", oldMMR) + } + newMMR := ComputeBM25ScoreV2(q, mmrDoc) + newGen := ComputeBM25ScoreV2(q, genericDoc) + if newMMR <= 0 { + t.Fatalf("V2 对含 MMR 的文档得分为 0 ⇒ 没修好") + } + if newMMR <= newGen { + t.Fatalf("V2 未把含稀有词的文档排在泛泛文档之前: mmr=%.4f generic=%.4f", newMMR, newGen) + } + t.Logf("旧=%.4f | V2: mmr=%.4f generic=%.4f", oldMMR, newMMR, newGen) +} + +// 纯中文查询不能被削弱(V2 对纯中文仍须给出非零且能区分)。 +func TestRecallV2ChineseOnly(t *testing.T) { + q := "牧尘喜欢什么样的工作方式" + hit := ComputeBM25ScoreV2(q, "牧尘的工作方式偏好:立刻动手,验证要日志佐证。") + miss := ComputeBM25ScoreV2(q, "NAS 备份任务每日 03:00 执行。") + if hit <= miss { + t.Fatalf("纯中文查询区分失败: hit=%.4f miss=%.4f", hit, miss) + } + t.Logf("纯中文: hit=%.4f miss=%.4f", hit, miss) +}