fix(recall): 中文关键词打分 V2 + 扩候选池(env/标志文件门控,默认关)

实测根因(2026-10-14,golden 条目「织忆如何通过 E1 提取和 MMR 实现多样去重」):
① 候选池太窄:per-ns 向量 top-50(candCap 100),而含 MMR 的记忆向量排名 #126/12094
   ⇒ 根本进不了池,后续任何打分都救不回来。
② 旧 ComputeBM25Score 用 strings.Fields 只按空格分词、整段短语做子串计数
   ⇒ 中文查询的关键词分基本失效,且无 IDF(稀有词不加权)。
③ 融合 0.7*quality + 0.3*kw,而 IPC 路径下 quality 会饱和到 1.0(代码注释原话)
   ⇒ 候选间质量分几乎相同 ⇒ 排序实际由失效的 kw 决定 ⇒ 退化成向量原始顺序。

改动(ZHIYI_RECALL_V2=1 或标志文件 /var/lib/memoryweave/recall-v2.on 开启):
- ComputeBM25ScoreV2:查询切 ASCII 词(权重 10,廉价 IDF 代理)+ CJK 二元组(权重 1)。
- 扩池:per-ns 50→200;candCap 100→300。
默认关 ⇒ 行为零变化。单测双向验证:mmr=0.3125 vs generic=0.0312。
This commit is contained in:
小唯
2026-10-14 10:34:45 +08:00
parent b13cdea910
commit 4565026b09
2 changed files with 129 additions and 2 deletions
+94 -2
View File
@@ -318,7 +318,11 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver
namespaces = append(namespaces, "shared")
}
for _, ns := range namespaces {
nsResults, err := p.lancedb.Search("memories", queryVec, 50, ns)
pool := 50
if recallV2Enabled() {
pool = 200 // 实测相关记忆可能排在向量 #126 ⇒ top-50 池根本够不着
}
nsResults, err := p.lancedb.Search("memories", queryVec, pool, ns)
if err != nil {
continue
}
@@ -394,6 +398,9 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver
candCap := 50
if namespace == "" {
candCap = 100
if recallV2Enabled() {
candCap = 300
}
}
if len(candidates) > candCap {
candidates = candidates[:candCap]
@@ -416,6 +423,9 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver
qsForTrust = *candidates[i].RawQualityScore
}
kwScore := ComputeBM25Score(query, candidates[i].Content)
if recallV2Enabled() {
kwScore = ComputeBM25ScoreV2(query, candidates[i].Content)
}
// 融合: vector score (quality) * 0.7 + keyword score * 0.3
// 2026-10-13 (t_e9a4d18f P1):不可信质量分(0/0.755 echo)时,若
// ZHIYI_PROOF_FALLBACK=1 则用 QualityFromProof(证据条数)兜底替代。
@@ -718,7 +728,89 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver
return results, RecallMeta{CandidatesScanned: poolSize}, nil
}
// ComputeBM25Score 基于词频的关键词匹配分数
// recallV2 开关(2026-10-14)。默认关 ⇒ 行为零变化。
// 起因:实测查询「织忆如何通过 E1 提取和 MMR 实现多样去重」捞不到含 MMR 的记忆
// (该记忆向量排名 #126/12094,在 per-ns top-50 池外;且旧 ComputeBM25Score
// 用 strings.Fields 只按空格分词、整段短语做子串计数 ⇒ 中文查询关键词分几乎恒 0
// ⇒ 融合分退化为「饱和的 quality_score」⇒ 排序实际由向量原始顺序决定)。
// 判定:env ZHIYI_RECALL_V2=1 或标志文件存在(后者可在不重启的情况下 A/B)。
func recallV2Enabled() bool {
if os.Getenv("ZHIYI_RECALL_V2") == "1" {
return true
}
flag := os.Getenv("ZHIYI_RECALL_V2_FLAG")
if flag == "" {
flag = "/var/lib/memoryweave/recall-v2.on"
}
_, err := os.Stat(flag)
return err == nil
}
// tokenizeQueryV2 把查询切成:ASCII 词(>=2 字符,含标识符/缩写/数字)+ CJK 字符二元组。
// 为什么不用 strings.Fields:中文没有空格,整块短语永远匹配不到文档里的连续子串。
func tokenizeQueryV2(q string) (ascii []string, bigrams []string) {
runes := []rune(strings.ToLower(q))
seenB := map[string]bool{}
var cur []rune
flush := func() {
if len(cur) >= 2 {
ascii = append(ascii, string(cur))
}
cur = cur[:0]
}
for i := 0; i < len(runes); i++ {
r := runes[i]
if (r >= 'a' && r <= 'z') || (r >= '0' && r <= '9') || r == '_' || r == '-' || r == '.' {
cur = append(cur, r)
continue
}
flush()
if r >= 0x4E00 && r <= 0x9FFF && i+1 < len(runes) {
nx := runes[i+1]
if nx >= 0x4E00 && nx <= 0x9FFF {
bg := string([]rune{r, nx})
if !seenB[bg] {
seenB[bg] = true
bigrams = append(bigrams, bg)
}
}
}
}
flush()
return
}
// ComputeBM25ScoreV2 中文可用的关键词分:ASCII 词权重 3.0(中文语料里稀有 ⇒ 高信息量,
// 充当 IDF 的廉价代理),CJK 二元组权重 1.0。归一化到 [0,1]。
func ComputeBM25ScoreV2(query, doc string) float64 {
ascii, bigrams := tokenizeQueryV2(query)
docLower := strings.ToLower(doc)
total, hit := 0.0, 0.0
// ASCII 词权重 10.0:中文语料里 ASCII 缩写/标识符极稀有 ⇒ 命中即高信息量
// (廉价 IDF 代理)。若只给 1.0,中文二元组的噪声会淹没稀有词信号。
for _, t := range ascii {
total += 10.0
if strings.Contains(docLower, t) {
hit += 10.0
}
}
for _, b := range bigrams {
total += 1.0
if strings.Contains(docLower, b) {
hit += 1.0
}
}
if total == 0 || hit == 0 {
return 0
}
score := hit / total
if score > 1.0 {
score = 1.0
}
return score
}
// ComputeBM25Score 基于词频的关键词匹配分数(旧版,仅按空格分词 ⇒ 中文基本失效)
func ComputeBM25Score(query, doc string) float64 {
queryTerms := strings.Fields(strings.ToLower(query))
docLower := strings.ToLower(doc)
+35
View File
@@ -0,0 +1,35 @@
package storage
import "testing"
// 双向验证:旧打分器对中文查询失效(=0),新打分器必须把含稀有 ASCII 词的文档顶上来。
func TestRecallV2KeywordScoring(t *testing.T) {
q := "织忆如何通过 E1 提取和 MMR 实现多样去重"
mmrDoc := "recall.go MMR 前插入门控接线。"
genericDoc := "织忆(MemoryWeave)是一个系统。"
oldMMR := ComputeBM25Score(q, mmrDoc)
if oldMMR != 0 {
t.Logf("旧打分器对中文查询得分 %.4f(预期 0,实测非 0 ⇒ 该断言需复核)", oldMMR)
}
newMMR := ComputeBM25ScoreV2(q, mmrDoc)
newGen := ComputeBM25ScoreV2(q, genericDoc)
if newMMR <= 0 {
t.Fatalf("V2 对含 MMR 的文档得分为 0 ⇒ 没修好")
}
if newMMR <= newGen {
t.Fatalf("V2 未把含稀有词的文档排在泛泛文档之前: mmr=%.4f generic=%.4f", newMMR, newGen)
}
t.Logf("旧=%.4f | V2: mmr=%.4f generic=%.4f", oldMMR, newMMR, newGen)
}
// 纯中文查询不能被削弱(V2 对纯中文仍须给出非零且能区分)。
func TestRecallV2ChineseOnly(t *testing.T) {
q := "牧尘喜欢什么样的工作方式"
hit := ComputeBM25ScoreV2(q, "牧尘的工作方式偏好:立刻动手,验证要日志佐证。")
miss := ComputeBM25ScoreV2(q, "NAS 备份任务每日 03:00 执行。")
if hit <= miss {
t.Fatalf("纯中文查询区分失败: hit=%.4f miss=%.4f", hit, miss)
}
t.Logf("纯中文: hit=%.4f miss=%.4f", hit, miss)
}