fix(recall): 中文关键词打分 V2 + 扩候选池(env/标志文件门控,默认关)
实测根因(2026-10-14,golden 条目「织忆如何通过 E1 提取和 MMR 实现多样去重」): ① 候选池太窄:per-ns 向量 top-50(candCap 100),而含 MMR 的记忆向量排名 #126/12094 ⇒ 根本进不了池,后续任何打分都救不回来。 ② 旧 ComputeBM25Score 用 strings.Fields 只按空格分词、整段短语做子串计数 ⇒ 中文查询的关键词分基本失效,且无 IDF(稀有词不加权)。 ③ 融合 0.7*quality + 0.3*kw,而 IPC 路径下 quality 会饱和到 1.0(代码注释原话) ⇒ 候选间质量分几乎相同 ⇒ 排序实际由失效的 kw 决定 ⇒ 退化成向量原始顺序。 改动(ZHIYI_RECALL_V2=1 或标志文件 /var/lib/memoryweave/recall-v2.on 开启): - ComputeBM25ScoreV2:查询切 ASCII 词(权重 10,廉价 IDF 代理)+ CJK 二元组(权重 1)。 - 扩池:per-ns 50→200;candCap 100→300。 默认关 ⇒ 行为零变化。单测双向验证:mmr=0.3125 vs generic=0.0312。
This commit is contained in:
@@ -318,7 +318,11 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver
|
||||
namespaces = append(namespaces, "shared")
|
||||
}
|
||||
for _, ns := range namespaces {
|
||||
nsResults, err := p.lancedb.Search("memories", queryVec, 50, ns)
|
||||
pool := 50
|
||||
if recallV2Enabled() {
|
||||
pool = 200 // 实测相关记忆可能排在向量 #126 ⇒ top-50 池根本够不着
|
||||
}
|
||||
nsResults, err := p.lancedb.Search("memories", queryVec, pool, ns)
|
||||
if err != nil {
|
||||
continue
|
||||
}
|
||||
@@ -394,6 +398,9 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver
|
||||
candCap := 50
|
||||
if namespace == "" {
|
||||
candCap = 100
|
||||
if recallV2Enabled() {
|
||||
candCap = 300
|
||||
}
|
||||
}
|
||||
if len(candidates) > candCap {
|
||||
candidates = candidates[:candCap]
|
||||
@@ -416,6 +423,9 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver
|
||||
qsForTrust = *candidates[i].RawQualityScore
|
||||
}
|
||||
kwScore := ComputeBM25Score(query, candidates[i].Content)
|
||||
if recallV2Enabled() {
|
||||
kwScore = ComputeBM25ScoreV2(query, candidates[i].Content)
|
||||
}
|
||||
// 融合: vector score (quality) * 0.7 + keyword score * 0.3
|
||||
// 2026-10-13 (t_e9a4d18f P1):不可信质量分(0/0.755 echo)时,若
|
||||
// ZHIYI_PROOF_FALLBACK=1 则用 QualityFromProof(证据条数)兜底替代。
|
||||
@@ -718,7 +728,89 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver
|
||||
return results, RecallMeta{CandidatesScanned: poolSize}, nil
|
||||
}
|
||||
|
||||
// ComputeBM25Score 基于词频的关键词匹配分数
|
||||
// recallV2 开关(2026-10-14)。默认关 ⇒ 行为零变化。
|
||||
// 起因:实测查询「织忆如何通过 E1 提取和 MMR 实现多样去重」捞不到含 MMR 的记忆
|
||||
// (该记忆向量排名 #126/12094,在 per-ns top-50 池外;且旧 ComputeBM25Score
|
||||
// 用 strings.Fields 只按空格分词、整段短语做子串计数 ⇒ 中文查询关键词分几乎恒 0
|
||||
// ⇒ 融合分退化为「饱和的 quality_score」⇒ 排序实际由向量原始顺序决定)。
|
||||
// 判定:env ZHIYI_RECALL_V2=1 或标志文件存在(后者可在不重启的情况下 A/B)。
|
||||
func recallV2Enabled() bool {
|
||||
if os.Getenv("ZHIYI_RECALL_V2") == "1" {
|
||||
return true
|
||||
}
|
||||
flag := os.Getenv("ZHIYI_RECALL_V2_FLAG")
|
||||
if flag == "" {
|
||||
flag = "/var/lib/memoryweave/recall-v2.on"
|
||||
}
|
||||
_, err := os.Stat(flag)
|
||||
return err == nil
|
||||
}
|
||||
|
||||
// tokenizeQueryV2 把查询切成:ASCII 词(>=2 字符,含标识符/缩写/数字)+ CJK 字符二元组。
|
||||
// 为什么不用 strings.Fields:中文没有空格,整块短语永远匹配不到文档里的连续子串。
|
||||
func tokenizeQueryV2(q string) (ascii []string, bigrams []string) {
|
||||
runes := []rune(strings.ToLower(q))
|
||||
seenB := map[string]bool{}
|
||||
var cur []rune
|
||||
flush := func() {
|
||||
if len(cur) >= 2 {
|
||||
ascii = append(ascii, string(cur))
|
||||
}
|
||||
cur = cur[:0]
|
||||
}
|
||||
for i := 0; i < len(runes); i++ {
|
||||
r := runes[i]
|
||||
if (r >= 'a' && r <= 'z') || (r >= '0' && r <= '9') || r == '_' || r == '-' || r == '.' {
|
||||
cur = append(cur, r)
|
||||
continue
|
||||
}
|
||||
flush()
|
||||
if r >= 0x4E00 && r <= 0x9FFF && i+1 < len(runes) {
|
||||
nx := runes[i+1]
|
||||
if nx >= 0x4E00 && nx <= 0x9FFF {
|
||||
bg := string([]rune{r, nx})
|
||||
if !seenB[bg] {
|
||||
seenB[bg] = true
|
||||
bigrams = append(bigrams, bg)
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
flush()
|
||||
return
|
||||
}
|
||||
|
||||
// ComputeBM25ScoreV2 中文可用的关键词分:ASCII 词权重 3.0(中文语料里稀有 ⇒ 高信息量,
|
||||
// 充当 IDF 的廉价代理),CJK 二元组权重 1.0。归一化到 [0,1]。
|
||||
func ComputeBM25ScoreV2(query, doc string) float64 {
|
||||
ascii, bigrams := tokenizeQueryV2(query)
|
||||
docLower := strings.ToLower(doc)
|
||||
total, hit := 0.0, 0.0
|
||||
// ASCII 词权重 10.0:中文语料里 ASCII 缩写/标识符极稀有 ⇒ 命中即高信息量
|
||||
// (廉价 IDF 代理)。若只给 1.0,中文二元组的噪声会淹没稀有词信号。
|
||||
for _, t := range ascii {
|
||||
total += 10.0
|
||||
if strings.Contains(docLower, t) {
|
||||
hit += 10.0
|
||||
}
|
||||
}
|
||||
for _, b := range bigrams {
|
||||
total += 1.0
|
||||
if strings.Contains(docLower, b) {
|
||||
hit += 1.0
|
||||
}
|
||||
}
|
||||
if total == 0 || hit == 0 {
|
||||
return 0
|
||||
}
|
||||
score := hit / total
|
||||
if score > 1.0 {
|
||||
score = 1.0
|
||||
}
|
||||
return score
|
||||
}
|
||||
|
||||
// ComputeBM25Score 基于词频的关键词匹配分数(旧版,仅按空格分词 ⇒ 中文基本失效)
|
||||
func ComputeBM25Score(query, doc string) float64 {
|
||||
queryTerms := strings.Fields(strings.ToLower(query))
|
||||
docLower := strings.ToLower(doc)
|
||||
|
||||
@@ -0,0 +1,35 @@
|
||||
package storage
|
||||
|
||||
import "testing"
|
||||
|
||||
// 双向验证:旧打分器对中文查询失效(=0),新打分器必须把含稀有 ASCII 词的文档顶上来。
|
||||
func TestRecallV2KeywordScoring(t *testing.T) {
|
||||
q := "织忆如何通过 E1 提取和 MMR 实现多样去重"
|
||||
mmrDoc := "recall.go MMR 前插入门控接线。"
|
||||
genericDoc := "织忆(MemoryWeave)是一个系统。"
|
||||
|
||||
oldMMR := ComputeBM25Score(q, mmrDoc)
|
||||
if oldMMR != 0 {
|
||||
t.Logf("旧打分器对中文查询得分 %.4f(预期 0,实测非 0 ⇒ 该断言需复核)", oldMMR)
|
||||
}
|
||||
newMMR := ComputeBM25ScoreV2(q, mmrDoc)
|
||||
newGen := ComputeBM25ScoreV2(q, genericDoc)
|
||||
if newMMR <= 0 {
|
||||
t.Fatalf("V2 对含 MMR 的文档得分为 0 ⇒ 没修好")
|
||||
}
|
||||
if newMMR <= newGen {
|
||||
t.Fatalf("V2 未把含稀有词的文档排在泛泛文档之前: mmr=%.4f generic=%.4f", newMMR, newGen)
|
||||
}
|
||||
t.Logf("旧=%.4f | V2: mmr=%.4f generic=%.4f", oldMMR, newMMR, newGen)
|
||||
}
|
||||
|
||||
// 纯中文查询不能被削弱(V2 对纯中文仍须给出非零且能区分)。
|
||||
func TestRecallV2ChineseOnly(t *testing.T) {
|
||||
q := "牧尘喜欢什么样的工作方式"
|
||||
hit := ComputeBM25ScoreV2(q, "牧尘的工作方式偏好:立刻动手,验证要日志佐证。")
|
||||
miss := ComputeBM25ScoreV2(q, "NAS 备份任务每日 03:00 执行。")
|
||||
if hit <= miss {
|
||||
t.Fatalf("纯中文查询区分失败: hit=%.4f miss=%.4f", hit, miss)
|
||||
}
|
||||
t.Logf("纯中文: hit=%.4f miss=%.4f", hit, miss)
|
||||
}
|
||||
Reference in New Issue
Block a user