diff --git a/go/internal/storage/fts_index.go b/go/internal/storage/fts_index.go index 63c1c21..229c3da 100644 --- a/go/internal/storage/fts_index.go +++ b/go/internal/storage/fts_index.go @@ -97,16 +97,25 @@ func ftsEnabled() bool { // ftsIndexMaxAge:索引最长保鲜期(写路径 Invalidate 会提前标脏,这是兜底)。 const ftsIndexMaxAge = 6 * time.Hour -// FtsBigramTailGate 纯 CJK(bigram-only)查询的尾部位分数下限(t_da61c470 改点A)。 +// FtsBigramTailGateForQuery 纯 CJK(bigram-only)查询的尾部位分数下限,**按 query 的 +// CJK bigram 数分档**(t_287c6d51 分档,替代 t_da61c470 的单档全局放宽)。 // // 现状:bigram-only 档(ascii_terms 为空)的分 = 0.32×(1-1/nb) 恒 <0.32, // 而 Step 3.8 尾部位只放行分≥0.5 的 ASCII 档 ⇒ 纯中文专名(淇县/鹤壁/卫都街道/ -// 生物制造/小米笔记本…)结构性拿不到尾部位。本函数给 bigram-only 命中单独放一个 -// **可配下限**:默认 0.5(与现状 ASCII 档同门槛 = 零行为变化);A/B 时设 ~0.15 -// (env ZHIYI_FTS_BIGRAM_TAIL_GATE)让 bigram-only 命中能拿到尾部位。 -// 只对 bigram-only 查询生效(见 IsBigramOnlyQuery);混合/ASCII 查询仍走 0.5。 +// 生物制造/小米笔记本…)结构性拿不到尾部位。t_da61c470 试过**全局**放宽 0.5→0.15 +// ⇒ 长 query 档的噪声也被放进来 ⇒ 净 +1/152、hard −3(改法错,非方向错)。 +// 本函数**按 bigram 数分档**,默认值全部 = 现状(0.5 = 与 ASCII 档同门槛 = 零行为变化): +// - 1-bigram(2 字 CJK,如「淇县/鹤壁/河南」)⇒ 读 env ZHIYI_FTS_BIGRAM_TAIL_GATE, +// A/B 设 ~0.15 只救这一档(score 0.16 ≥ 0.15 能进尾部位); +// - ≥2-bigram(如「生物制造/卫都街道/小米笔记本」)⇒ **恒 0.5 不动**(防长词噪声重演); +// - 混合/ASCII 查询 ⇒ 恒 0.5(不动)。 // 每次调用读 env(测试可 t.Setenv 翻转,无需重跑 init;与 recallV2Enabled 同款)。 -func FtsBigramTailGate() float64 { +func FtsBigramTailGateForQuery(query string) float64 { + ascii, bigrams := tokenizeQueryV2(query) + if len(ascii) > 0 || len(bigrams) != 1 { + // 混合/ASCII 或 ≥2-bigram:保持现状 0.5,不可配(防长词噪声)。 + return 0.5 + } if v := os.Getenv("ZHIYI_FTS_BIGRAM_TAIL_GATE"); v != "" { if f, err := strconv.ParseFloat(v, 64); err == nil { return f diff --git a/go/internal/storage/fts_index_test.go b/go/internal/storage/fts_index_test.go index f73002a..747db4c 100644 --- a/go/internal/storage/fts_index_test.go +++ b/go/internal/storage/fts_index_test.go @@ -441,3 +441,53 @@ func idsRes(res []models.RecallResult) []string { } return out } + +// t_287c6d51 分档门禁单测:FtsBigramTailGateForQuery 按 query 的 bigram 数分档, +// 默认(env 不设)全档 = 0.5(零行为变化),只有设 ZHIYI_FTS_BIGRAM_TAIL_GATE 才放宽 1-bigram 档。 +func TestFTS_BigramGateTiering(t *testing.T) { + // 纯 env 逻辑,不依赖索引 → 不需要 waitForFTSIndex + // 分档判定(口径=tokenizeQueryV2 的 distinct bigram 数): + // 2 字专名(淇县/鹤壁/河南)= 1-bigram 档;4 字(生物制造/卫都街道/小米笔记本)= ≥2-bigram 档; + // 混合/ASCII = 非 pure-CJK 档。 + type c struct { + query string + isBig1 bool // 期望落在 1-bigram 档 + } + cases := []c{ + {"淇县", true}, {"鹤壁", true}, {"河南", true}, {"浚县", true}, + {"生物制造", false}, {"卫都街道", false}, {"小米笔记本", false}, {"戴尔笔记本", false}, + {"bge-m3 嵌入", false}, {"我工作所在的县是哪个", false}, {"newapi 网关 3000", false}, + } + + // ① env 不设 → 全档恒 0.5(默认=现状,零行为变化) + t.Run("default_zero_change", func(t *testing.T) { + t.Setenv("ZHIYI_FTS_BIGRAM_TAIL_GATE", "") + for _, c := range cases { + if got := FtsBigramTailGateForQuery(c.query); got != 0.5 { + t.Fatalf("query=%q env未设 期望 0.5 实得 %v", c.query, got) + } + } + }) + + // ② env=0.15 → 只放宽 1-bigram 档;≥2-bigram 与混合档恒 0.5 不动 + t.Run("tiered_relax", func(t *testing.T) { + t.Setenv("ZHIYI_FTS_BIGRAM_TAIL_GATE", "0.15") + for _, c := range cases { + want := 0.5 + if c.isBig1 { + want = 0.15 + } + if got := FtsBigramTailGateForQuery(c.query); got != want { + t.Fatalf("query=%q env=0.15 期望 %v(big1=%v) 实得 %v", c.query, want, c.isBig1, got) + } + } + }) + + // ③ env 非法 → 回落默认 0.5 + t.Run("bad_env_fallback", func(t *testing.T) { + t.Setenv("ZHIYI_FTS_BIGRAM_TAIL_GATE", "abc") + if got := FtsBigramTailGateForQuery("淇县"); got != 0.5 { + t.Fatalf("env非法 期望回落 0.5 实得 %v", got) + } + }) +} diff --git a/go/internal/storage/recall.go b/go/internal/storage/recall.go index 7a3bd1e..db0ff74 100644 --- a/go/internal/storage/recall.go +++ b/go/internal/storage/recall.go @@ -718,9 +718,12 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver // A/B 设 ZHIYI_FTS_BIGRAM_TAIL_GATE≈0.15 ⇒ 纯 CJK 专名(淇县/鹤壁/卫都街道/ // 生物制造/小米笔记本…,bigram 档分 0.16~0.256)能拿到尾部位。 // 混合/ASCII 查询不受影响(tailGate 恒 0.5,权重公式不动)。 + // t_287c6d51 分档:门禁按 query 的 bigram 数分档 —— 1-bigram(2 字专名)档 + // 读 ZHIYI_FTS_BIGRAM_TAIL_GATE(A/B 设 ~0.15);≥2-bigram 档与混合/ASCII 档 + // 恒 0.5 不动(防 t_da61c470 长词噪声重演)。默认全 0.5 = 零行为变化。 tailGate := 0.5 if IsBigramOnlyQuery(query) { - tailGate = FtsBigramTailGate() + tailGate = FtsBigramTailGateForQuery(query) } fresh := make([]models.MemoryRecord, 0, len(ftsTail)) for _, rec := range ftsTail {