feat(recall/fts): t_287c6d51 FTS 尾部位门槛按 query bigram 数分档(1-bigram→env 可放宽至~0.15 / ≥2-bigram 与混合恒 0.5),默认全 0.5=零行为变化

This commit is contained in:
小唯
2026-10-15 19:04:31 +08:00
parent 24d6c46065
commit e52f335998
3 changed files with 69 additions and 7 deletions
+15 -6
View File
@@ -97,16 +97,25 @@ func ftsEnabled() bool {
// ftsIndexMaxAge:索引最长保鲜期(写路径 Invalidate 会提前标脏,这是兜底)。
const ftsIndexMaxAge = 6 * time.Hour
// FtsBigramTailGate 纯 CJK(bigram-only)查询的尾部位分数下限(t_da61c470 改点A)。
// FtsBigramTailGateForQuery 纯 CJK(bigram-only)查询的尾部位分数下限,**按 query 的
// CJK bigram 数分档**(t_287c6d51 分档,替代 t_da61c470 的单档全局放宽)。
//
// 现状:bigram-only 档(ascii_terms 为空)的分 = 0.32×(1-1/nb) 恒 <0.32,
// 而 Step 3.8 尾部位只放行分≥0.5 的 ASCII 档 ⇒ 纯中文专名(淇县/鹤壁/卫都街道/
// 生物制造/小米笔记本…)结构性拿不到尾部位。本函数给 bigram-only 命中单独放一个
// **可配下限**:默认 0.5(与现状 ASCII 档同门槛 = 零行为变化);A/B 时设 ~0.15
// (env ZHIYI_FTS_BIGRAM_TAIL_GATE)让 bigram-only 命中能拿到尾部位。
// 只对 bigram-only 查询生效(见 IsBigramOnlyQuery);混合/ASCII 查询仍走 0.5。
// 生物制造/小米笔记本…)结构性拿不到尾部位。t_da61c470 试过**全局**放宽 0.5→0.15
// ⇒ 长 query 档的噪声也被放进来 ⇒ 净 +1/152、hard −3(改法错,非方向错)。
// 本函数**按 bigram 数分档**,默认值全部 = 现状(0.5 = 与 ASCII 档同门槛 = 零行为变化):
// - 1-bigram(2 字 CJK,如「淇县/鹤壁/河南」)⇒ 读 env ZHIYI_FTS_BIGRAM_TAIL_GATE,
// A/B 设 ~0.15 只救这一档(score 0.16 ≥ 0.15 能进尾部位);
// - ≥2-bigram(如「生物制造/卫都街道/小米笔记本」)⇒ **恒 0.5 不动**(防长词噪声重演);
// - 混合/ASCII 查询 ⇒ 恒 0.5(不动)。
// 每次调用读 env(测试可 t.Setenv 翻转,无需重跑 init;与 recallV2Enabled 同款)。
func FtsBigramTailGate() float64 {
func FtsBigramTailGateForQuery(query string) float64 {
ascii, bigrams := tokenizeQueryV2(query)
if len(ascii) > 0 || len(bigrams) != 1 {
// 混合/ASCII 或 ≥2-bigram:保持现状 0.5,不可配(防长词噪声)。
return 0.5
}
if v := os.Getenv("ZHIYI_FTS_BIGRAM_TAIL_GATE"); v != "" {
if f, err := strconv.ParseFloat(v, 64); err == nil {
return f
+50
View File
@@ -441,3 +441,53 @@ func idsRes(res []models.RecallResult) []string {
}
return out
}
// t_287c6d51 分档门禁单测:FtsBigramTailGateForQuery 按 query 的 bigram 数分档,
// 默认(env 不设)全档 = 0.5(零行为变化),只有设 ZHIYI_FTS_BIGRAM_TAIL_GATE 才放宽 1-bigram 档。
func TestFTS_BigramGateTiering(t *testing.T) {
// 纯 env 逻辑,不依赖索引 → 不需要 waitForFTSIndex
// 分档判定(口径=tokenizeQueryV2 的 distinct bigram 数):
// 2 字专名(淇县/鹤壁/河南)= 1-bigram 档;4 字(生物制造/卫都街道/小米笔记本)= ≥2-bigram 档;
// 混合/ASCII = 非 pure-CJK 档。
type c struct {
query string
isBig1 bool // 期望落在 1-bigram 档
}
cases := []c{
{"淇县", true}, {"鹤壁", true}, {"河南", true}, {"浚县", true},
{"生物制造", false}, {"卫都街道", false}, {"小米笔记本", false}, {"戴尔笔记本", false},
{"bge-m3 嵌入", false}, {"我工作所在的县是哪个", false}, {"newapi 网关 3000", false},
}
// ① env 不设 → 全档恒 0.5(默认=现状,零行为变化)
t.Run("default_zero_change", func(t *testing.T) {
t.Setenv("ZHIYI_FTS_BIGRAM_TAIL_GATE", "")
for _, c := range cases {
if got := FtsBigramTailGateForQuery(c.query); got != 0.5 {
t.Fatalf("query=%q env未设 期望 0.5 实得 %v", c.query, got)
}
}
})
// ② env=0.15 → 只放宽 1-bigram 档;≥2-bigram 与混合档恒 0.5 不动
t.Run("tiered_relax", func(t *testing.T) {
t.Setenv("ZHIYI_FTS_BIGRAM_TAIL_GATE", "0.15")
for _, c := range cases {
want := 0.5
if c.isBig1 {
want = 0.15
}
if got := FtsBigramTailGateForQuery(c.query); got != want {
t.Fatalf("query=%q env=0.15 期望 %v(big1=%v) 实得 %v", c.query, want, c.isBig1, got)
}
}
})
// ③ env 非法 → 回落默认 0.5
t.Run("bad_env_fallback", func(t *testing.T) {
t.Setenv("ZHIYI_FTS_BIGRAM_TAIL_GATE", "abc")
if got := FtsBigramTailGateForQuery("淇县"); got != 0.5 {
t.Fatalf("env非法 期望回落 0.5 实得 %v", got)
}
})
}
+4 -1
View File
@@ -718,9 +718,12 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver
// A/B 设 ZHIYI_FTS_BIGRAM_TAIL_GATE≈0.15 ⇒ 纯 CJK 专名(淇县/鹤壁/卫都街道/
// 生物制造/小米笔记本…,bigram 档分 0.16~0.256)能拿到尾部位。
// 混合/ASCII 查询不受影响(tailGate 恒 0.5,权重公式不动)。
// t_287c6d51 分档:门禁按 query 的 bigram 数分档 —— 1-bigram(2 字专名)档
// 读 ZHIYI_FTS_BIGRAM_TAIL_GATE(A/B 设 ~0.15);≥2-bigram 档与混合/ASCII 档
// 恒 0.5 不动(防 t_da61c470 长词噪声重演)。默认全 0.5 = 零行为变化。
tailGate := 0.5
if IsBigramOnlyQuery(query) {
tailGate = FtsBigramTailGate()
tailGate = FtsBigramTailGateForQuery(query)
}
fresh := make([]models.MemoryRecord, 0, len(ftsTail))
for _, rec := range ftsTail {