feat(recall/fts): t_287c6d51 FTS 尾部位门槛按 query bigram 数分档(1-bigram→env 可放宽至~0.15 / ≥2-bigram 与混合恒 0.5),默认全 0.5=零行为变化
This commit is contained in:
@@ -97,16 +97,25 @@ func ftsEnabled() bool {
|
||||
// ftsIndexMaxAge:索引最长保鲜期(写路径 Invalidate 会提前标脏,这是兜底)。
|
||||
const ftsIndexMaxAge = 6 * time.Hour
|
||||
|
||||
// FtsBigramTailGate 纯 CJK(bigram-only)查询的尾部位分数下限(t_da61c470 改点A)。
|
||||
// FtsBigramTailGateForQuery 纯 CJK(bigram-only)查询的尾部位分数下限,**按 query 的
|
||||
// CJK bigram 数分档**(t_287c6d51 分档,替代 t_da61c470 的单档全局放宽)。
|
||||
//
|
||||
// 现状:bigram-only 档(ascii_terms 为空)的分 = 0.32×(1-1/nb) 恒 <0.32,
|
||||
// 而 Step 3.8 尾部位只放行分≥0.5 的 ASCII 档 ⇒ 纯中文专名(淇县/鹤壁/卫都街道/
|
||||
// 生物制造/小米笔记本…)结构性拿不到尾部位。本函数给 bigram-only 命中单独放一个
|
||||
// **可配下限**:默认 0.5(与现状 ASCII 档同门槛 = 零行为变化);A/B 时设 ~0.15
|
||||
// (env ZHIYI_FTS_BIGRAM_TAIL_GATE)让 bigram-only 命中能拿到尾部位。
|
||||
// 只对 bigram-only 查询生效(见 IsBigramOnlyQuery);混合/ASCII 查询仍走 0.5。
|
||||
// 生物制造/小米笔记本…)结构性拿不到尾部位。t_da61c470 试过**全局**放宽 0.5→0.15
|
||||
// ⇒ 长 query 档的噪声也被放进来 ⇒ 净 +1/152、hard −3(改法错,非方向错)。
|
||||
// 本函数**按 bigram 数分档**,默认值全部 = 现状(0.5 = 与 ASCII 档同门槛 = 零行为变化):
|
||||
// - 1-bigram(2 字 CJK,如「淇县/鹤壁/河南」)⇒ 读 env ZHIYI_FTS_BIGRAM_TAIL_GATE,
|
||||
// A/B 设 ~0.15 只救这一档(score 0.16 ≥ 0.15 能进尾部位);
|
||||
// - ≥2-bigram(如「生物制造/卫都街道/小米笔记本」)⇒ **恒 0.5 不动**(防长词噪声重演);
|
||||
// - 混合/ASCII 查询 ⇒ 恒 0.5(不动)。
|
||||
// 每次调用读 env(测试可 t.Setenv 翻转,无需重跑 init;与 recallV2Enabled 同款)。
|
||||
func FtsBigramTailGate() float64 {
|
||||
func FtsBigramTailGateForQuery(query string) float64 {
|
||||
ascii, bigrams := tokenizeQueryV2(query)
|
||||
if len(ascii) > 0 || len(bigrams) != 1 {
|
||||
// 混合/ASCII 或 ≥2-bigram:保持现状 0.5,不可配(防长词噪声)。
|
||||
return 0.5
|
||||
}
|
||||
if v := os.Getenv("ZHIYI_FTS_BIGRAM_TAIL_GATE"); v != "" {
|
||||
if f, err := strconv.ParseFloat(v, 64); err == nil {
|
||||
return f
|
||||
|
||||
@@ -441,3 +441,53 @@ func idsRes(res []models.RecallResult) []string {
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
// t_287c6d51 分档门禁单测:FtsBigramTailGateForQuery 按 query 的 bigram 数分档,
|
||||
// 默认(env 不设)全档 = 0.5(零行为变化),只有设 ZHIYI_FTS_BIGRAM_TAIL_GATE 才放宽 1-bigram 档。
|
||||
func TestFTS_BigramGateTiering(t *testing.T) {
|
||||
// 纯 env 逻辑,不依赖索引 → 不需要 waitForFTSIndex
|
||||
// 分档判定(口径=tokenizeQueryV2 的 distinct bigram 数):
|
||||
// 2 字专名(淇县/鹤壁/河南)= 1-bigram 档;4 字(生物制造/卫都街道/小米笔记本)= ≥2-bigram 档;
|
||||
// 混合/ASCII = 非 pure-CJK 档。
|
||||
type c struct {
|
||||
query string
|
||||
isBig1 bool // 期望落在 1-bigram 档
|
||||
}
|
||||
cases := []c{
|
||||
{"淇县", true}, {"鹤壁", true}, {"河南", true}, {"浚县", true},
|
||||
{"生物制造", false}, {"卫都街道", false}, {"小米笔记本", false}, {"戴尔笔记本", false},
|
||||
{"bge-m3 嵌入", false}, {"我工作所在的县是哪个", false}, {"newapi 网关 3000", false},
|
||||
}
|
||||
|
||||
// ① env 不设 → 全档恒 0.5(默认=现状,零行为变化)
|
||||
t.Run("default_zero_change", func(t *testing.T) {
|
||||
t.Setenv("ZHIYI_FTS_BIGRAM_TAIL_GATE", "")
|
||||
for _, c := range cases {
|
||||
if got := FtsBigramTailGateForQuery(c.query); got != 0.5 {
|
||||
t.Fatalf("query=%q env未设 期望 0.5 实得 %v", c.query, got)
|
||||
}
|
||||
}
|
||||
})
|
||||
|
||||
// ② env=0.15 → 只放宽 1-bigram 档;≥2-bigram 与混合档恒 0.5 不动
|
||||
t.Run("tiered_relax", func(t *testing.T) {
|
||||
t.Setenv("ZHIYI_FTS_BIGRAM_TAIL_GATE", "0.15")
|
||||
for _, c := range cases {
|
||||
want := 0.5
|
||||
if c.isBig1 {
|
||||
want = 0.15
|
||||
}
|
||||
if got := FtsBigramTailGateForQuery(c.query); got != want {
|
||||
t.Fatalf("query=%q env=0.15 期望 %v(big1=%v) 实得 %v", c.query, want, c.isBig1, got)
|
||||
}
|
||||
}
|
||||
})
|
||||
|
||||
// ③ env 非法 → 回落默认 0.5
|
||||
t.Run("bad_env_fallback", func(t *testing.T) {
|
||||
t.Setenv("ZHIYI_FTS_BIGRAM_TAIL_GATE", "abc")
|
||||
if got := FtsBigramTailGateForQuery("淇县"); got != 0.5 {
|
||||
t.Fatalf("env非法 期望回落 0.5 实得 %v", got)
|
||||
}
|
||||
})
|
||||
}
|
||||
|
||||
@@ -718,9 +718,12 @@ func (p *RecallPipeline) recallUncached(query, namespace string, topK int, diver
|
||||
// A/B 设 ZHIYI_FTS_BIGRAM_TAIL_GATE≈0.15 ⇒ 纯 CJK 专名(淇县/鹤壁/卫都街道/
|
||||
// 生物制造/小米笔记本…,bigram 档分 0.16~0.256)能拿到尾部位。
|
||||
// 混合/ASCII 查询不受影响(tailGate 恒 0.5,权重公式不动)。
|
||||
// t_287c6d51 分档:门禁按 query 的 bigram 数分档 —— 1-bigram(2 字专名)档
|
||||
// 读 ZHIYI_FTS_BIGRAM_TAIL_GATE(A/B 设 ~0.15);≥2-bigram 档与混合/ASCII 档
|
||||
// 恒 0.5 不动(防 t_da61c470 长词噪声重演)。默认全 0.5 = 零行为变化。
|
||||
tailGate := 0.5
|
||||
if IsBigramOnlyQuery(query) {
|
||||
tailGate = FtsBigramTailGate()
|
||||
tailGate = FtsBigramTailGateForQuery(query)
|
||||
}
|
||||
fresh := make([]models.MemoryRecord, 0, len(ftsTail))
|
||||
for _, rec := range ftsTail {
|
||||
|
||||
Reference in New Issue
Block a user