From 827de4f65a84bbd6cc6fb6e2f757f74dfcc636c3 Mon Sep 17 00:00:00 2001 From: xiaowei Date: Wed, 14 Oct 2026 13:52:48 +0800 Subject: [PATCH] =?UTF-8?q?fix(fts):=20t=5F2afae95e=20=E6=89=93=E5=88=86?= =?UTF-8?q?=E6=94=B9=E7=A8=80=E6=9C=89=E8=AF=8D=E4=B8=BB=E5=AF=BC=EF=BC=88?= =?UTF-8?q?0.55*=E7=A8=80=E6=9C=89=E5=88=86=E9=87=8F+0.45*=E6=80=BB?= =?UTF-8?q?=E9=87=8F=E5=88=86=E9=87=8F=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 实测缺陷:纯总量 TF-IDF 分被高频 CJK bigram 稀释——MMR 查询下, 无 MMR 的高分 bigram 文档(0.252)压过含 MMR 的文档(0.147,排 #13), 尾部 1 位保证位选了错文档 ⇒ 关键词校验仍挂(13/14)。 改为 0.55*(命中词中 IDF 最大者的分/maxIDF) + 0.45*(总量分/全词IDF和×2): 只命中稀有 MMR 的文档稀有分量≈1.0,无 MMR 文档=0 ⇒ 稀有词重新主导。 顺带:FtsQuery 扩 check_doc 异源复证 + topN 排序改 O(n log n)。 --- go/internal/api/server.go | 7 +- go/internal/storage/fts_index.go | 151 +++++++++++++++++++++---------- 2 files changed, 108 insertions(+), 50 deletions(-) diff --git a/go/internal/api/server.go b/go/internal/api/server.go index 181d1bb..f0fa38a 100644 --- a/go/internal/api/server.go +++ b/go/internal/api/server.go @@ -501,8 +501,9 @@ func NewServer() http.Handler { // 返回该 query 的词面 topN 命中(id + 分 + 内容摘录),不走路过 recall 缓存。 mux.HandleFunc("/api/v1/fts/query", func(w http.ResponseWriter, r *http.Request) { var req struct { - Query string `json:"query"` - TopN int `json:"top_n"` + Query string `json:"query"` + TopN int `json:"top_n"` + CheckDocID string `json:"check_doc_id"` } if err := json.NewDecoder(r.Body).Decode(&req); err != nil { http.Error(w, "invalid body", http.StatusBadRequest) @@ -511,7 +512,7 @@ func NewServer() http.Handler { if req.TopN <= 0 { req.TopN = 10 } - respondJSON(w, 200, storage.FtsQuery(req.Query, req.TopN)) + respondJSON(w, 200, storage.FtsQuery(req.Query, req.TopN, req.CheckDocID)) }) // ─── Prometheus /metrics ───────────────────── mux.Handle("/metrics", metrics.Handler()) diff --git a/go/internal/storage/fts_index.go b/go/internal/storage/fts_index.go index c4c25d0..4e19df5 100644 --- a/go/internal/storage/fts_index.go +++ b/go/internal/storage/fts_index.go @@ -229,7 +229,17 @@ func (idx *ftsIndex) ensureFresh() { } // FtsSearch 词面检索通道:query → doc id → 归一化 TF-IDF 分(0..1)。 -// 分母 = 查询词命中库的 IDF 之和(库没有的词不计分母,避免无谓稀释)。 +// +// 2026-10-14 (t_2afae95e 修):分 = 0.55*稀有分量 + 0.45*总量分量(钳 1.0)。 +// 旧版纯总量分(命中词 IDF 加权和 / 全词 IDF 和 ×1.5)有个实测缺陷: +// CJK bigram 里大量高频双字词(如「提取」「去重」df 上千)把总量分稀释到 +// 0.1~0.2,而**只命中稀有 ASCII 词 MMR** 的文档(无 bigram 命中)总量分 +// 更低 ⇒ 尾部保证位选错文档(实测 MMR 文档总量分 0.147 排 #13,尾部 1 位 +// 给了 0.252 的无 MMR 文档,关键词校验仍挂)。改成分量混合后: +// - 稀有分量 = 命中词中 IDF 最大者的分 / maxIDF(全查询词中,库外词不计) +// ⇒ 只命中 MMR 的文档稀有分 ≈1.0,无 MMR 文档 0 ⇒ 稀有词重新主导排序。 +// - 总量分量保留(两词全命中文档仍略优,同稀有命中内做细排)。 +// 口径不变:ASCII 词 + CJK bigram(tokenizeQueryV2 同款),IDF=log2(N/df+1)。 func (idx *ftsIndex) FtsSearch(query string, topN int) map[string]float64 { idx.ensureFresh() ascii, bigrams := tokenizeQueryV2(query) @@ -241,60 +251,70 @@ func (idx *ftsIndex) FtsSearch(query string, topN int) map[string]float64 { if idx.nDocs == 0 { return nil } - scores := map[string]float64{} - total := 0.0 - addTerm := func(tok string) { - idf, ok := idx.idf[tok] + type term struct { + tok string + idf float64 + } + terms := make([]term, 0, len(ascii)+len(bigrams)) + maxIDF := 0.0 + sumIDF := 0.0 + for _, a := range append(ascii, bigrams...) { + idf, ok := idx.idf[a] if !ok { - return + continue // 库外词不计(既不进分母也不进分量,避免无谓稀释) } - total += idf - for _, docID := range idx.postings[tok] { - tfv := float64(idx.docTokens[docID][tok]) - scores[docID] += idf * (1 + math.Log(tfv+1)) + terms = append(terms, term{a, idf}) + if idf > maxIDF { + maxIDF = idf } + sumIDF += idf } - for _, a := range ascii { - addTerm(a) - } - for _, b := range bigrams { - addTerm(b) - } - if total == 0 { + if len(terms) == 0 { return nil // 查询词全不在库 ⇒ 零结果(调用方保持原行为) } - // 全词命中且 tf=1 上界 = total*2.0;取 1.5 系数让满分文档略超 1 后钳制 - out := make(map[string]float64, len(scores)) - for id, s := range scores { - v := s / (total * 1.5) + rareW, totalW := 0.55, 0.45 // 稀有词主导(本通道就是为了稀有词存在) + rare := map[string]float64{} + tot := map[string]float64{} + add := func(docID string, tok string, idf float64) { + tf := float64(idx.docTokens[docID][tok]) + weighted := idf * (1 + math.Log(tf+1)) + tot[docID] += weighted + if weighted > rare[docID] { + rare[docID] = weighted + } + } + for _, trm := range terms { + for _, docID := range idx.postings[trm.tok] { + add(docID, trm.tok, trm.idf) + } + } + all := make([]string, 0, len(rare)) + for id := range rare { + all = append(all, id) + } + out := make(map[string]float64, len(all)) + for _, docID := range all { + v := rareW*(rare[docID]/maxIDF) + totalW*(tot[docID]/(sumIDF*2.0)) if v > 1.0 { v = 1.0 } - out[id] = v + out[docID] = v } if topN <= 0 || len(out) <= topN { return out } - type kv struct { - k string - v float64 - } - ks := make([]kv, 0, len(out)) - for k, v := range out { - ks = append(ks, kv{k, v}) - } - for i := 0; i < topN; i++ { - best := i - for j := i + 1; j < len(ks); j++ { - if ks[j].v > ks[best].v { - best = j - } + // 部分降序(O(n log n) 排序后取前 topN;旧版选择排序 O(n·topN),n 大时慢) + sorted := make([]string, len(out)) + copy(sorted, all) + sort.SliceStable(sorted, func(i, j int) bool { + if out[sorted[i]] != out[sorted[j]] { + return out[sorted[i]] > out[sorted[j]] } - ks[i], ks[best] = ks[best], ks[i] - } + return sorted[i] < sorted[j] + }) top := make(map[string]float64, topN) for i := 0; i < topN; i++ { - top[ks[i].k] = ks[i].v + top[sorted[i]] = out[sorted[i]] } return top } @@ -308,15 +328,17 @@ func FtsRecord(id string) (models.MemoryRecord, bool) { } // FtsQuery 词面查询取证(AC1 判据命令):返回 query 的词面 topN 命中 -// (id + 分 + 内容摘录 + 是否含该 query 的 ASCII 词),观测端点用,不走 recall。 -func FtsQuery(query string, topN int) map[string]interface{} { +// (id + 分 + 内容摘录),观测端点用,不走 recall。 +// checkDocID 非空时附带该 id 的异源复证:是否在索引 / 词面分 / 内容是否含该 query +// 的 ascii 词(任务红线:判断「某记忆能否被取回」要 LanceDB 直查,不能只看 API)。 +func FtsQuery(query string, topN int, checkDocID string) map[string]interface{} { scores := ftsInstance.FtsSearch(query, topN) type hit struct { - ID string `json:"id"` - Score float64 `json:"score"` - Content string `json:"content"` - Category string `json:"category"` - Namespace string `json:"namespace"` + ID string `json:"id"` + Score float64 `json:"score"` + Content string `json:"content"` + Category string `json:"category"` + Namespace string `json:"namespace"` } ascii, _ := tokenizeQueryV2(query) hits := make([]hit, 0, len(scores)) @@ -332,6 +354,37 @@ func FtsQuery(query string, topN int) map[string]interface{} { } hits = append(hits, hit{ID: rec.ID, Score: s, Content: content, Category: rec.Category, Namespace: rec.Namespace}) } + // 异源复证:指定 id 的索引内状态(不依赖 API 返回) + var check map[string]interface{} + if checkDocID != "" { + if rec, ok := ftsInstance.records[checkDocID]; ok { + tf := ftsInstance.docTokens[checkDocID] + contentLower := strings.ToLower(rec.Content) + check = map[string]interface{}{ + "in_index": true, + "fts_score": scores[checkDocID], + "n_tokens": len(tf), + "category": rec.Category, + "content_has_ascii_term": func() bool { + for _, a := range ascii { + if strings.Contains(contentLower, a) { + return true + } + } + return false + }(), + "content_excerpt": func() string { + c := rec.Content + if len(c) > 200 { + return c[:200] + "…" + } + return c + }(), + } + } else { + check = map[string]interface{}{"in_index": false} + } + } ftsInstance.mu.RUnlock() sort.Slice(hits, func(i, j int) bool { if hits[i].Score != hits[j].Score { @@ -343,7 +396,7 @@ func FtsQuery(query string, topN int) map[string]interface{} { nDocs := ftsInstance.nDocs nTokens := len(ftsInstance.postings) ftsInstance.mu.RUnlock() - return map[string]interface{}{ + res := map[string]interface{}{ "query": query, "ascii_terms": ascii, "n_hits": len(hits), @@ -351,6 +404,10 @@ func FtsQuery(query string, topN int) map[string]interface{} { "index_docs": nDocs, "index_tokens": nTokens, } + if checkDocID != "" { + res["check_doc"] = check + } + return res } // FtsInvalidate 写路径钩子:commit 落库后调(在 server 的 SearchCache Invalidate 同处),