fix(fts): t_2afae95e 打分改稀有词主导(0.55*稀有分量+0.45*总量分量)

实测缺陷:纯总量 TF-IDF 分被高频 CJK bigram 稀释——MMR 查询下,
无 MMR 的高分 bigram 文档(0.252)压过含 MMR 的文档(0.147,排 #13),
尾部 1 位保证位选了错文档 ⇒ 关键词校验仍挂(13/14)。
改为 0.55*(命中词中 IDF 最大者的分/maxIDF) + 0.45*(总量分/全词IDF和×2):
只命中稀有 MMR 的文档稀有分量≈1.0,无 MMR 文档=0 ⇒ 稀有词重新主导。
顺带:FtsQuery 扩 check_doc 异源复证 + topN 排序改 O(n log n)。
This commit is contained in:
xiaowei
2026-10-14 13:52:48 +08:00
parent 808b9862c9
commit 827de4f65a
2 changed files with 108 additions and 50 deletions
+4 -3
View File
@@ -501,8 +501,9 @@ func NewServer() http.Handler {
// 返回该 query 的词面 topN 命中(id + 分 + 内容摘录),不走路过 recall 缓存。
mux.HandleFunc("/api/v1/fts/query", func(w http.ResponseWriter, r *http.Request) {
var req struct {
Query string `json:"query"`
TopN int `json:"top_n"`
Query string `json:"query"`
TopN int `json:"top_n"`
CheckDocID string `json:"check_doc_id"`
}
if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
http.Error(w, "invalid body", http.StatusBadRequest)
@@ -511,7 +512,7 @@ func NewServer() http.Handler {
if req.TopN <= 0 {
req.TopN = 10
}
respondJSON(w, 200, storage.FtsQuery(req.Query, req.TopN))
respondJSON(w, 200, storage.FtsQuery(req.Query, req.TopN, req.CheckDocID))
})
// ─── Prometheus /metrics ─────────────────────
mux.Handle("/metrics", metrics.Handler())
+104 -47
View File
@@ -229,7 +229,17 @@ func (idx *ftsIndex) ensureFresh() {
}
// FtsSearch 词面检索通道:query → doc id → 归一化 TF-IDF 分(0..1)。
// 分母 = 查询词命中库的 IDF 之和(库没有的词不计分母,避免无谓稀释)。
//
// 2026-10-14 (t_2afae95e 修):分 = 0.55*稀有分量 + 0.45*总量分量(钳 1.0)。
// 旧版纯总量分(命中词 IDF 加权和 / 全词 IDF 和 ×1.5)有个实测缺陷:
// CJK bigram 里大量高频双字词(如「提取」「去重」df 上千)把总量分稀释到
// 0.1~0.2,而**只命中稀有 ASCII 词 MMR** 的文档(无 bigram 命中)总量分
// 更低 ⇒ 尾部保证位选错文档(实测 MMR 文档总量分 0.147 排 #13,尾部 1 位
// 给了 0.252 的无 MMR 文档,关键词校验仍挂)。改成分量混合后:
// - 稀有分量 = 命中词中 IDF 最大者的分 / maxIDF(全查询词中,库外词不计)
// ⇒ 只命中 MMR 的文档稀有分 ≈1.0,无 MMR 文档 0 ⇒ 稀有词重新主导排序。
// - 总量分量保留(两词全命中文档仍略优,同稀有命中内做细排)。
// 口径不变:ASCII 词 + CJK bigram(tokenizeQueryV2 同款),IDF=log2(N/df+1)。
func (idx *ftsIndex) FtsSearch(query string, topN int) map[string]float64 {
idx.ensureFresh()
ascii, bigrams := tokenizeQueryV2(query)
@@ -241,60 +251,70 @@ func (idx *ftsIndex) FtsSearch(query string, topN int) map[string]float64 {
if idx.nDocs == 0 {
return nil
}
scores := map[string]float64{}
total := 0.0
addTerm := func(tok string) {
idf, ok := idx.idf[tok]
type term struct {
tok string
idf float64
}
terms := make([]term, 0, len(ascii)+len(bigrams))
maxIDF := 0.0
sumIDF := 0.0
for _, a := range append(ascii, bigrams...) {
idf, ok := idx.idf[a]
if !ok {
return
continue // 库外词不计(既不进分母也不进分量,避免无谓稀释)
}
total += idf
for _, docID := range idx.postings[tok] {
tfv := float64(idx.docTokens[docID][tok])
scores[docID] += idf * (1 + math.Log(tfv+1))
terms = append(terms, term{a, idf})
if idf > maxIDF {
maxIDF = idf
}
sumIDF += idf
}
for _, a := range ascii {
addTerm(a)
}
for _, b := range bigrams {
addTerm(b)
}
if total == 0 {
if len(terms) == 0 {
return nil // 查询词全不在库 ⇒ 零结果(调用方保持原行为)
}
// 全词命中且 tf=1 上界 = total*2.0;取 1.5 系数让满分文档略超 1 后钳制
out := make(map[string]float64, len(scores))
for id, s := range scores {
v := s / (total * 1.5)
rareW, totalW := 0.55, 0.45 // 稀有词主导(本通道就是为了稀有词存在)
rare := map[string]float64{}
tot := map[string]float64{}
add := func(docID string, tok string, idf float64) {
tf := float64(idx.docTokens[docID][tok])
weighted := idf * (1 + math.Log(tf+1))
tot[docID] += weighted
if weighted > rare[docID] {
rare[docID] = weighted
}
}
for _, trm := range terms {
for _, docID := range idx.postings[trm.tok] {
add(docID, trm.tok, trm.idf)
}
}
all := make([]string, 0, len(rare))
for id := range rare {
all = append(all, id)
}
out := make(map[string]float64, len(all))
for _, docID := range all {
v := rareW*(rare[docID]/maxIDF) + totalW*(tot[docID]/(sumIDF*2.0))
if v > 1.0 {
v = 1.0
}
out[id] = v
out[docID] = v
}
if topN <= 0 || len(out) <= topN {
return out
}
type kv struct {
k string
v float64
}
ks := make([]kv, 0, len(out))
for k, v := range out {
ks = append(ks, kv{k, v})
}
for i := 0; i < topN; i++ {
best := i
for j := i + 1; j < len(ks); j++ {
if ks[j].v > ks[best].v {
best = j
}
// 部分降序(O(n log n) 排序后取前 topN;旧版选择排序 O(n·topN),n 大时慢)
sorted := make([]string, len(out))
copy(sorted, all)
sort.SliceStable(sorted, func(i, j int) bool {
if out[sorted[i]] != out[sorted[j]] {
return out[sorted[i]] > out[sorted[j]]
}
ks[i], ks[best] = ks[best], ks[i]
}
return sorted[i] < sorted[j]
})
top := make(map[string]float64, topN)
for i := 0; i < topN; i++ {
top[ks[i].k] = ks[i].v
top[sorted[i]] = out[sorted[i]]
}
return top
}
@@ -308,15 +328,17 @@ func FtsRecord(id string) (models.MemoryRecord, bool) {
}
// FtsQuery 词面查询取证(AC1 判据命令):返回 query 的词面 topN 命中
// (id + 分 + 内容摘录 + 是否含该 query 的 ASCII 词),观测端点用,不走 recall。
func FtsQuery(query string, topN int) map[string]interface{} {
// (id + 分 + 内容摘录),观测端点用,不走 recall。
// checkDocID 非空时附带该 id 的异源复证:是否在索引 / 词面分 / 内容是否含该 query
// 的 ascii 词(任务红线:判断「某记忆能否被取回」要 LanceDB 直查,不能只看 API)。
func FtsQuery(query string, topN int, checkDocID string) map[string]interface{} {
scores := ftsInstance.FtsSearch(query, topN)
type hit struct {
ID string `json:"id"`
Score float64 `json:"score"`
Content string `json:"content"`
Category string `json:"category"`
Namespace string `json:"namespace"`
ID string `json:"id"`
Score float64 `json:"score"`
Content string `json:"content"`
Category string `json:"category"`
Namespace string `json:"namespace"`
}
ascii, _ := tokenizeQueryV2(query)
hits := make([]hit, 0, len(scores))
@@ -332,6 +354,37 @@ func FtsQuery(query string, topN int) map[string]interface{} {
}
hits = append(hits, hit{ID: rec.ID, Score: s, Content: content, Category: rec.Category, Namespace: rec.Namespace})
}
// 异源复证:指定 id 的索引内状态(不依赖 API 返回)
var check map[string]interface{}
if checkDocID != "" {
if rec, ok := ftsInstance.records[checkDocID]; ok {
tf := ftsInstance.docTokens[checkDocID]
contentLower := strings.ToLower(rec.Content)
check = map[string]interface{}{
"in_index": true,
"fts_score": scores[checkDocID],
"n_tokens": len(tf),
"category": rec.Category,
"content_has_ascii_term": func() bool {
for _, a := range ascii {
if strings.Contains(contentLower, a) {
return true
}
}
return false
}(),
"content_excerpt": func() string {
c := rec.Content
if len(c) > 200 {
return c[:200] + "…"
}
return c
}(),
}
} else {
check = map[string]interface{}{"in_index": false}
}
}
ftsInstance.mu.RUnlock()
sort.Slice(hits, func(i, j int) bool {
if hits[i].Score != hits[j].Score {
@@ -343,7 +396,7 @@ func FtsQuery(query string, topN int) map[string]interface{} {
nDocs := ftsInstance.nDocs
nTokens := len(ftsInstance.postings)
ftsInstance.mu.RUnlock()
return map[string]interface{}{
res := map[string]interface{}{
"query": query,
"ascii_terms": ascii,
"n_hits": len(hits),
@@ -351,6 +404,10 @@ func FtsQuery(query string, topN int) map[string]interface{} {
"index_docs": nDocs,
"index_tokens": nTokens,
}
if checkDocID != "" {
res["check_doc"] = check
}
return res
}
// FtsInvalidate 写路径钩子:commit 落库后调(在 server 的 SearchCache Invalidate 同处),