fix(fts): t_2afae95e 打分改稀有词主导(0.55*稀有分量+0.45*总量分量)
实测缺陷:纯总量 TF-IDF 分被高频 CJK bigram 稀释——MMR 查询下, 无 MMR 的高分 bigram 文档(0.252)压过含 MMR 的文档(0.147,排 #13), 尾部 1 位保证位选了错文档 ⇒ 关键词校验仍挂(13/14)。 改为 0.55*(命中词中 IDF 最大者的分/maxIDF) + 0.45*(总量分/全词IDF和×2): 只命中稀有 MMR 的文档稀有分量≈1.0,无 MMR 文档=0 ⇒ 稀有词重新主导。 顺带:FtsQuery 扩 check_doc 异源复证 + topN 排序改 O(n log n)。
This commit is contained in:
@@ -501,8 +501,9 @@ func NewServer() http.Handler {
|
||||
// 返回该 query 的词面 topN 命中(id + 分 + 内容摘录),不走路过 recall 缓存。
|
||||
mux.HandleFunc("/api/v1/fts/query", func(w http.ResponseWriter, r *http.Request) {
|
||||
var req struct {
|
||||
Query string `json:"query"`
|
||||
TopN int `json:"top_n"`
|
||||
Query string `json:"query"`
|
||||
TopN int `json:"top_n"`
|
||||
CheckDocID string `json:"check_doc_id"`
|
||||
}
|
||||
if err := json.NewDecoder(r.Body).Decode(&req); err != nil {
|
||||
http.Error(w, "invalid body", http.StatusBadRequest)
|
||||
@@ -511,7 +512,7 @@ func NewServer() http.Handler {
|
||||
if req.TopN <= 0 {
|
||||
req.TopN = 10
|
||||
}
|
||||
respondJSON(w, 200, storage.FtsQuery(req.Query, req.TopN))
|
||||
respondJSON(w, 200, storage.FtsQuery(req.Query, req.TopN, req.CheckDocID))
|
||||
})
|
||||
// ─── Prometheus /metrics ─────────────────────
|
||||
mux.Handle("/metrics", metrics.Handler())
|
||||
|
||||
@@ -229,7 +229,17 @@ func (idx *ftsIndex) ensureFresh() {
|
||||
}
|
||||
|
||||
// FtsSearch 词面检索通道:query → doc id → 归一化 TF-IDF 分(0..1)。
|
||||
// 分母 = 查询词命中库的 IDF 之和(库没有的词不计分母,避免无谓稀释)。
|
||||
//
|
||||
// 2026-10-14 (t_2afae95e 修):分 = 0.55*稀有分量 + 0.45*总量分量(钳 1.0)。
|
||||
// 旧版纯总量分(命中词 IDF 加权和 / 全词 IDF 和 ×1.5)有个实测缺陷:
|
||||
// CJK bigram 里大量高频双字词(如「提取」「去重」df 上千)把总量分稀释到
|
||||
// 0.1~0.2,而**只命中稀有 ASCII 词 MMR** 的文档(无 bigram 命中)总量分
|
||||
// 更低 ⇒ 尾部保证位选错文档(实测 MMR 文档总量分 0.147 排 #13,尾部 1 位
|
||||
// 给了 0.252 的无 MMR 文档,关键词校验仍挂)。改成分量混合后:
|
||||
// - 稀有分量 = 命中词中 IDF 最大者的分 / maxIDF(全查询词中,库外词不计)
|
||||
// ⇒ 只命中 MMR 的文档稀有分 ≈1.0,无 MMR 文档 0 ⇒ 稀有词重新主导排序。
|
||||
// - 总量分量保留(两词全命中文档仍略优,同稀有命中内做细排)。
|
||||
// 口径不变:ASCII 词 + CJK bigram(tokenizeQueryV2 同款),IDF=log2(N/df+1)。
|
||||
func (idx *ftsIndex) FtsSearch(query string, topN int) map[string]float64 {
|
||||
idx.ensureFresh()
|
||||
ascii, bigrams := tokenizeQueryV2(query)
|
||||
@@ -241,60 +251,70 @@ func (idx *ftsIndex) FtsSearch(query string, topN int) map[string]float64 {
|
||||
if idx.nDocs == 0 {
|
||||
return nil
|
||||
}
|
||||
scores := map[string]float64{}
|
||||
total := 0.0
|
||||
addTerm := func(tok string) {
|
||||
idf, ok := idx.idf[tok]
|
||||
type term struct {
|
||||
tok string
|
||||
idf float64
|
||||
}
|
||||
terms := make([]term, 0, len(ascii)+len(bigrams))
|
||||
maxIDF := 0.0
|
||||
sumIDF := 0.0
|
||||
for _, a := range append(ascii, bigrams...) {
|
||||
idf, ok := idx.idf[a]
|
||||
if !ok {
|
||||
return
|
||||
continue // 库外词不计(既不进分母也不进分量,避免无谓稀释)
|
||||
}
|
||||
total += idf
|
||||
for _, docID := range idx.postings[tok] {
|
||||
tfv := float64(idx.docTokens[docID][tok])
|
||||
scores[docID] += idf * (1 + math.Log(tfv+1))
|
||||
terms = append(terms, term{a, idf})
|
||||
if idf > maxIDF {
|
||||
maxIDF = idf
|
||||
}
|
||||
sumIDF += idf
|
||||
}
|
||||
for _, a := range ascii {
|
||||
addTerm(a)
|
||||
}
|
||||
for _, b := range bigrams {
|
||||
addTerm(b)
|
||||
}
|
||||
if total == 0 {
|
||||
if len(terms) == 0 {
|
||||
return nil // 查询词全不在库 ⇒ 零结果(调用方保持原行为)
|
||||
}
|
||||
// 全词命中且 tf=1 上界 = total*2.0;取 1.5 系数让满分文档略超 1 后钳制
|
||||
out := make(map[string]float64, len(scores))
|
||||
for id, s := range scores {
|
||||
v := s / (total * 1.5)
|
||||
rareW, totalW := 0.55, 0.45 // 稀有词主导(本通道就是为了稀有词存在)
|
||||
rare := map[string]float64{}
|
||||
tot := map[string]float64{}
|
||||
add := func(docID string, tok string, idf float64) {
|
||||
tf := float64(idx.docTokens[docID][tok])
|
||||
weighted := idf * (1 + math.Log(tf+1))
|
||||
tot[docID] += weighted
|
||||
if weighted > rare[docID] {
|
||||
rare[docID] = weighted
|
||||
}
|
||||
}
|
||||
for _, trm := range terms {
|
||||
for _, docID := range idx.postings[trm.tok] {
|
||||
add(docID, trm.tok, trm.idf)
|
||||
}
|
||||
}
|
||||
all := make([]string, 0, len(rare))
|
||||
for id := range rare {
|
||||
all = append(all, id)
|
||||
}
|
||||
out := make(map[string]float64, len(all))
|
||||
for _, docID := range all {
|
||||
v := rareW*(rare[docID]/maxIDF) + totalW*(tot[docID]/(sumIDF*2.0))
|
||||
if v > 1.0 {
|
||||
v = 1.0
|
||||
}
|
||||
out[id] = v
|
||||
out[docID] = v
|
||||
}
|
||||
if topN <= 0 || len(out) <= topN {
|
||||
return out
|
||||
}
|
||||
type kv struct {
|
||||
k string
|
||||
v float64
|
||||
}
|
||||
ks := make([]kv, 0, len(out))
|
||||
for k, v := range out {
|
||||
ks = append(ks, kv{k, v})
|
||||
}
|
||||
for i := 0; i < topN; i++ {
|
||||
best := i
|
||||
for j := i + 1; j < len(ks); j++ {
|
||||
if ks[j].v > ks[best].v {
|
||||
best = j
|
||||
}
|
||||
// 部分降序(O(n log n) 排序后取前 topN;旧版选择排序 O(n·topN),n 大时慢)
|
||||
sorted := make([]string, len(out))
|
||||
copy(sorted, all)
|
||||
sort.SliceStable(sorted, func(i, j int) bool {
|
||||
if out[sorted[i]] != out[sorted[j]] {
|
||||
return out[sorted[i]] > out[sorted[j]]
|
||||
}
|
||||
ks[i], ks[best] = ks[best], ks[i]
|
||||
}
|
||||
return sorted[i] < sorted[j]
|
||||
})
|
||||
top := make(map[string]float64, topN)
|
||||
for i := 0; i < topN; i++ {
|
||||
top[ks[i].k] = ks[i].v
|
||||
top[sorted[i]] = out[sorted[i]]
|
||||
}
|
||||
return top
|
||||
}
|
||||
@@ -308,15 +328,17 @@ func FtsRecord(id string) (models.MemoryRecord, bool) {
|
||||
}
|
||||
|
||||
// FtsQuery 词面查询取证(AC1 判据命令):返回 query 的词面 topN 命中
|
||||
// (id + 分 + 内容摘录 + 是否含该 query 的 ASCII 词),观测端点用,不走 recall。
|
||||
func FtsQuery(query string, topN int) map[string]interface{} {
|
||||
// (id + 分 + 内容摘录),观测端点用,不走 recall。
|
||||
// checkDocID 非空时附带该 id 的异源复证:是否在索引 / 词面分 / 内容是否含该 query
|
||||
// 的 ascii 词(任务红线:判断「某记忆能否被取回」要 LanceDB 直查,不能只看 API)。
|
||||
func FtsQuery(query string, topN int, checkDocID string) map[string]interface{} {
|
||||
scores := ftsInstance.FtsSearch(query, topN)
|
||||
type hit struct {
|
||||
ID string `json:"id"`
|
||||
Score float64 `json:"score"`
|
||||
Content string `json:"content"`
|
||||
Category string `json:"category"`
|
||||
Namespace string `json:"namespace"`
|
||||
ID string `json:"id"`
|
||||
Score float64 `json:"score"`
|
||||
Content string `json:"content"`
|
||||
Category string `json:"category"`
|
||||
Namespace string `json:"namespace"`
|
||||
}
|
||||
ascii, _ := tokenizeQueryV2(query)
|
||||
hits := make([]hit, 0, len(scores))
|
||||
@@ -332,6 +354,37 @@ func FtsQuery(query string, topN int) map[string]interface{} {
|
||||
}
|
||||
hits = append(hits, hit{ID: rec.ID, Score: s, Content: content, Category: rec.Category, Namespace: rec.Namespace})
|
||||
}
|
||||
// 异源复证:指定 id 的索引内状态(不依赖 API 返回)
|
||||
var check map[string]interface{}
|
||||
if checkDocID != "" {
|
||||
if rec, ok := ftsInstance.records[checkDocID]; ok {
|
||||
tf := ftsInstance.docTokens[checkDocID]
|
||||
contentLower := strings.ToLower(rec.Content)
|
||||
check = map[string]interface{}{
|
||||
"in_index": true,
|
||||
"fts_score": scores[checkDocID],
|
||||
"n_tokens": len(tf),
|
||||
"category": rec.Category,
|
||||
"content_has_ascii_term": func() bool {
|
||||
for _, a := range ascii {
|
||||
if strings.Contains(contentLower, a) {
|
||||
return true
|
||||
}
|
||||
}
|
||||
return false
|
||||
}(),
|
||||
"content_excerpt": func() string {
|
||||
c := rec.Content
|
||||
if len(c) > 200 {
|
||||
return c[:200] + "…"
|
||||
}
|
||||
return c
|
||||
}(),
|
||||
}
|
||||
} else {
|
||||
check = map[string]interface{}{"in_index": false}
|
||||
}
|
||||
}
|
||||
ftsInstance.mu.RUnlock()
|
||||
sort.Slice(hits, func(i, j int) bool {
|
||||
if hits[i].Score != hits[j].Score {
|
||||
@@ -343,7 +396,7 @@ func FtsQuery(query string, topN int) map[string]interface{} {
|
||||
nDocs := ftsInstance.nDocs
|
||||
nTokens := len(ftsInstance.postings)
|
||||
ftsInstance.mu.RUnlock()
|
||||
return map[string]interface{}{
|
||||
res := map[string]interface{}{
|
||||
"query": query,
|
||||
"ascii_terms": ascii,
|
||||
"n_hits": len(hits),
|
||||
@@ -351,6 +404,10 @@ func FtsQuery(query string, topN int) map[string]interface{} {
|
||||
"index_docs": nDocs,
|
||||
"index_tokens": nTokens,
|
||||
}
|
||||
if checkDocID != "" {
|
||||
res["check_doc"] = check
|
||||
}
|
||||
return res
|
||||
}
|
||||
|
||||
// FtsInvalidate 写路径钩子:commit 落库后调(在 server 的 SearchCache Invalidate 同处),
|
||||
|
||||
Reference in New Issue
Block a user