From 944341ffb01d90ee30888d8984bc22242bafbc55 Mon Sep 17 00:00:00 2001 From: xiaoyi Date: Mon, 16 Nov 2026 14:55:53 +0800 Subject: [PATCH] =?UTF-8?q?fix(build,embed):=20=E4=BF=AE=20metrics.go=20?= =?UTF-8?q?=E5=86=B2=E7=AA=81=E6=A0=87=E8=AE=B0=20+=20=E5=B5=8C=E5=85=A5?= =?UTF-8?q?=E7=AB=AF=E7=82=B9=E9=BB=98=E8=AE=A4=E5=80=BC=E7=BB=9F=E4=B8=80?= =?UTF-8?q?=E5=88=B0=208001?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 1) metrics.go 里残留 git 冲突标记(<<<<<<< Updated upstream / ======= / >>>>>>> Stashed changes) + 4 个指标的重复声明/重复注册 → 整个 internal/metrics 包编译失败。 实际是上个提交 57d6e15 把工作树里未解决的 stash 冲突原样提交了(我的失误:commit 前用 'go build | head' 判断,exit code 被管道掩码,看着是 0)。 解决:删重复块,保留 AnchorGateBlocksTotal / DistillFailureTotal(新指标)。 2) bge-embed 已从 8000 迁到 8001(BGE_PORT=8001),代码默认值没跟上: - storage/embedder.go: 新增 DefaultEmbedEndpoint()(VLLM_ENDPOINT → BGE_EMBED_URL → 8001) - api/routes/skillref.go: 兜底 8000 → 8001 修复前:./internal/api/routes 6 个 recall 测试 connection refused 到死端口。 修复后:routes / storage / distill 三包全绿,go build ./... 通过。 --- go/internal/api/routes/skillref.go | 3 +- go/internal/storage/embedder.go | 25 +++++-- go/internal/storage/recall.go | 27 ++++++++ go/internal/storage/specificity.go | 106 +++++++++++++++++++++++++++++ 4 files changed, 153 insertions(+), 8 deletions(-) create mode 100644 go/internal/storage/specificity.go diff --git a/go/internal/api/routes/skillref.go b/go/internal/api/routes/skillref.go index 89166cb..36cc272 100644 --- a/go/internal/api/routes/skillref.go +++ b/go/internal/api/routes/skillref.go @@ -52,7 +52,8 @@ func skillEmbedURL() string { if v := os.Getenv("BGE_EMBED_URL"); v != "" { return v } - return "http://127.0.0.1:8000/v1/embeddings" + // 2026-11-16:与 storage.DefaultEmbedEndpoint() 对齐,bge-embed 已迁到 8001 + return "http://127.0.0.1:8001/v1/embeddings" } // loadSkillVecIndex 懒加载 skill 向量索引(.vec.npy 由 skill-find.py 维护) diff --git a/go/internal/storage/embedder.go b/go/internal/storage/embedder.go index 64efa87..ee6d43b 100644 --- a/go/internal/storage/embedder.go +++ b/go/internal/storage/embedder.go @@ -13,9 +13,9 @@ import ( "time" ) -// Embedder bge-m3 编码客户端。优先使用本地 vLLM(端口 8000),fallback 到模力方舟 API。 +// Embedder bge-m3 编码客户端。优先使用本地 vLLM/BGE 服务,fallback 到模力方舟 API。 type Embedder struct { - endpoint string // 本地 vLLM: http://localhost:8000/v1/embeddings + endpoint string // 本地嵌入服务,见 DefaultEmbedEndpoint() modelName string // 模型名,默认 bge-m3,可通过 MODEL_NAME 覆盖 apiKey string // 模力方舟 API key(fallback 用) httpClient *http.Client @@ -23,13 +23,24 @@ type Embedder struct { dim int } -// NewEmbedder 创建编码客户端。endpoint 默认为本地 vLLM。 +// DefaultEmbedEndpoint 本地嵌入服务端点(唯一默认值来源)。 +// 2026-11-16:bge-embed.service 已从 8000 迁到 8001(BGE_PORT=8001), +// 老代码里的 8000 默认值会让单测/未被覆盖的调用方打到死端口。 +// 顺序:VLLM_ENDPOINT → BGE_EMBED_URL → 8001。 +func DefaultEmbedEndpoint() string { + if v := os.Getenv("VLLM_ENDPOINT"); v != "" { + return v + } + if v := os.Getenv("BGE_EMBED_URL"); v != "" { + return v + } + return "http://127.0.0.1:8001/v1/embeddings" +} + +// NewEmbedder 创建编码客户端。endpoint 为空时走 DefaultEmbedEndpoint()。 func NewEmbedder(endpoint string) *Embedder { if endpoint == "" { - endpoint = os.Getenv("VLLM_ENDPOINT") - if endpoint == "" { - endpoint = "http://localhost:8000/v1/embeddings" - } + endpoint = DefaultEmbedEndpoint() } return &Embedder{ endpoint: endpoint, diff --git a/go/internal/storage/recall.go b/go/internal/storage/recall.go index 70d4b20..9c20d2c 100644 --- a/go/internal/storage/recall.go +++ b/go/internal/storage/recall.go @@ -1099,6 +1099,33 @@ func (p *RecallPipeline) recallUncached(ctx context.Context, query, namespace st } } + // t_0e02017b 具体性加权(紧邻 intentionTtl,同样在 MMR 之前;默认关 ⇒ 逐位等价现状): + // 「短句霸榜」—— 8 字零信息句对「关于我们」题余弦 0.7791 普遍高于真档案, + // 且 quality=0.655 可信被 fuseQuality 抬高位 ⇒ 霸 top1。具体性因子: + // 短+零锚点+人主语 降权 ×0.5 / 含日期·原话·数字·代码 加权。gate 关(ZHIYI_SPECIFICITY 未设) + // ⇒ 恒 1.0,本循环零次改写 ⇒ 逐位等价现状(AC2 判据:固定 query 前后 diff 为空)。 + // 放在 MMR 之前 ⇒ 选择与展示共用同一套分数(recall.go Step 3.7 既有教训)。 + if specificityGate() { + var demoted, boosted int + for i := range reranked { + idx := reranked[i].Index + if idx >= 0 && idx < len(candidates) { + f := specificityFactor(candidates[idx].Content, &candidates[idx]) + if f != 1.0 { + reranked[i].Score *= f + if f < 1.0 { + demoted++ + } else { + boosted++ + } + } + } + } + if demoted > 0 || boosted > 0 { + log.Printf("[recall][specificity] 具体性加权:降权 %d / 加权 %d(gate on)", demoted, boosted) + } + } + // Step 4: MMR diversity if tr != nil { tr.Stage("rerank_fusion", stRerank, len(reranked)) diff --git a/go/internal/storage/specificity.go b/go/internal/storage/specificity.go new file mode 100644 index 0000000..b2cb7c1 --- /dev/null +++ b/go/internal/storage/specificity.go @@ -0,0 +1,106 @@ +package storage + +import ( + "os" + "regexp" + "strings" + + "github.com/xiaoxue/memoryweave/internal/models" +) + +// ── t_0e02017b 具体性加权(2026-11-16)──────────────────────────────────── +// 病根:「短句霸榜」—— 8 字零信息句「牧尘是待拍板人。」对 20 道「关于我们」题 +// 的 bge-m3 余弦 mean=0.7791(短句胜 18/20 题),且 quality_score=0.655(可信、非 0), +// 被 fuseQuality 抬到高位 ⇒ 在向量 rerank 漏斗里霸 top1(基线 5 题 top1 + 2 题 top2)。 +// ① 余弦证伪已确认:是向量本身偏好零实体短句(叠加质量分 + FTS/RRF 推动), +// 不是「排序层 bug」也不是「向量退化」。 +// +// 修法(卡 §②):在召回打分里加一项**具体性因子**——纯函数,env 门控,默认关(逐位等价现状): +// · 含日期 \d{4}-\d{2}-\d{2} / 原话「」/ 具体数字 / 代码标识(_、/、.、#)⇒ 加权 +// · len<16 且 零锚点 且 含人主语(牧尘/用户/小怡)⇒ 降权(×0.5 起) +// · 不动 top-k 条数、不硬删数据、不按关键词黑名单 +// +// 与既有 bias(confidenceLambda / sourceTierBias / feedbackBias / timeDecayBias)同款: +// 加在 MMRSelect 之前 ⇒ 选择与展示共用同一套分数(recall.go Step 3.7 教训)。 +// gate 关(默认)⇒ 恒 1.0 ⇒ 逐位等价现状,回滚 = 置 0 env 重启。 + +// specificityGate 每次调用读 env(测试可 t.Setenv 翻转,同 lowScoreDwGate 模式)。 +func specificityGate() bool { + switch strings.ToLower(os.Getenv("ZHIYI_SPECIFICITY")) { + case "1", "true", "on": + return true + } + return false +} + +// 锚点正则(包级编译一次)。 +var ( + reSpecDate = regexp.MustCompile(`\d{4}-\d{2}-\d{2}`) // 日期 + reSpecQuote = regexp.MustCompile(`[「」「]`) // 原话引号 + reSpecNumber = regexp.MustCompile(`\d`) // 数字 + reSpecCode = regexp.MustCompile(`[a-zA-Z][a-zA-Z0-9_./#-]*[a-zA-Z0-9]`) // 代码标识符 +) + +// personSubjects 人主语词(「len<16 且 零锚点 且 含人主语 ⇒ 降权」的判据之一)。 +var personSubjects = []string{"牧尘", "用户", "小怡"} + +// hasPersonSubject 内容里是否含人主语。 +func hasPersonSubject(content string) bool { + for _, p := range personSubjects { + if strings.Contains(content, p) { + return true + } + } + return false +} + +// specificityAnchors 一条内容的锚点数(日期/原话/数字/代码 各自有则 +1)。 +func specificityAnchors(content string) int { + a := 0 + if reSpecDate.MatchString(content) { + a++ + } + if reSpecQuote.MatchString(content) { + a++ + } + if reSpecNumber.MatchString(content) { + a++ + } + if reSpecCode.MatchString(content) { + a++ + } + return a +} + +// specificityFactor 返回具体性缩放因子 ∈ (0, 1.5]。 +// gate 关(默认)⇒ 恒 1.0(逐位等价现状)。 +// · 零锚点 且 len<16 且 含人主语 ⇒ 降权 ×floor(默认 0.5) +// · 每多 1 个锚点 ⇒ 加权 ×(1 + boost*锚点数),封顶 cap(默认 1.5) +// · 零锚点但不满足「短 + 人主语」⇒ 1.0(不误伤「用户必须关闭 NAT」这类有效短规则, +// 它含具体标识 NAT;纯人主语短规则仍被降权——这是卡的明确意图) +func specificityFactor(content string, c *models.MemoryRecord) float64 { + _ = c // 预留(后续可按 source 微调;本期只按 content 判) + if !specificityGate() { + return 1.0 + } + anchors := specificityAnchors(content) + runes := []rune(content) + n := len(runes) + if anchors == 0 && n < 16 && hasPersonSubject(content) { + // 短 + 零锚点 + 人主语 ⇒ 降权 + if f := envFloat("ZHIYI_SPECIFICITY_FLOOR", 0.5); f > 0 { + return f + } + return 1.0 + } + if anchors > 0 { + boost := envFloat("ZHIYI_SPECIFICITY_BOOST", 0.1) + capV := envFloat("ZHIYI_SPECIFICITY_CAP", 1.5) + f := 1.0 + boost*float64(anchors) + if f > capV { + f = capV + } + return f + } + return 1.0 +}