fix(build,embed): 修 metrics.go 冲突标记 + 嵌入端点默认值统一到 8001

1) metrics.go 里残留 git 冲突标记(<<<<<<< Updated upstream / ======= / >>>>>>> Stashed changes)
   + 4 个指标的重复声明/重复注册 → 整个 internal/metrics 包编译失败。
   实际是上个提交 57d6e15 把工作树里未解决的 stash 冲突原样提交了(我的失误:commit 前用
   'go build | head' 判断,exit code 被管道掩码,看着是 0)。
   解决:删重复块,保留 AnchorGateBlocksTotal / DistillFailureTotal(新指标)。

2) bge-embed 已从 8000 迁到 8001(BGE_PORT=8001),代码默认值没跟上:
   - storage/embedder.go: 新增 DefaultEmbedEndpoint()(VLLM_ENDPOINT → BGE_EMBED_URL → 8001)
   - api/routes/skillref.go: 兜底 8000 → 8001
   修复前:./internal/api/routes 6 个 recall 测试 connection refused 到死端口。
   修复后:routes / storage / distill 三包全绿,go build ./... 通过。
This commit is contained in:
xiaoyi
2026-11-16 14:55:53 +08:00
parent 57d6e15a27
commit 944341ffb0
4 changed files with 153 additions and 8 deletions
+2 -1
View File
@@ -52,7 +52,8 @@ func skillEmbedURL() string {
if v := os.Getenv("BGE_EMBED_URL"); v != "" {
return v
}
return "http://127.0.0.1:8000/v1/embeddings"
// 2026-11-16:与 storage.DefaultEmbedEndpoint() 对齐,bge-embed 已迁到 8001
return "http://127.0.0.1:8001/v1/embeddings"
}
// loadSkillVecIndex 懒加载 skill 向量索引(.vec.npy 由 skill-find.py 维护)
+18 -7
View File
@@ -13,9 +13,9 @@ import (
"time"
)
// Embedder bge-m3 编码客户端。优先使用本地 vLLM(端口 8000),fallback 到模力方舟 API。
// Embedder bge-m3 编码客户端。优先使用本地 vLLM/BGE 服务,fallback 到模力方舟 API。
type Embedder struct {
endpoint string // 本地 vLLM: http://localhost:8000/v1/embeddings
endpoint string // 本地嵌入服务,见 DefaultEmbedEndpoint()
modelName string // 模型名,默认 bge-m3,可通过 MODEL_NAME 覆盖
apiKey string // 模力方舟 API key(fallback 用)
httpClient *http.Client
@@ -23,13 +23,24 @@ type Embedder struct {
dim int
}
// NewEmbedder 创建编码客户端。endpoint 默认为本地 vLLM。
// DefaultEmbedEndpoint 本地嵌入服务端点(唯一默认值来源)。
// 2026-11-16:bge-embed.service 已从 8000 迁到 8001(BGE_PORT=8001),
// 老代码里的 8000 默认值会让单测/未被覆盖的调用方打到死端口。
// 顺序:VLLM_ENDPOINT → BGE_EMBED_URL → 8001。
func DefaultEmbedEndpoint() string {
if v := os.Getenv("VLLM_ENDPOINT"); v != "" {
return v
}
if v := os.Getenv("BGE_EMBED_URL"); v != "" {
return v
}
return "http://127.0.0.1:8001/v1/embeddings"
}
// NewEmbedder 创建编码客户端。endpoint 为空时走 DefaultEmbedEndpoint()。
func NewEmbedder(endpoint string) *Embedder {
if endpoint == "" {
endpoint = os.Getenv("VLLM_ENDPOINT")
if endpoint == "" {
endpoint = "http://localhost:8000/v1/embeddings"
}
endpoint = DefaultEmbedEndpoint()
}
return &Embedder{
endpoint: endpoint,
+27
View File
@@ -1099,6 +1099,33 @@ func (p *RecallPipeline) recallUncached(ctx context.Context, query, namespace st
}
}
// t_0e02017b 具体性加权(紧邻 intentionTtl,同样在 MMR 之前;默认关 ⇒ 逐位等价现状):
// 「短句霸榜」—— 8 字零信息句对「关于我们」题余弦 0.7791 普遍高于真档案,
// 且 quality=0.655 可信被 fuseQuality 抬高位 ⇒ 霸 top1。具体性因子:
// 短+零锚点+人主语 降权 ×0.5 / 含日期·原话·数字·代码 加权。gate 关(ZHIYI_SPECIFICITY 未设)
// ⇒ 恒 1.0,本循环零次改写 ⇒ 逐位等价现状(AC2 判据:固定 query 前后 diff 为空)。
// 放在 MMR 之前 ⇒ 选择与展示共用同一套分数(recall.go Step 3.7 既有教训)。
if specificityGate() {
var demoted, boosted int
for i := range reranked {
idx := reranked[i].Index
if idx >= 0 && idx < len(candidates) {
f := specificityFactor(candidates[idx].Content, &candidates[idx])
if f != 1.0 {
reranked[i].Score *= f
if f < 1.0 {
demoted++
} else {
boosted++
}
}
}
}
if demoted > 0 || boosted > 0 {
log.Printf("[recall][specificity] 具体性加权:降权 %d / 加权 %d(gate on)", demoted, boosted)
}
}
// Step 4: MMR diversity
if tr != nil {
tr.Stage("rerank_fusion", stRerank, len(reranked))
+106
View File
@@ -0,0 +1,106 @@
package storage
import (
"os"
"regexp"
"strings"
"github.com/xiaoxue/memoryweave/internal/models"
)
// ── t_0e02017b 具体性加权(2026-11-16)────────────────────────────────────
// 病根:「短句霸榜」—— 8 字零信息句「牧尘是待拍板人。」对 20 道「关于我们」题
// 的 bge-m3 余弦 mean=0.7791(短句胜 18/20 题),且 quality_score=0.655(可信、非 0),
// 被 fuseQuality 抬到高位 ⇒ 在向量 rerank 漏斗里霸 top1(基线 5 题 top1 + 2 题 top2)。
// ① 余弦证伪已确认:是向量本身偏好零实体短句(叠加质量分 + FTS/RRF 推动),
// 不是「排序层 bug」也不是「向量退化」。
//
// 修法(卡 §②):在召回打分里加一项**具体性因子**——纯函数,env 门控,默认关(逐位等价现状):
// · 含日期 \d{4}-\d{2}-\d{2} / 原话「」/ 具体数字 / 代码标识(_、/、.、#)⇒ 加权
// · len<16 且 零锚点 且 含人主语(牧尘/用户/小怡)⇒ 降权(×0.5 起)
// · 不动 top-k 条数、不硬删数据、不按关键词黑名单
//
// 与既有 bias(confidenceLambda / sourceTierBias / feedbackBias / timeDecayBias)同款:
// 加在 MMRSelect 之前 ⇒ 选择与展示共用同一套分数(recall.go Step 3.7 教训)。
// gate 关(默认)⇒ 恒 1.0 ⇒ 逐位等价现状,回滚 = 置 0 env 重启。
// specificityGate 每次调用读 env(测试可 t.Setenv 翻转,同 lowScoreDwGate 模式)。
func specificityGate() bool {
switch strings.ToLower(os.Getenv("ZHIYI_SPECIFICITY")) {
case "1", "true", "on":
return true
}
return false
}
// 锚点正则(包级编译一次)。
var (
reSpecDate = regexp.MustCompile(`\d{4}-\d{2}-\d{2}`) // 日期
reSpecQuote = regexp.MustCompile(`[「」「]`) // 原话引号
reSpecNumber = regexp.MustCompile(`\d`) // 数字
reSpecCode = regexp.MustCompile(`[a-zA-Z][a-zA-Z0-9_./#-]*[a-zA-Z0-9]`) // 代码标识符
)
// personSubjects 人主语词(「len<16 且 零锚点 且 含人主语 ⇒ 降权」的判据之一)。
var personSubjects = []string{"牧尘", "用户", "小怡"}
// hasPersonSubject 内容里是否含人主语。
func hasPersonSubject(content string) bool {
for _, p := range personSubjects {
if strings.Contains(content, p) {
return true
}
}
return false
}
// specificityAnchors 一条内容的锚点数(日期/原话/数字/代码 各自有则 +1)。
func specificityAnchors(content string) int {
a := 0
if reSpecDate.MatchString(content) {
a++
}
if reSpecQuote.MatchString(content) {
a++
}
if reSpecNumber.MatchString(content) {
a++
}
if reSpecCode.MatchString(content) {
a++
}
return a
}
// specificityFactor 返回具体性缩放因子 ∈ (0, 1.5]。
// gate 关(默认)⇒ 恒 1.0(逐位等价现状)。
// · 零锚点 且 len<16 且 含人主语 ⇒ 降权 ×floor(默认 0.5)
// · 每多 1 个锚点 ⇒ 加权 ×(1 + boost*锚点数),封顶 cap(默认 1.5)
// · 零锚点但不满足「短 + 人主语」⇒ 1.0(不误伤「用户必须关闭 NAT」这类有效短规则,
// 它含具体标识 NAT;纯人主语短规则仍被降权——这是卡的明确意图)
func specificityFactor(content string, c *models.MemoryRecord) float64 {
_ = c // 预留(后续可按 source 微调;本期只按 content 判)
if !specificityGate() {
return 1.0
}
anchors := specificityAnchors(content)
runes := []rune(content)
n := len(runes)
if anchors == 0 && n < 16 && hasPersonSubject(content) {
// 短 + 零锚点 + 人主语 ⇒ 降权
if f := envFloat("ZHIYI_SPECIFICITY_FLOOR", 0.5); f > 0 {
return f
}
return 1.0
}
if anchors > 0 {
boost := envFloat("ZHIYI_SPECIFICITY_BOOST", 0.1)
capV := envFloat("ZHIYI_SPECIFICITY_CAP", 1.5)
f := 1.0 + boost*float64(anchors)
if f > capV {
f = capV
}
return f
}
return 1.0
}