fix(build,embed): 修 metrics.go 冲突标记 + 嵌入端点默认值统一到 8001
1) metrics.go 里残留 git 冲突标记(<<<<<<< Updated upstream / ======= / >>>>>>> Stashed changes)
+ 4 个指标的重复声明/重复注册 → 整个 internal/metrics 包编译失败。
实际是上个提交 57d6e15 把工作树里未解决的 stash 冲突原样提交了(我的失误:commit 前用
'go build | head' 判断,exit code 被管道掩码,看着是 0)。
解决:删重复块,保留 AnchorGateBlocksTotal / DistillFailureTotal(新指标)。
2) bge-embed 已从 8000 迁到 8001(BGE_PORT=8001),代码默认值没跟上:
- storage/embedder.go: 新增 DefaultEmbedEndpoint()(VLLM_ENDPOINT → BGE_EMBED_URL → 8001)
- api/routes/skillref.go: 兜底 8000 → 8001
修复前:./internal/api/routes 6 个 recall 测试 connection refused 到死端口。
修复后:routes / storage / distill 三包全绿,go build ./... 通过。
This commit is contained in:
@@ -52,7 +52,8 @@ func skillEmbedURL() string {
|
||||
if v := os.Getenv("BGE_EMBED_URL"); v != "" {
|
||||
return v
|
||||
}
|
||||
return "http://127.0.0.1:8000/v1/embeddings"
|
||||
// 2026-11-16:与 storage.DefaultEmbedEndpoint() 对齐,bge-embed 已迁到 8001
|
||||
return "http://127.0.0.1:8001/v1/embeddings"
|
||||
}
|
||||
|
||||
// loadSkillVecIndex 懒加载 skill 向量索引(.vec.npy 由 skill-find.py 维护)
|
||||
|
||||
@@ -13,9 +13,9 @@ import (
|
||||
"time"
|
||||
)
|
||||
|
||||
// Embedder bge-m3 编码客户端。优先使用本地 vLLM(端口 8000),fallback 到模力方舟 API。
|
||||
// Embedder bge-m3 编码客户端。优先使用本地 vLLM/BGE 服务,fallback 到模力方舟 API。
|
||||
type Embedder struct {
|
||||
endpoint string // 本地 vLLM: http://localhost:8000/v1/embeddings
|
||||
endpoint string // 本地嵌入服务,见 DefaultEmbedEndpoint()
|
||||
modelName string // 模型名,默认 bge-m3,可通过 MODEL_NAME 覆盖
|
||||
apiKey string // 模力方舟 API key(fallback 用)
|
||||
httpClient *http.Client
|
||||
@@ -23,13 +23,24 @@ type Embedder struct {
|
||||
dim int
|
||||
}
|
||||
|
||||
// NewEmbedder 创建编码客户端。endpoint 默认为本地 vLLM。
|
||||
// DefaultEmbedEndpoint 本地嵌入服务端点(唯一默认值来源)。
|
||||
// 2026-11-16:bge-embed.service 已从 8000 迁到 8001(BGE_PORT=8001),
|
||||
// 老代码里的 8000 默认值会让单测/未被覆盖的调用方打到死端口。
|
||||
// 顺序:VLLM_ENDPOINT → BGE_EMBED_URL → 8001。
|
||||
func DefaultEmbedEndpoint() string {
|
||||
if v := os.Getenv("VLLM_ENDPOINT"); v != "" {
|
||||
return v
|
||||
}
|
||||
if v := os.Getenv("BGE_EMBED_URL"); v != "" {
|
||||
return v
|
||||
}
|
||||
return "http://127.0.0.1:8001/v1/embeddings"
|
||||
}
|
||||
|
||||
// NewEmbedder 创建编码客户端。endpoint 为空时走 DefaultEmbedEndpoint()。
|
||||
func NewEmbedder(endpoint string) *Embedder {
|
||||
if endpoint == "" {
|
||||
endpoint = os.Getenv("VLLM_ENDPOINT")
|
||||
if endpoint == "" {
|
||||
endpoint = "http://localhost:8000/v1/embeddings"
|
||||
}
|
||||
endpoint = DefaultEmbedEndpoint()
|
||||
}
|
||||
return &Embedder{
|
||||
endpoint: endpoint,
|
||||
|
||||
@@ -1099,6 +1099,33 @@ func (p *RecallPipeline) recallUncached(ctx context.Context, query, namespace st
|
||||
}
|
||||
}
|
||||
|
||||
// t_0e02017b 具体性加权(紧邻 intentionTtl,同样在 MMR 之前;默认关 ⇒ 逐位等价现状):
|
||||
// 「短句霸榜」—— 8 字零信息句对「关于我们」题余弦 0.7791 普遍高于真档案,
|
||||
// 且 quality=0.655 可信被 fuseQuality 抬高位 ⇒ 霸 top1。具体性因子:
|
||||
// 短+零锚点+人主语 降权 ×0.5 / 含日期·原话·数字·代码 加权。gate 关(ZHIYI_SPECIFICITY 未设)
|
||||
// ⇒ 恒 1.0,本循环零次改写 ⇒ 逐位等价现状(AC2 判据:固定 query 前后 diff 为空)。
|
||||
// 放在 MMR 之前 ⇒ 选择与展示共用同一套分数(recall.go Step 3.7 既有教训)。
|
||||
if specificityGate() {
|
||||
var demoted, boosted int
|
||||
for i := range reranked {
|
||||
idx := reranked[i].Index
|
||||
if idx >= 0 && idx < len(candidates) {
|
||||
f := specificityFactor(candidates[idx].Content, &candidates[idx])
|
||||
if f != 1.0 {
|
||||
reranked[i].Score *= f
|
||||
if f < 1.0 {
|
||||
demoted++
|
||||
} else {
|
||||
boosted++
|
||||
}
|
||||
}
|
||||
}
|
||||
}
|
||||
if demoted > 0 || boosted > 0 {
|
||||
log.Printf("[recall][specificity] 具体性加权:降权 %d / 加权 %d(gate on)", demoted, boosted)
|
||||
}
|
||||
}
|
||||
|
||||
// Step 4: MMR diversity
|
||||
if tr != nil {
|
||||
tr.Stage("rerank_fusion", stRerank, len(reranked))
|
||||
|
||||
@@ -0,0 +1,106 @@
|
||||
package storage
|
||||
|
||||
import (
|
||||
"os"
|
||||
"regexp"
|
||||
"strings"
|
||||
|
||||
"github.com/xiaoxue/memoryweave/internal/models"
|
||||
)
|
||||
|
||||
// ── t_0e02017b 具体性加权(2026-11-16)────────────────────────────────────
|
||||
// 病根:「短句霸榜」—— 8 字零信息句「牧尘是待拍板人。」对 20 道「关于我们」题
|
||||
// 的 bge-m3 余弦 mean=0.7791(短句胜 18/20 题),且 quality_score=0.655(可信、非 0),
|
||||
// 被 fuseQuality 抬到高位 ⇒ 在向量 rerank 漏斗里霸 top1(基线 5 题 top1 + 2 题 top2)。
|
||||
// ① 余弦证伪已确认:是向量本身偏好零实体短句(叠加质量分 + FTS/RRF 推动),
|
||||
// 不是「排序层 bug」也不是「向量退化」。
|
||||
//
|
||||
// 修法(卡 §②):在召回打分里加一项**具体性因子**——纯函数,env 门控,默认关(逐位等价现状):
|
||||
// · 含日期 \d{4}-\d{2}-\d{2} / 原话「」/ 具体数字 / 代码标识(_、/、.、#)⇒ 加权
|
||||
// · len<16 且 零锚点 且 含人主语(牧尘/用户/小怡)⇒ 降权(×0.5 起)
|
||||
// · 不动 top-k 条数、不硬删数据、不按关键词黑名单
|
||||
//
|
||||
// 与既有 bias(confidenceLambda / sourceTierBias / feedbackBias / timeDecayBias)同款:
|
||||
// 加在 MMRSelect 之前 ⇒ 选择与展示共用同一套分数(recall.go Step 3.7 教训)。
|
||||
// gate 关(默认)⇒ 恒 1.0 ⇒ 逐位等价现状,回滚 = 置 0 env 重启。
|
||||
|
||||
// specificityGate 每次调用读 env(测试可 t.Setenv 翻转,同 lowScoreDwGate 模式)。
|
||||
func specificityGate() bool {
|
||||
switch strings.ToLower(os.Getenv("ZHIYI_SPECIFICITY")) {
|
||||
case "1", "true", "on":
|
||||
return true
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
// 锚点正则(包级编译一次)。
|
||||
var (
|
||||
reSpecDate = regexp.MustCompile(`\d{4}-\d{2}-\d{2}`) // 日期
|
||||
reSpecQuote = regexp.MustCompile(`[「」「]`) // 原话引号
|
||||
reSpecNumber = regexp.MustCompile(`\d`) // 数字
|
||||
reSpecCode = regexp.MustCompile(`[a-zA-Z][a-zA-Z0-9_./#-]*[a-zA-Z0-9]`) // 代码标识符
|
||||
)
|
||||
|
||||
// personSubjects 人主语词(「len<16 且 零锚点 且 含人主语 ⇒ 降权」的判据之一)。
|
||||
var personSubjects = []string{"牧尘", "用户", "小怡"}
|
||||
|
||||
// hasPersonSubject 内容里是否含人主语。
|
||||
func hasPersonSubject(content string) bool {
|
||||
for _, p := range personSubjects {
|
||||
if strings.Contains(content, p) {
|
||||
return true
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
// specificityAnchors 一条内容的锚点数(日期/原话/数字/代码 各自有则 +1)。
|
||||
func specificityAnchors(content string) int {
|
||||
a := 0
|
||||
if reSpecDate.MatchString(content) {
|
||||
a++
|
||||
}
|
||||
if reSpecQuote.MatchString(content) {
|
||||
a++
|
||||
}
|
||||
if reSpecNumber.MatchString(content) {
|
||||
a++
|
||||
}
|
||||
if reSpecCode.MatchString(content) {
|
||||
a++
|
||||
}
|
||||
return a
|
||||
}
|
||||
|
||||
// specificityFactor 返回具体性缩放因子 ∈ (0, 1.5]。
|
||||
// gate 关(默认)⇒ 恒 1.0(逐位等价现状)。
|
||||
// · 零锚点 且 len<16 且 含人主语 ⇒ 降权 ×floor(默认 0.5)
|
||||
// · 每多 1 个锚点 ⇒ 加权 ×(1 + boost*锚点数),封顶 cap(默认 1.5)
|
||||
// · 零锚点但不满足「短 + 人主语」⇒ 1.0(不误伤「用户必须关闭 NAT」这类有效短规则,
|
||||
// 它含具体标识 NAT;纯人主语短规则仍被降权——这是卡的明确意图)
|
||||
func specificityFactor(content string, c *models.MemoryRecord) float64 {
|
||||
_ = c // 预留(后续可按 source 微调;本期只按 content 判)
|
||||
if !specificityGate() {
|
||||
return 1.0
|
||||
}
|
||||
anchors := specificityAnchors(content)
|
||||
runes := []rune(content)
|
||||
n := len(runes)
|
||||
if anchors == 0 && n < 16 && hasPersonSubject(content) {
|
||||
// 短 + 零锚点 + 人主语 ⇒ 降权
|
||||
if f := envFloat("ZHIYI_SPECIFICITY_FLOOR", 0.5); f > 0 {
|
||||
return f
|
||||
}
|
||||
return 1.0
|
||||
}
|
||||
if anchors > 0 {
|
||||
boost := envFloat("ZHIYI_SPECIFICITY_BOOST", 0.1)
|
||||
capV := envFloat("ZHIYI_SPECIFICITY_CAP", 1.5)
|
||||
f := 1.0 + boost*float64(anchors)
|
||||
if f > capV {
|
||||
f = capV
|
||||
}
|
||||
return f
|
||||
}
|
||||
return 1.0
|
||||
}
|
||||
Reference in New Issue
Block a user