hermes
9d9b92df27
perf(recall): 向量重排 + 查询截断 —— 修掉 Hermes 记忆预取 8s 超时
根因(/api/v1/recall/debug 分阶段实测,2026-09-28):
query=60 字 → total 2268ms(encode 39 / ann 188 / rerank 2039 / mmr 0)
query=1200字 → total 9980ms(encode 1441 / ann 189 / rerank 8001 / mmr 347)
query=4000字 → encode 一步就 8000ms
rerank 占 90%+:旧实现(localCosineRerank)把 query + 50~100 条候选文档重新送进
int8 ONNX CPU 嵌入服务,而这些向量调用方本来就有(queryVec 来自 Step1,
LanceDB 返回的 MemoryRecord 自带 Vector)。
修复:
1. Reranker.RerankWithVectors —— 用已有向量直接算 cosine(向量不齐则回退文本路径);
recall 管线与 /recall/debug 同步改用。
2. Embedder.EncodeQuery —— query 侧向量化前按 512 字符截断(RECALL_QUERY_MAX_RUNES 可覆盖),
保护超长 query 的时延;关键词/BM25 路径仍用完整 query。
3. apiRerank 失败不再静默(log 出降级原因)。
实测(同机复验):60字 2268→235ms;1200字 9980→567ms;2000字 16571→547ms;4000字 8000+→502ms。
真实插件路径 prefetch:短 query 1.00s、3000 字长 query 1.25s(预算 8s,余量 6.4×)。
2026-09-27 00:57:39 +08:00
..
2026-08-20 01:13:06 +08:00
2026-09-26 21:43:54 +08:00
2026-09-27 00:57:39 +08:00
2026-08-20 01:13:06 +08:00
2026-08-20 01:13:06 +08:00
2026-09-21 22:55:03 +08:00
2026-09-21 22:55:03 +08:00
2026-09-22 09:57:58 +08:00
2026-08-20 01:13:06 +08:00