From 71bddf3feb63db8cb4f8167e40dff8c9dd3fb7c7 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=B0=8F=E6=80=A1?= Date: Thu, 12 Nov 2026 23:31:57 +0800 Subject: [PATCH] =?UTF-8?q?feat(distill):=20=E5=86=B2=E7=AA=81=E5=88=A4?= =?UTF-8?q?=E6=8D=AE=E5=B1=9E=E6=80=A7=E9=94=AE=E5=BD=92=E4=B8=80=20?= =?UTF-8?q?=E2=80=94=20=E5=89=8A=E4=B8=AD=E6=96=87=E5=8A=A8=E8=AF=8D?= =?UTF-8?q?=E5=99=AA=E5=A3=B0=20+=20=E5=90=8E=E7=BC=80=E5=8C=85=E5=90=AB?= =?UTF-8?q?=E5=8C=B9=E9=85=8D?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit - normalizeCJKAttrKey: 「API端口被指定为」与「API端口为」归一到同一属性键 (实测漏判来源:同事实两次蒸馏用词不同 ⇒ 键对不上 ⇒ 该合的没合) - sameAttrDiffValue: 键匹配三档(完全相同 / 中文后缀包含且短键≥3字 / ASCII 不看后缀) 宁漏勿误:port 与 api_port 语义不同,不参与后缀匹配 - 单测:internal/distill 全绿(1.588s) --- go/internal/distill/conflict_gate.go | 64 ++++++++++++++++++++++++--- go/internal/distill/supersede_test.go | 31 +++++++++++++ 2 files changed, 89 insertions(+), 6 deletions(-) diff --git a/go/internal/distill/conflict_gate.go b/go/internal/distill/conflict_gate.go index 248025c..2a9f208 100644 --- a/go/internal/distill/conflict_gate.go +++ b/go/internal/distill/conflict_gate.go @@ -119,6 +119,7 @@ func extractAssertions(text string) map[string]assertion { phrase := m[1] // 短语尾部可能粘连系词前字(非贪婪边界),截最后一个标点后的尾名词 phrase = strings.TrimLeft(phrase, "的是了将和对与和为") + phrase = normalizeCJKAttrKey(phrase) if len([]rune(phrase)) < 2 { continue } @@ -130,18 +131,69 @@ func extractAssertions(text string) map[string]assertion { return out } +// cjkKeyNoise 中文属性短语里的动词/时态噪声。实测来源(2026-11-11 supersede E2E): +// 同一条事实被蒸馏两次会写成「API端口**被指定为**60123」与「API端口**为**60124」—— +// 去掉噪声后属性键才是同一个,否则漏判(宁漏勿误的反面:该合的没合)。 +// 只削**尾缀**语义噪声,不动名词本身;削完不足 2 字则原样返回(不误伤短键)。 +var cjkKeyNoise = []string{ + "被指定", "指定", "被设置", "设置", "被改为", "改为", "变更", "调整为", "调整", + "更新为", "更新", "设置为", "设为", "现在", "当前", "目前", "已经", "已", "则是", +} + +// normalizeCJKAttrKey 去掉属性短语里的动词/时态噪声,供同属性判定比对。 +func normalizeCJKAttrKey(phrase string) string { + out := phrase + for i := 0; i < 3; i++ { // 最多削 3 层(如「现在被指定」) + changed := false + for _, n := range cjkKeyNoise { + if strings.HasSuffix(out, n) && len([]rune(strings.TrimSuffix(out, n))) >= 2 { + out = strings.TrimSuffix(out, n) + changed = true + } + } + if !changed { + break + } + } + return out +} + // sameAttrDiffValue 通道①:两侧同属性键、同值类型、规范化取值不同。 +// +// 键匹配三种(都要求同值类型): +// +// ① 完全相同 +// ② 中文键**后缀包含**(2026-11-11 实测:同一事实被蒸馏两次会写成 +// 「监听端口为 60126」与「所以需要确认监听端口为 60126」⇒ 前者是后者后缀)。 +// 短键需 ≥3 字才算,防「端口/监听端口」这类 2 字键过度配对。 +// ③ ASCII 键不看后缀(`port` 与 `api_port` 语义不同,宁漏勿误) func sameAttrDiffValue(a, b string) (string, bool) { A, B := extractAssertions(a), extractAssertions(b) for k, va := range A { - vb, ok := B[k] - if !ok || va.kind != vb.kind { - continue // 键不齐或值类型不同 = 不可比(宁漏勿误) + if vb, ok := B[k]; ok && va.kind == vb.kind { + if va.val != vb.val { + return fmt.Sprintf("同属性 %q 不同取值: %s vs %s", k, va.raw, vb.raw), true + } + continue } - if va.val == vb.val { - continue // 同值 = 同事实(重复不是矛盾) + if !strings.HasPrefix(k, "zh:") { + continue + } + for kb, vb := range B { + if !strings.HasPrefix(kb, "zh:") || va.kind != vb.kind || va.val == vb.val { + continue + } + ka := strings.TrimPrefix(k, "zh:") + kbn := strings.TrimPrefix(kb, "zh:") + short, long := ka, kbn + if len([]rune(kbn)) < len([]rune(ka)) { + short, long = kbn, ka + } + if len([]rune(short)) < 3 || !strings.HasSuffix(long, short) { + continue + } + return fmt.Sprintf("同属性(后缀匹配) %q⊂%q 不同取值: %s vs %s", short, long, va.raw, vb.raw), true } - return fmt.Sprintf("同属性 %q 不同取值: %s vs %s", k, va.raw, vb.raw), true } return "", false } diff --git a/go/internal/distill/supersede_test.go b/go/internal/distill/supersede_test.go index 06ac699..9d44f9a 100644 --- a/go/internal/distill/supersede_test.go +++ b/go/internal/distill/supersede_test.go @@ -76,3 +76,34 @@ func TestSupersedeMode_DefaultOff(t *testing.T) { t.Fatalf("apply 大小写不敏感,实得 %q", got) } } + +// 2026-11-11 E2E 回归:同一事实被蒸馏两次的两种写法必须判成「同属性不同取值」, +// 否则 supersede 永远不触发(实测第一次上线就栽在这:60123/60124 两条都入库了)。 +func TestSameAttrValueConflict_DistillParaphrase(t *testing.T) { + a := "在织忆联调环境中,API端口被指定为60123。" + b := "在织忆联调环境中,API端口为60124。" + ev, ok := SameAttrValueConflict(a, b) + if !ok { + t.Fatalf("同一属性两种动词写法必须判成矛盾(否则旧值不被顶掉):%q vs %q", a, b) + } + if ev == "" { + t.Fatalf("必须带证据串") + } +} + +func TestSameAttrValueConflict_ParaphraseSameValueNoConflict(t *testing.T) { + a := "在织忆联调环境中,API端口被指定为60123。" + b := "在织忆联调环境中,API端口为60123。" + if _, ok := SameAttrValueConflict(a, b); ok { + t.Fatalf("取值相同 = 同一事实,不得判矛盾") + } +} + +func TestNormalizeCJKAttrKey_NoOverStrip(t *testing.T) { + if got := normalizeCJKAttrKey("端口"); got != "端口" { + t.Fatalf("短键不得被削空,实得 %q", got) + } + if got := normalizeCJKAttrKey("API端口"); got != "API端口" { + t.Fatalf("名词本身不得被削,实得 %q", got) + } +}