feat(distill): 冲突判据属性键归一 — 削中文动词噪声 + 后缀包含匹配
- normalizeCJKAttrKey: 「API端口被指定为」与「API端口为」归一到同一属性键 (实测漏判来源:同事实两次蒸馏用词不同 ⇒ 键对不上 ⇒ 该合的没合) - sameAttrDiffValue: 键匹配三档(完全相同 / 中文后缀包含且短键≥3字 / ASCII 不看后缀) 宁漏勿误:port 与 api_port 语义不同,不参与后缀匹配 - 单测:internal/distill 全绿(1.588s)
This commit is contained in:
@@ -119,6 +119,7 @@ func extractAssertions(text string) map[string]assertion {
|
||||
phrase := m[1]
|
||||
// 短语尾部可能粘连系词前字(非贪婪边界),截最后一个标点后的尾名词
|
||||
phrase = strings.TrimLeft(phrase, "的是了将和对与和为")
|
||||
phrase = normalizeCJKAttrKey(phrase)
|
||||
if len([]rune(phrase)) < 2 {
|
||||
continue
|
||||
}
|
||||
@@ -130,18 +131,69 @@ func extractAssertions(text string) map[string]assertion {
|
||||
return out
|
||||
}
|
||||
|
||||
// cjkKeyNoise 中文属性短语里的动词/时态噪声。实测来源(2026-11-11 supersede E2E):
|
||||
// 同一条事实被蒸馏两次会写成「API端口**被指定为**60123」与「API端口**为**60124」——
|
||||
// 去掉噪声后属性键才是同一个,否则漏判(宁漏勿误的反面:该合的没合)。
|
||||
// 只削**尾缀**语义噪声,不动名词本身;削完不足 2 字则原样返回(不误伤短键)。
|
||||
var cjkKeyNoise = []string{
|
||||
"被指定", "指定", "被设置", "设置", "被改为", "改为", "变更", "调整为", "调整",
|
||||
"更新为", "更新", "设置为", "设为", "现在", "当前", "目前", "已经", "已", "则是",
|
||||
}
|
||||
|
||||
// normalizeCJKAttrKey 去掉属性短语里的动词/时态噪声,供同属性判定比对。
|
||||
func normalizeCJKAttrKey(phrase string) string {
|
||||
out := phrase
|
||||
for i := 0; i < 3; i++ { // 最多削 3 层(如「现在被指定」)
|
||||
changed := false
|
||||
for _, n := range cjkKeyNoise {
|
||||
if strings.HasSuffix(out, n) && len([]rune(strings.TrimSuffix(out, n))) >= 2 {
|
||||
out = strings.TrimSuffix(out, n)
|
||||
changed = true
|
||||
}
|
||||
}
|
||||
if !changed {
|
||||
break
|
||||
}
|
||||
}
|
||||
return out
|
||||
}
|
||||
|
||||
// sameAttrDiffValue 通道①:两侧同属性键、同值类型、规范化取值不同。
|
||||
//
|
||||
// 键匹配三种(都要求同值类型):
|
||||
//
|
||||
// ① 完全相同
|
||||
// ② 中文键**后缀包含**(2026-11-11 实测:同一事实被蒸馏两次会写成
|
||||
// 「监听端口为 60126」与「所以需要确认监听端口为 60126」⇒ 前者是后者后缀)。
|
||||
// 短键需 ≥3 字才算,防「端口/监听端口」这类 2 字键过度配对。
|
||||
// ③ ASCII 键不看后缀(`port` 与 `api_port` 语义不同,宁漏勿误)
|
||||
func sameAttrDiffValue(a, b string) (string, bool) {
|
||||
A, B := extractAssertions(a), extractAssertions(b)
|
||||
for k, va := range A {
|
||||
vb, ok := B[k]
|
||||
if !ok || va.kind != vb.kind {
|
||||
continue // 键不齐或值类型不同 = 不可比(宁漏勿误)
|
||||
if vb, ok := B[k]; ok && va.kind == vb.kind {
|
||||
if va.val != vb.val {
|
||||
return fmt.Sprintf("同属性 %q 不同取值: %s vs %s", k, va.raw, vb.raw), true
|
||||
}
|
||||
continue
|
||||
}
|
||||
if va.val == vb.val {
|
||||
continue // 同值 = 同事实(重复不是矛盾)
|
||||
if !strings.HasPrefix(k, "zh:") {
|
||||
continue
|
||||
}
|
||||
for kb, vb := range B {
|
||||
if !strings.HasPrefix(kb, "zh:") || va.kind != vb.kind || va.val == vb.val {
|
||||
continue
|
||||
}
|
||||
ka := strings.TrimPrefix(k, "zh:")
|
||||
kbn := strings.TrimPrefix(kb, "zh:")
|
||||
short, long := ka, kbn
|
||||
if len([]rune(kbn)) < len([]rune(ka)) {
|
||||
short, long = kbn, ka
|
||||
}
|
||||
if len([]rune(short)) < 3 || !strings.HasSuffix(long, short) {
|
||||
continue
|
||||
}
|
||||
return fmt.Sprintf("同属性(后缀匹配) %q⊂%q 不同取值: %s vs %s", short, long, va.raw, vb.raw), true
|
||||
}
|
||||
return fmt.Sprintf("同属性 %q 不同取值: %s vs %s", k, va.raw, vb.raw), true
|
||||
}
|
||||
return "", false
|
||||
}
|
||||
|
||||
@@ -76,3 +76,34 @@ func TestSupersedeMode_DefaultOff(t *testing.T) {
|
||||
t.Fatalf("apply 大小写不敏感,实得 %q", got)
|
||||
}
|
||||
}
|
||||
|
||||
// 2026-11-11 E2E 回归:同一事实被蒸馏两次的两种写法必须判成「同属性不同取值」,
|
||||
// 否则 supersede 永远不触发(实测第一次上线就栽在这:60123/60124 两条都入库了)。
|
||||
func TestSameAttrValueConflict_DistillParaphrase(t *testing.T) {
|
||||
a := "在织忆联调环境中,API端口被指定为60123。"
|
||||
b := "在织忆联调环境中,API端口为60124。"
|
||||
ev, ok := SameAttrValueConflict(a, b)
|
||||
if !ok {
|
||||
t.Fatalf("同一属性两种动词写法必须判成矛盾(否则旧值不被顶掉):%q vs %q", a, b)
|
||||
}
|
||||
if ev == "" {
|
||||
t.Fatalf("必须带证据串")
|
||||
}
|
||||
}
|
||||
|
||||
func TestSameAttrValueConflict_ParaphraseSameValueNoConflict(t *testing.T) {
|
||||
a := "在织忆联调环境中,API端口被指定为60123。"
|
||||
b := "在织忆联调环境中,API端口为60123。"
|
||||
if _, ok := SameAttrValueConflict(a, b); ok {
|
||||
t.Fatalf("取值相同 = 同一事实,不得判矛盾")
|
||||
}
|
||||
}
|
||||
|
||||
func TestNormalizeCJKAttrKey_NoOverStrip(t *testing.T) {
|
||||
if got := normalizeCJKAttrKey("端口"); got != "端口" {
|
||||
t.Fatalf("短键不得被削空,实得 %q", got)
|
||||
}
|
||||
if got := normalizeCJKAttrKey("API端口"); got != "API端口" {
|
||||
t.Fatalf("名词本身不得被削,实得 %q", got)
|
||||
}
|
||||
}
|
||||
|
||||
Reference in New Issue
Block a user