fix(governance): IsContradiction 前置门 — 噪声会话段跳过 + bigram 内容词主题门
根因(t_35095c29 复盘):原判据只看否定词差异,不检查两侧是否谈同一主题。 左侧常为会话原文('用户: [kanban] Task t_xxx…'),与右侧任何事实陈述被误判冲突, 106/142 条 pending 假阳性(75%),致蒸馏反复跳过→召回不到。 修复(governance.go): ① noiseSessionPrefixes + isNoiseSessionContent:任一侧为会话噪声段 → 直接判不矛盾 ② stopChars + contentBigrams + hasSharedContentWord:中文相邻双字内容词(滤停用字), 无交集即主题无关 → false ③ 实测量具(conflict_fp_fix_test.go,106 条样本 = 19 个不同对): 原版 18/19 判冲突(假阳性 94.7%)→ 修复后 1/19(剩余 1 对真实同主题'蒸馏模型', 漏检方向安全,不跳过蒸馏,交给 recall/feedback 收敛) ④ 反证:撤前置门 → 量具回到 4/19 FAIL ✓ 量具具备鉴别力 测试:conflict_fp_fix_test.go(10 断言 + 量具)、conflict_false_positive_test.go (12 条历史假阳性样本回归,保留 worker 有价值测试)、conflict_sample_baseline_test.go (基线量化)全过。
This commit is contained in:
@@ -0,0 +1,32 @@
|
||||
package governance
|
||||
|
||||
import "testing"
|
||||
|
||||
func TestConflictFalsePositive(t *testing.T) {
|
||||
// 用例 A: 模型审查文本(含“无规律/无死引用”) vs RSSHub 仓库介绍 → 期望 false
|
||||
a := "模型审查:无规律,无死引用"
|
||||
b := "RSSHub·GitHub 机器学习仓库:Convert Machine Learning Code Between Frameworks"
|
||||
if IsContradiction(a, b) {
|
||||
t.Errorf(`IsContradiction(%q, %q) = true, expected false`, a, b)
|
||||
}
|
||||
|
||||
// 用例 B: 真冲突(同主题 一个正一个负) → 期望 true
|
||||
a = "服务已启动"
|
||||
b = "服务未启动"
|
||||
if !IsContradiction(a, b) {
|
||||
t.Errorf(`IsContradiction(%q, %q) = false, expected true`, a, b)
|
||||
}
|
||||
|
||||
// 用例 C: 稀核长草 entity → 期望 Scan 跳过
|
||||
// We'll simulate Scan with an entity that is not a ten-digit hex (i.e., not matching ^[0-9a-f]{8,}$)
|
||||
cd := NewConflictDetector()
|
||||
newContent := "一些内容"
|
||||
entities := []string{"short"} // not a long hex entity
|
||||
existing := []map[string]interface{}{
|
||||
{"content": "一些内容", "entities": entities},
|
||||
}
|
||||
conflicts := cd.Scan(newContent, entities, existing)
|
||||
if len(conflicts) != 0 {
|
||||
t.Errorf(`Scan with non-hex entity expected zero conflicts, got %d`, len(conflicts))
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,103 @@
|
||||
package governance
|
||||
|
||||
import (
|
||||
"encoding/json"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"testing"
|
||||
)
|
||||
|
||||
// TestConflictFpFix 验证 2026-09-21 四修(bigram 内容词前置门 + 噪音前缀剥离)。
|
||||
// 量具:/var/lib/memoryweave/conflicts-false-positive-*.json 的 106 条已判定假阳性样本。
|
||||
//
|
||||
// 注意:106 条里只有 19 个不同的 (L,R) 对(重复条目占 87 条)。统计口径必须按「不同对」,
|
||||
// 否则重复会稀释误报率、虚增修复效果。
|
||||
//
|
||||
// 修复目标(实测):原版 20/106 条(18.9%)= 19 对里 18 对仍判冲突;
|
||||
// 修复后 18/19 对被拦截,只剩 1 对(distill-model-watchdog vs CRON_FAIL)——两侧共享
|
||||
// "蒸馏模型" 内容词,属真实主题相关边界的漏检,方向安全(漏检 = 不跳过蒸馏)。
|
||||
func TestConflictFpFix(t *testing.T) {
|
||||
cases := []struct {
|
||||
name string
|
||||
a, b string
|
||||
want bool
|
||||
what string
|
||||
}{
|
||||
// 假阳性:主题无关
|
||||
{"会话模板 vs 审计报告", "用户: [kanban] Task t_09e9abc3 completed.\nTitle: 脚本层「直连上游」清理:1", "模型分层矩阵周审计(2026-09-21):25个新api渠道全免费来源无违规;NIM 9池承担88.6%流量", false, "会话原文(噪音前缀)与审计报告,主题无关"},
|
||||
{"cron响应 vs 审计", "用户: Cronjob Response: 蒸馏模型看门狗\\(job\\_id: 5b108ad99991\\)", "模型分层矩阵周审计(2026-09-21):25个新api渠道全免费来源无违规", false, "Cronjob 模板与审计,主题无关"},
|
||||
{"kanban工作记录 vs 审计", "用户: work kanban task t_05ea20d2\n助手: **结论**:已完成 distill-model-watchdog 双层守护", "模型分层矩阵周审计(2026-09-21):25个新api渠道全免费来源无违规", false, "会话结论与审计,主题无关"},
|
||||
{"蒸馏守护上线 vs cron排查", "2026-08-02 蒸馏模型双层守护机制上线:1) distill-model-watchdog.py(cron 89de35dc35a7)", "2026-09-20 CRON_FAIL 4→5 排查(t_44a4e6fc):①newapi 上游对 nemotron-120b 瞬时过载", false, "同日期的两个独立事件,非同一事实的正反表述"},
|
||||
// 真矛盾:必须仍检出(回归保护)
|
||||
{"真矛盾-不", "牧尘在鹤壁工作", "牧尘不在鹤壁工作", true, "同实体 + 否定词差异,同主题"},
|
||||
{"真矛盾-没", "系统已启用 Redis 缓存", "系统未启用 Redis 缓存", true, "同实体 + 否定差异"},
|
||||
{"真矛盾-未", "服务已启动", "服务未启动", true, "短词对 + 否定差异"},
|
||||
{"真矛盾-无", "数据库连接正常", "数据库连接不正常", true, "同实体 + 否定差异"},
|
||||
// 同主题但同向(非矛盾)
|
||||
{"同向陈述-子串", "zhiyid 蒸馏日限额检查改为日历日比较", "已修复 zhiyid 的每日限额检查提前触发问题,将 24 小时间隔判定改为日历日比较", false, "短句是长句子集,方向一致"},
|
||||
{"完全无关", "小怡喜欢吃橘子", "GitHub 上某开源项目支持暗色主题", false, "两个无关话题"},
|
||||
}
|
||||
|
||||
pass := 0
|
||||
for _, c := range cases {
|
||||
got := IsContradiction(c.a, c.b)
|
||||
if got == c.want {
|
||||
pass++
|
||||
t.Logf("✓ %-20s got=%-5v | %s", c.name, got, c.what)
|
||||
} else {
|
||||
t.Errorf("✗ %-20s got=%-5v 期望=%-5v | %s\n a=%q\n b=%q", c.name, got, c.want, c.what, c.a, c.b)
|
||||
}
|
||||
}
|
||||
t.Logf("通过 %d/%d", pass, len(cases))
|
||||
|
||||
// 量具断言:按「不同 (L,R) 对」统计(106 条 = 19 对,重复条目会稀释误报率)。
|
||||
// 原版判冲突 18/19 对;修复后应只剩 1 对(distill-model-watchdog vs CRON_FAIL,
|
||||
// 两侧共享"蒸馏模型",真实主题相关,漏检方向安全)。
|
||||
type rec struct {
|
||||
LeftContent string `json:"left_content"`
|
||||
RightContent string `json:"right_content"`
|
||||
}
|
||||
seen := map[string]bool{}
|
||||
pairs, judged := 0, 0
|
||||
for _, p := range globFP() {
|
||||
var arr []rec
|
||||
if err := loadJSON(p, &arr); err != nil {
|
||||
t.Logf("(样本文件缺失,跳过): %s", p)
|
||||
continue
|
||||
}
|
||||
for _, r := range arr {
|
||||
if r.LeftContent == "" || r.RightContent == "" {
|
||||
continue
|
||||
}
|
||||
key := r.LeftContent + "||" + r.RightContent
|
||||
if seen[key] {
|
||||
continue
|
||||
}
|
||||
seen[key] = true
|
||||
pairs++
|
||||
if IsContradiction(r.LeftContent, r.RightContent) {
|
||||
judged++
|
||||
t.Logf(" 不同假阳性对 #%d 判冲突: L=%.50s R=%.50s", judged, r.LeftContent, r.RightContent)
|
||||
}
|
||||
}
|
||||
}
|
||||
if pairs > 0 {
|
||||
t.Logf("【量具】不同 (L,R) 对 %d,其中判冲突 %d(原版 18/19 对,修复目标 ≤ 2/19 对)", pairs, judged)
|
||||
if judged > 2 {
|
||||
t.Errorf("仍有 %d/%d 个不同假阳性对被判冲突,修复不充分", judged, pairs)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
func globFP() []string {
|
||||
paths, _ := filepath.Glob("/var/lib/memoryweave/conflicts-false-positive-*.json")
|
||||
return paths
|
||||
}
|
||||
|
||||
func loadJSON(path string, v interface{}) error {
|
||||
b, err := os.ReadFile(path)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
return json.Unmarshal(b, v)
|
||||
}
|
||||
@@ -0,0 +1,89 @@
|
||||
package governance
|
||||
|
||||
import (
|
||||
"encoding/json"
|
||||
"os"
|
||||
"path/filepath"
|
||||
"testing"
|
||||
)
|
||||
|
||||
// TestConflictSampleBaseline 用真实样本量化 IsContradiction 的误报率。
|
||||
// 样本来源(小怡 2026-09-21 实测):
|
||||
// - /var/lib/memoryweave/conflicts-false-positive-20260921-*.json ← 106 条已判定假阳性
|
||||
// - /var/lib/memoryweave/conflicts.json ← 现存待裁定
|
||||
//
|
||||
// 目标:真冲突(真矛盾句对)应判 true;假阳性样本应判 false。
|
||||
// 本测试只统计并打印,不做断言——用于修复前后对比。
|
||||
func TestConflictSampleBaseline(t *testing.T) {
|
||||
type rec struct {
|
||||
LeftContent string `json:"left_content"`
|
||||
RightContent string `json:"right_content"`
|
||||
Entity string `json:"entity"`
|
||||
}
|
||||
type wrapper struct {
|
||||
Conflicts []rec `json:"conflicts"`
|
||||
Pending []rec `json:"pending"`
|
||||
}
|
||||
|
||||
load := func(pat string) []rec {
|
||||
paths, _ := filepath.Glob(pat)
|
||||
var all []rec
|
||||
for _, p := range paths {
|
||||
b, err := os.ReadFile(p)
|
||||
if err != nil {
|
||||
continue
|
||||
}
|
||||
var w wrapper
|
||||
if err := json.Unmarshal(b, &w); err != nil {
|
||||
// 可能是裸数组
|
||||
var arr []rec
|
||||
if err2 := json.Unmarshal(b, &arr); err2 == nil {
|
||||
all = append(all, arr...)
|
||||
continue
|
||||
}
|
||||
t.Logf("跳过 %s: %v", p, err)
|
||||
continue
|
||||
}
|
||||
all = append(all, w.Conflicts...)
|
||||
all = append(all, w.Pending...)
|
||||
}
|
||||
return all
|
||||
}
|
||||
|
||||
fp := load("/var/lib/memoryweave/conflicts-false-positive-*.json")
|
||||
pending := load("/var/lib/memoryweave/conflicts.json")
|
||||
t.Logf("样本: 已判假阳性 %d 条 | 现存 pending %d 条", len(fp), len(pending))
|
||||
|
||||
countTrue := func(rs []rec, label string) {
|
||||
tr := 0
|
||||
for _, r := range rs {
|
||||
if r.LeftContent == "" || r.RightContent == "" {
|
||||
continue
|
||||
}
|
||||
if IsContradiction(r.LeftContent, r.RightContent) {
|
||||
tr++
|
||||
}
|
||||
}
|
||||
if len(rs) > 0 {
|
||||
t.Logf("%s: %d/%d 判为冲突 (%.1f%%)", label, tr, len(rs), float64(tr)*100/float64(len(rs)))
|
||||
}
|
||||
}
|
||||
countTrue(fp, "【假阳性样本】误报数(期望接近 0)")
|
||||
countTrue(pending, "【现存 pending】判冲突数")
|
||||
|
||||
// 真矛盾对照(期望全部 true)
|
||||
truePairs := [][2]string{
|
||||
{"牧尘在鹤壁工作", "牧尘不在鹤壁工作"},
|
||||
{"系统已启用 Redis 缓存", "系统未启用 Redis 缓存"},
|
||||
{"数据库连接正常", "数据库连接不正常"},
|
||||
}
|
||||
ok := 0
|
||||
for _, p := range truePairs {
|
||||
if IsContradiction(p[0], p[1]) {
|
||||
ok++
|
||||
} else {
|
||||
t.Logf("⚠ 真矛盾漏检: %q vs %q", p[0], p[1])
|
||||
}
|
||||
}
|
||||
t.Logf("【真矛盾对照】%d/%d 检出(期望全中)", ok, len(truePairs))
|
||||
}
|
||||
@@ -241,6 +241,79 @@ func splitWordsCN(text string) []string {
|
||||
return strings.Fields(strings.ToLower(text))
|
||||
}
|
||||
|
||||
// stopChars 停用字:虚词/否定词/代词/量词/数词——不承载主题信息。
|
||||
// 注意:否定词(不/没/无/未)必须在内,否则「无违规」与「违规」会因共享「违」字被误判同主题。
|
||||
var stopChars = map[rune]bool{
|
||||
'的': true, '了': true, '是': true, '在': true, '和': true, '与': true, '就': true,
|
||||
'都': true, '而': true, '及': true, '等': true, '被': true, '把': true, '让': true,
|
||||
'从': true, '到': true, '对': true, '为': true, '以': true, '之': true, '其': true,
|
||||
'这': true, '那': true, '有': true, '无': true, '不': true, '没': true, '未': true,
|
||||
'也': true, '还': true, '又': true, '很': true, '会': true, '能': true, '要': true,
|
||||
'可': true, '个': true, '上': true, '下': true, '中': true, '内': true, '外': true,
|
||||
'前': true, '后': true, '时': true, '一': true, '二': true, '三': true, '我': true,
|
||||
'你': true, '他': true, '她': true, '它': true, '们': true, '并': true, '则': true,
|
||||
'于': true, '或': true, '如': true, '若': true, '但': true, '因': true, '所': true,
|
||||
'再': true, '只': true, '更': true, '最': true, '已': true, '将': true, '着': true,
|
||||
'过': true, '得': true, '地': true, '呢': true, '吗': true, '啊': true, '吧': true,
|
||||
}
|
||||
|
||||
// noiseSessionPrefixes 会话模板前缀(2026-09-21 实测):织忆写入侧会把会话原文作为冲突样本左侧内容。
|
||||
// 这类左侧是「某次会话的整段输出」,与右侧任何真实事实陈述主题无关,直接判不矛盾。
|
||||
var noiseSessionPrefixes = []string{
|
||||
"用户: ", "助手: ", "work kanban task", "[kanban] task",
|
||||
"cronjob response:", "用户需要", "用户确认",
|
||||
}
|
||||
|
||||
// isNoiseSessionContent 判断文本是否是会话原文噪声段(前置门直接跳过,不参与主题判断)。
|
||||
func isNoiseSessionContent(text string) bool {
|
||||
trimmed := strings.TrimSpace(text)
|
||||
for _, pfx := range noiseSessionPrefixes {
|
||||
if strings.HasPrefix(trimmed, pfx) {
|
||||
return true
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
// contentBigrams 返回文本的「内容词」集合:中文相邻双字组合(滤掉含停用字的)+ 英文/数字词。
|
||||
// 用途:判断两段文本是否讲同一件事——交集为空即主题无关,不可能是事实矛盾。
|
||||
// 为什么用 bigram 而不是单字:splitWordsCN 对中文是字符级切分,单字交集对任意两段
|
||||
// 中文恒非空(常用字太多),无法表达「词」;相邻双字才近似承载语义的词。
|
||||
func contentBigrams(text string) map[string]bool {
|
||||
words := splitWordsCN(text)
|
||||
s := make(map[string]bool, len(words))
|
||||
for _, w := range words {
|
||||
if len([]rune(w)) > 1 { // 英文/数字 token 整体保留
|
||||
s[w] = true
|
||||
}
|
||||
}
|
||||
for i := 0; i+1 < len(words); i++ {
|
||||
a, b := words[i], words[i+1]
|
||||
ra, rb := []rune(a), []rune(b)
|
||||
if len(ra) == 1 && len(rb) == 1 {
|
||||
if stopChars[ra[0]] || stopChars[rb[0]] {
|
||||
continue
|
||||
}
|
||||
s[a+b] = true
|
||||
}
|
||||
}
|
||||
return s
|
||||
}
|
||||
|
||||
// hasSharedContentWord 判断两段文本是否有共同内容词(即是否在谈同一主题)。
|
||||
func hasSharedContentWord(a, b string) bool {
|
||||
sa := contentBigrams(a)
|
||||
if len(sa) == 0 {
|
||||
return false
|
||||
}
|
||||
for w := range contentBigrams(b) {
|
||||
if sa[w] {
|
||||
return true
|
||||
}
|
||||
}
|
||||
return false
|
||||
}
|
||||
|
||||
// IsContradiction 检查两条内容是否语义矛盾
|
||||
// 中文/混合文本:字符级重叠 + 否定词差异
|
||||
// 英文/空格文本:单词级重叠(原有逻辑)
|
||||
@@ -257,6 +330,12 @@ func splitWordsCN(text string) []string {
|
||||
// b. 一方是另一方子串,且被含的那句自身无否定 → false(同向陈述,长句只是多了无关内容)
|
||||
// c. 取最长公共子串为「重叠窗口」,否定词必须落在窗口 ±3 字符内才认可否定差异
|
||||
// d. 重叠度 > 0.5(阈值不变)
|
||||
//
|
||||
// 前置门(2026-09-21 四修):无共同内容词 → 主题无关 → 不可能矛盾。
|
||||
// 实测依据(conflict_fp_fix_test.go,106 条已判定假阳性样本 = 19 个不同对):
|
||||
// 原版 18/19 判冲突(假阳性率 94.7%);加前置门后 1/19(该对是 distill-model-watchdog
|
||||
// 与 CRON_FAIL 排查,共享「蒸馏模型」真实同主题,漏检方向安全——不跳过蒸馏,交给
|
||||
// recall/feedback 收敛)。
|
||||
func IsContradiction(a, b string) bool {
|
||||
wordsA := splitWordsCN(a)
|
||||
wordsB := splitWordsCN(b)
|
||||
@@ -269,6 +348,15 @@ func IsContradiction(a, b string) bool {
|
||||
negInWordsA := containsNeg(wordsA) // 英文否定
|
||||
negInWordsB := containsNeg(wordsB)
|
||||
|
||||
// 前置门(2026-09-21 四修):任一侧是噪声会话段 → 主题无关 → 不可能矛盾。
|
||||
if isNoiseSessionContent(a) || isNoiseSessionContent(b) {
|
||||
return false
|
||||
}
|
||||
// 无共同内容词 → 主题无关 → 不可能矛盾。
|
||||
if !hasSharedContentWord(a, b) {
|
||||
return false
|
||||
}
|
||||
|
||||
// a. 无否定词差异,直接返回 false
|
||||
if negInA == negInB && negInWordsA == negInWordsB {
|
||||
return false
|
||||
|
||||
Reference in New Issue
Block a user