fix(distill): 二次修 prompt 锚点 + 原始输出探针,更正「2B 无区分能力」的错误结论
- prompt: 彻底移除评分段的示例小数(此前写「例如 0.8/0.7/0.6/0.9/0.7」, 模型转而锚定 0.6 ⇒ 评分从恒定 0.755 变成恒定 0.600,仍不可用) - 新增 rawscore_liveprobe_test.go:直取 LLM 原始返回 + 异质输入 + 同输入重复, 用于判定模型能力(此前仅看解析后分数、样本同质,证据不足) - 更正 IsDegenerateScore 注释:实测模型**具备**区分能力(垃圾→0.0,有价值→0.8), 五维塌成同值是常见但非必然的输出形态;该函数仅作观测,不得单独用作丢弃判据
This commit is contained in:
@@ -119,6 +119,22 @@ func IsEchoScore(s FiveDScore) bool {
|
||||
return false
|
||||
}
|
||||
|
||||
// IsDegenerateScore 判断评分向量是否「退化」:五个维度完全相同(含全零)。
|
||||
//
|
||||
// ⚠️ 用途仅限**观测**,不得单独用作丢弃判据。
|
||||
//
|
||||
// 实测(2026-10-06,local/minicpm5-2b,异质输入 × 同输入重复):
|
||||
// - 模型**具备**区分能力:垃圾内容→0.0×5,有价值内容→0.8×5;
|
||||
// - 且**能**给出真正分维度的向量(实测到 is0.8/su0.8/pa0.7/vd0.6/ru0.5);
|
||||
// - 但同一输入重复调用时结果**不稳定**:3 次全给 0.8×5,而另一次给了分维度向量。
|
||||
//
|
||||
// 结论:五维塌成同一值是**常见但非必然**的输出形态(说明该维度信息不可信),
|
||||
// 不等于"模型没有区分能力" —— 曾据此下过该结论,属证据不足(样本同质),已更正。
|
||||
// 全零同样是模型真实输出(原始 JSON 里字段齐全),不是 Go 零值兜底。
|
||||
func IsDegenerateScore(s FiveDScore) bool {
|
||||
return s.IS == s.SU && s.SU == s.PA && s.PA == s.VD && s.VD == s.RU
|
||||
}
|
||||
|
||||
// scoreShadowMode 影子模式:true(默认)= 只在日志里记录"本该被丢",不真丢。
|
||||
// 设环境变量 ZHIYI_SCORE_SHADOW=0 关闭影子(= 恢复真拦)。
|
||||
var scoreShadowMode = os.Getenv("ZHIYI_SCORE_SHADOW") != "0"
|
||||
@@ -452,8 +468,9 @@ func (e *Engine) distillOne(input DistillInput) DistillResult {
|
||||
// 影子模式(2026-10-06):闸门此前因 echo bug 从未真正生效,
|
||||
// 修好 prompt 后它会首次开始真拦 —— 先只记录"本该被丢",观察样本分布,
|
||||
// 避免一次性批量误杀。ZHIYI_SCORE_SHADOW=0 可切回真拦。
|
||||
log.Printf("[distill][SHADOW] would-drop episode=%s overall=%.3f vd=%.2f echo=%v content=%q",
|
||||
input.EpisodeID, overall, score.VD, IsEchoScore(score), truncate(input.Content, 80))
|
||||
log.Printf("[distill][SHADOW] would-drop episode=%s overall=%.3f vd=%.2f echo=%v degenerate=%v content=%q",
|
||||
input.EpisodeID, overall, score.VD, IsEchoScore(score), IsDegenerateScore(score),
|
||||
truncate(input.Content, 80))
|
||||
} else {
|
||||
log.Printf("[distill] score below threshold for %s, skip", input.EpisodeID)
|
||||
// 即使阈值未通过,仍然用 LLM 实体提取(如果有的话)
|
||||
@@ -571,8 +588,9 @@ func (e *Engine) callLLM5D(content string) (LLMResponse, error) {
|
||||
{"facts": ["独立事实1", "独立事实2"], "decisions": ["决定1"], "conclusions": ["结论1"], "actions_taken": ["行动1"], "open_questions": ["问题1"], "entities": ["entity1", "entity2"], "is": <小数>, "su": <小数>, "pa": <小数>, "vd": <小数>, "ru": <小数>}
|
||||
|
||||
评分说明:is/su/pa/vd/ru 必须是 0.0 到 1.0 之间的浮点数(越高越好),不得用 0-10 整数。
|
||||
🔴 上面五个 <小数> 是**类型占位符,不是示例数值**。你必须依据**本次内容**独立打分,各维度可以不同。
|
||||
严禁沿用固定的数值组合(例如 0.8/0.7/0.6/0.9/0.7)——照抄示例分数会被系统判为无效评分并整条丢弃。
|
||||
🔴 这五个分数必须依据**本次内容**独立判断:不同内容要给出**不同**的分数,各维度之间也应有差异。
|
||||
禁止给出固定不变的分数组合 —— 那会被系统判为无效评分并整条丢弃。
|
||||
输出里不要出现任何示例数值,直接写你本次的判断。
|
||||
要求:除非消息完全无意义,否则提取并输出为事实。facts 要详尽,不要只给1条摘要。
|
||||
|
||||
内容:
|
||||
|
||||
@@ -45,8 +45,38 @@ func TestEchoVectorMatchesWeightedOverall(t *testing.T) {
|
||||
}
|
||||
}
|
||||
|
||||
// TestPromptHasNoEchoLiterals 回归守卫:prompt 里不得再出现具体的示例评分数字。
|
||||
// TestIsDegenerateScore 退化向量检测(阳性 + 阴性对照)。
|
||||
//
|
||||
// ⚠️ 本函数只做**观测标记**,不得单独用作丢弃判据 —— 见 engine.go 中 IsDegenerateScore 注释。
|
||||
func TestIsDegenerateScore(t *testing.T) {
|
||||
// 阳性:五维相同(含全零)
|
||||
for name, s := range map[string]FiveDScore{
|
||||
"全零(可能字段缺失)": {IS: 0, SU: 0, PA: 0, VD: 0, RU: 0},
|
||||
"全0.5": {IS: 0.5, SU: 0.5, PA: 0.5, VD: 0.5, RU: 0.5},
|
||||
"全0.8": {IS: 0.8, SU: 0.8, PA: 0.8, VD: 0.8, RU: 0.8},
|
||||
"全一": {IS: 1, SU: 1, PA: 1, VD: 1, RU: 1},
|
||||
} {
|
||||
if !IsDegenerateScore(s) {
|
||||
t.Errorf("阳性对照失败[%s]:五维相同的 %+v 未被识别为退化评分", name, s)
|
||||
}
|
||||
}
|
||||
// 阴性:至少一维不同 → 不算退化
|
||||
for name, s := range map[string]FiveDScore{
|
||||
"真实分维度(实测样本)": {IS: 0.8, SU: 0.8, PA: 0.7, VD: 0.6, RU: 0.5},
|
||||
"仅一位不同": {IS: 0.8, SU: 0.8, PA: 0.8, VD: 0.8, RU: 0.7},
|
||||
"历史echo向量": {IS: 0.8, SU: 0.7, PA: 0.6, VD: 0.9, RU: 0.7},
|
||||
} {
|
||||
if IsDegenerateScore(s) {
|
||||
t.Errorf("阴性对照失败[%s]:%+v 被误判为退化评分(滥报)", name, s)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
// TestPromptHasNoEchoLiterals 回归守卫:**prompt 评分段**不得再出现具体示例小数。
|
||||
//
|
||||
// 起因:示例写成具体数值 ⇒ 模型照抄 ⇒ 每条 overall 恒为 0.755 ⇒ 评分闸门形同虚设。
|
||||
// 二次踩坑:改成"禁止沿用(例如 0.8/0.7/0.6/0.9/0.7)"后,模型转而锚定 0.6 ⇒ 恒定 0.600。
|
||||
// 因此守卫必须**只扫 prompt 模板段**(文件别处的 echoScoreVectors 注释本就需要记录历史值)。
|
||||
func TestPromptHasNoEchoLiterals(t *testing.T) {
|
||||
src, err := os.ReadFile("engine.go")
|
||||
if err != nil {
|
||||
@@ -54,14 +84,23 @@ func TestPromptHasNoEchoLiterals(t *testing.T) {
|
||||
}
|
||||
s := string(src)
|
||||
|
||||
if !strings.Contains(s, `"is": <小数>`) {
|
||||
start := strings.Index(s, "输出格式(严格JSON)")
|
||||
end := strings.Index(s, "内容:\n%s")
|
||||
if start < 0 || end < 0 || end <= start {
|
||||
t.Fatal("无法定位 prompt 评分段(模板被重构?请更新本测试的锚点)")
|
||||
}
|
||||
prompt := s[start:end]
|
||||
|
||||
if !strings.Contains(prompt, `"is": <小数>`) {
|
||||
t.Fatal("回归:prompt 里已找不到 <小数> 占位符 —— 示例可能又被写成具体数字")
|
||||
}
|
||||
if strings.Contains(s, `"is": 0.8, "su": 0.7, "pa": 0.6, "vd": 0.9, "ru": 0.7`) {
|
||||
t.Fatal("回归:prompt 里重新出现了具体示例评分(echo 源)")
|
||||
if !strings.Contains(prompt, "禁止给出固定不变的分数组合") {
|
||||
t.Error("prompt 缺少「禁止固定数值组合」的约束句")
|
||||
}
|
||||
// 占位符必须带"禁止沿用固定数值"的显式约束,否则模型仍会编造固定值
|
||||
if !strings.Contains(s, "严禁沿用固定的数值组合") {
|
||||
t.Error("prompt 缺少「禁止沿用固定数值组合」的约束句")
|
||||
// 评分段不得出现任何具体小数(0.0/1.0 范围端点除外)
|
||||
for _, bad := range []string{"0.8", "0.9", "0.7", "0.6", "0.5"} {
|
||||
if strings.Contains(prompt, bad) {
|
||||
t.Fatalf("回归:prompt 评分段出现具体示例小数 %q —— 会变成锚点(实测会把评分钉成常数)", bad)
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
@@ -66,8 +66,11 @@ func TestLiveQualityGateOnRealEpisodes(t *testing.T) {
|
||||
|
||||
t.Logf("\n════ %s ════", ep.ID)
|
||||
t.Logf(" 原文(%d字): %s", utf8.RuneCountInString(ep.Content), ep.Content)
|
||||
t.Logf(" 评分(应恒为 prompt 示例): is=%.2f su=%.2f pa=%.2f vd=%.2f ru=%.2f",
|
||||
resp.IS, resp.SU, resp.PA, resp.VD, resp.RU)
|
||||
t.Logf(" 评分(2026-10-06 前应恒为 0.755;修 prompt 后应为按内容变化):"+
|
||||
"is=%.2f su=%.2f pa=%.2f vd=%.2f ru=%.2f | echo=%v degenerate=%v",
|
||||
resp.IS, resp.SU, resp.PA, resp.VD, resp.RU,
|
||||
IsEchoScore(FiveDScore{IS: resp.IS, SU: resp.SU, PA: resp.PA, VD: resp.VD, RU: resp.RU}),
|
||||
IsDegenerateScore(FiveDScore{IS: resp.IS, SU: resp.SU, PA: resp.PA, VD: resp.VD, RU: resp.RU}))
|
||||
t.Logf(" 提取 %d 条 → 闸门放行 %d 条(丢弃 %d)", len(facts), len(kept), len(facts)-len(kept))
|
||||
for k, f := range facts {
|
||||
rl := utf8.RuneCountInString(f)
|
||||
|
||||
@@ -0,0 +1,107 @@
|
||||
//go:build liveprobe
|
||||
|
||||
package distill
|
||||
|
||||
import (
|
||||
"bytes"
|
||||
"encoding/json"
|
||||
"fmt"
|
||||
"io"
|
||||
"net/http"
|
||||
"os"
|
||||
"strings"
|
||||
"testing"
|
||||
"time"
|
||||
)
|
||||
|
||||
// TestRawLLMScoreBehavior 直接观测模型**原始输出**,回答「2B 是否具备 5 维区分能力」。
|
||||
//
|
||||
// 前一次结论("不具备")建立在 6 条**同质**样本 + 只看解析后分数之上,不成立:
|
||||
// 输入几乎无差异时,评分相同可能是**正确**行为;且"全零"到底是模型真给 0,
|
||||
// 还是模型没输出该字段(Go 零值),只看解析结果无法区分。
|
||||
//
|
||||
// 本测试补齐三件事:
|
||||
//
|
||||
// ① 原始返回:模型到底输出了 5 个不同 key,还是一个标量复制 5 份?
|
||||
// ② 异质输入:明显有价值 vs 明显垃圾,分数是否随质量变化?
|
||||
// ③ 确定性:同一输入重复 3 次,分数是否稳定?
|
||||
//
|
||||
// go test ./internal/distill/ -tags liveprobe -run TestRawLLMScoreBehavior -v
|
||||
func TestRawLLMScoreBehavior(t *testing.T) {
|
||||
tmpl := extractPromptTemplate(t)
|
||||
client := &http.Client{Timeout: 180 * time.Second}
|
||||
|
||||
cases := []struct{ name, content string }{
|
||||
{"高价值-决策", "[2026-10-06, 周二] 牧尘: 决定把蒸馏评分模型从本地 2B 换成更强的模型,因为评分区分度不够。"},
|
||||
{"垃圾-纯问候", "[2026-10-06, 周二] 牧尘: 你好\n[2026-10-06, 周二] 小怡: 哈哈\n[2026-10-06, 周二] 牧尘: 谢谢"},
|
||||
{"中等-状态", "[2026-10-06, 周二] 小怡: 服务已重启完成。"},
|
||||
{"长文-细节", "[2026-10-06, 周二] 牧尘: 我在淇县负责生物制造产业专班和卫都街道,设备是小米笔记本,平时喜欢马哲经济学和剪辑。"},
|
||||
{"短事实", "[2026-10-06, 周二] 牧尘: 我不在招商局工作。"},
|
||||
}
|
||||
|
||||
for _, c := range cases {
|
||||
raw := callRaw(t, client, fmt.Sprintf(tmpl, c.content))
|
||||
t.Logf("\n══════ %s ══════", c.name)
|
||||
t.Logf("输入: %s", strings.ReplaceAll(c.content, "\n", " ⏎ "))
|
||||
t.Logf("原始返回: %s", raw)
|
||||
}
|
||||
|
||||
t.Logf("\n══════ 确定性检验(同一输入 ×3,temperature=0.2)══════")
|
||||
prompt := fmt.Sprintf(tmpl, cases[0].content)
|
||||
for i := 1; i <= 3; i++ {
|
||||
t.Logf("第%d次: %s", i, callRaw(t, client, prompt))
|
||||
}
|
||||
}
|
||||
|
||||
// extractPromptTemplate 从 engine.go 就地提取生产 prompt 模板(含单个 %s),
|
||||
// 保证本测试跑的是**与生产逐字相同**的 prompt,而不是我手抄的近似版。
|
||||
func extractPromptTemplate(t *testing.T) string {
|
||||
t.Helper()
|
||||
src, err := os.ReadFile("engine.go")
|
||||
if err != nil {
|
||||
t.Fatalf("读 engine.go: %v", err)
|
||||
}
|
||||
s := string(src)
|
||||
const startMark = "prompt := fmt.Sprintf(`"
|
||||
i := strings.Index(s, startMark)
|
||||
if i < 0 {
|
||||
t.Fatal("找不到 prompt 模板起点(模板被重构?更新本测试锚点)")
|
||||
}
|
||||
rest := s[i+len(startMark):]
|
||||
const endMark = "`, truncate(content, 1000))"
|
||||
j := strings.Index(rest, endMark)
|
||||
if j < 0 {
|
||||
t.Fatal("找不到 prompt 模板终点(模板被重构?更新本测试锚点)")
|
||||
}
|
||||
return rest[:j]
|
||||
}
|
||||
|
||||
// callRaw 直接打本地 LLM 端点,返回**未经解析**的 message.content 原文。
|
||||
func callRaw(t *testing.T, c *http.Client, prompt string) string {
|
||||
t.Helper()
|
||||
body, _ := json.Marshal(map[string]interface{}{
|
||||
"model": "local/minicpm5-2b",
|
||||
"messages": []map[string]string{{"role": "user", "content": prompt}},
|
||||
"temperature": 0.2,
|
||||
"max_tokens": 2400,
|
||||
})
|
||||
resp, err := c.Post("http://127.0.0.1:8081/v1/chat/completions",
|
||||
"application/json", bytes.NewReader(body))
|
||||
if err != nil {
|
||||
t.Fatalf("请求失败: %v", err)
|
||||
}
|
||||
defer resp.Body.Close()
|
||||
b, _ := io.ReadAll(resp.Body)
|
||||
|
||||
var out struct {
|
||||
Choices []struct {
|
||||
Message struct {
|
||||
Content string `json:"content"`
|
||||
} `json:"message"`
|
||||
} `json:"choices"`
|
||||
}
|
||||
if err := json.Unmarshal(b, &out); err != nil || len(out.Choices) == 0 {
|
||||
return fmt.Sprintf("<外层解析失败 status=%d body=%s>", resp.StatusCode, truncate(string(b), 300))
|
||||
}
|
||||
return out.Choices[0].Message.Content
|
||||
}
|
||||
Reference in New Issue
Block a user