fix(selfoptimize): deprecated_per_day 跨天不归零(P0-a)

现象:11-18 体检读到 deprecated_per_day=849、deprecated_date=2026-11-11 —— 那是 7 天前
的累计值被当成「当日」上报。三次核对口径时才确认:数字本身是真的,归属日期是假的。

根因两处(第三处 loadDashboardLocal 早就有归零逻辑):
1. loadDashboard()(Redis 分支)只处理了「日期为空」的情况,漏了「日期 ≠ 今天」⇒
   进程连续运行跨过零点且不重启时,内存里的 today 一直带着昨天的累计。
2. Metrics() 读侧无日期守卫 ⇒ 脏内存直接上板,消费方无从判断归属日。

修法:①Redis 分支补 else-if 归零(并同步 DeprecatedDate=today);②Metrics() 增加
读侧守卫 depToday(归属日期非今天 ⇒ 报 0,但 deprecated_total 不受影响,它本就
不该跨天归零);日期字段缺失时不做守卫(不把可能有效的老数据抹成 0)。

回归:go/internal/selfoptimize/deprecated_crossday_guard_test.go 三分支(过去日期→0 /
当日→原值 / 字段缺失→原值),go test ./internal/selfoptimize 全绿。
生产已切 zhiyid-perday-20261118。
This commit is contained in:
xiaoyi
2026-11-18 08:55:11 +08:00
parent 9c5ae69e1e
commit 637a13564c
2 changed files with 104 additions and 45 deletions
@@ -0,0 +1,44 @@
package selfoptimize
import "testing"
// TestMetricsDeprecatedPerDayCrossDayGuard —— 2026-11-18 P0-a 回归。
//
// 背景:11-18 体检把 `deprecated_per_day=849` 当成当日真值上报,实际那是 11-11 的
// 累计值冻了 7 天。根因三处,本次修两处(Redis 分支跨天归零 + Metrics 读侧守卫):
// - loadDashboardLocal() 早有跨天归零;
// - loadDashboard()(Redis 分支)缺失 ⇒ 进程不重启跨零点就带着昨天的数;
// - Metrics() 无日期守卫 ⇒ 即使内存里是旧值也照常上板。
//
// 本用例锁的是读侧守卫:归属日期不是今天 ⇒ 必须报 0(而不是报历史累计)。
func TestMetricsDeprecatedPerDayCrossDayGuard(t *testing.T) {
oldToday, oldDate, oldTotal := Dash.DeprecatedToday, Dash.DeprecatedDate, Dash.DeprecatedTotal
defer func() {
Dash.DeprecatedToday, Dash.DeprecatedDate, Dash.DeprecatedTotal = oldToday, oldDate, oldTotal
}()
// 1) 归属日期是过去(模拟跨天未归零的脏内存)⇒ 报 0
Dash.DeprecatedToday, Dash.DeprecatedDate, Dash.DeprecatedTotal = 849, "2026-11-11", 900
m := Dash.Metrics()
if v, ok := m["deprecated_per_day"]; !ok || v != 0 {
t.Fatalf("跨天守卫失效:归属 2026-11-11 时 deprecated_per_day 应为 0,实得 %v (ok=%v)", v, ok)
}
// deprecated_total 不跨天归零,必须原样保留
if v, ok := m["deprecated_total"]; !ok || v != 900 {
t.Fatalf("deprecated_total 不应被守卫影响:期望 900,实得 %v (ok=%v)", v, ok)
}
// 2) 归属日期是今天 ⇒ 原值透出(防「守卫把正常值也清了」)
Dash.DeprecatedDate = todayStr()
m = Dash.Metrics()
if v, ok := m["deprecated_per_day"]; !ok || v != 849 {
t.Fatalf("当日归属时 deprecated_per_day 应透出 849,实得 %v (ok=%v)", v, ok)
}
// 3) 日期字段缺失(老数据)⇒ 不做守卫(保守:不把可能有效的数据抹成 0)
Dash.DeprecatedDate = ""
m = Dash.Metrics()
if v, ok := m["deprecated_per_day"]; !ok || v != 849 {
t.Fatalf("日期缺失时不应守卫,期望 849,实得 %v (ok=%v)", v, ok)
}
}
+60 -45
View File
@@ -57,22 +57,22 @@ type dashboardState struct {
// DeprecatedTotal 累计淘汰条数(不跨天归零)。
// 2026-10-26:加它的唯一理由是把「今天 0 条」和「从来没统计过」分开 ——
// 与 pattern 召回那次的教训同型:0 永远有两种含义,指标必须能自证是哪一种。
DeprecatedTotal int `json:"deprecated_total"`
DeprecatedDate string `json:"deprecated_date"` // deprecated_today 的归属日期(跨天归零用)
DistillLossSum float64 `json:"distill_loss_sum"`
DistillLossCount int `json:"distill_loss_count"`
DeprecatedTotal int `json:"deprecated_total"`
DeprecatedDate string `json:"deprecated_date"` // deprecated_today 的归属日期(跨天归零用)
DistillLossSum float64 `json:"distill_loss_sum"`
DistillLossCount int `json:"distill_loss_count"`
// 口径拆分三来源(t_e5cdc25c):avg_distill_loss 曾把三种互不相关的量混进一个平均,
// 拆成独立计数器后 avg_distill_loss 值键已于 t_dcad48e4 从 Metrics() 摘除(仅留墓碑键
// avg_distill_loss_deprecated=1 + 分母 _samples/_valid),降级弃用,禁再当质量看。
DistillLossLLMSum float64 `json:"distill_loss_llm_sum"`
DistillLossLLMCount int `json:"distill_loss_llm_count"`
MergeRatioLossSum float64 `json:"merge_ratio_loss_sum"`
MergeRatioLossCount int `json:"merge_ratio_loss_count"`
QualityBacktraceLossSum float64 `json:"quality_backtrace_loss_sum"`
QualityBacktraceLossCount int `json:"quality_backtrace_loss_count"`
DistillSuccessCount int `json:"distill_success_count"`
AutoResolvedConflicts int `json:"auto_resolved_conflicts"`
TotalConflicts int `json:"total_conflicts"`
DistillLossLLMSum float64 `json:"distill_loss_llm_sum"`
DistillLossLLMCount int `json:"distill_loss_llm_count"`
MergeRatioLossSum float64 `json:"merge_ratio_loss_sum"`
MergeRatioLossCount int `json:"merge_ratio_loss_count"`
QualityBacktraceLossSum float64 `json:"quality_backtrace_loss_sum"`
QualityBacktraceLossCount int `json:"quality_backtrace_loss_count"`
DistillSuccessCount int `json:"distill_success_count"`
AutoResolvedConflicts int `json:"auto_resolved_conflicts"`
TotalConflicts int `json:"total_conflicts"`
// t_e5997ca4:计数器版本标记(见 dashboardSchemaV2 注释)。
SchemaVersion string `json:"dashboard_schema_version"`
}
@@ -143,29 +143,29 @@ func loadDashboardLocal() error {
// 注意:调用方必须已持有 d.mu 锁
func (d *Dashboard) persistLocalLocked() {
st := dashboardState{
UsefulCount: d.UsefulCount,
NotUsefulCount: d.NotUsefulCount,
TotalRecalls: d.TotalRecalls,
HitCount: d.HitCount,
ClosedGaps: d.ClosedGaps,
TotalGaps: d.TotalGaps,
CascadeFixedTotal: d.CascadeFixedTotal,
TotalFixes: d.TotalFixes,
DeprecatedToday: d.DeprecatedToday,
DeprecatedTotal: d.DeprecatedTotal,
DeprecatedDate: todayStr(),
DistillLossSum: d.DistillLossSum,
DistillLossCount: d.DistillLossCount,
DistillLossLLMSum: d.DistillLossLLMSum,
DistillLossLLMCount: d.DistillLossLLMCount,
MergeRatioLossSum: d.MergeRatioLossSum,
MergeRatioLossCount: d.MergeRatioLossCount,
UsefulCount: d.UsefulCount,
NotUsefulCount: d.NotUsefulCount,
TotalRecalls: d.TotalRecalls,
HitCount: d.HitCount,
ClosedGaps: d.ClosedGaps,
TotalGaps: d.TotalGaps,
CascadeFixedTotal: d.CascadeFixedTotal,
TotalFixes: d.TotalFixes,
DeprecatedToday: d.DeprecatedToday,
DeprecatedTotal: d.DeprecatedTotal,
DeprecatedDate: todayStr(),
DistillLossSum: d.DistillLossSum,
DistillLossCount: d.DistillLossCount,
DistillLossLLMSum: d.DistillLossLLMSum,
DistillLossLLMCount: d.DistillLossLLMCount,
MergeRatioLossSum: d.MergeRatioLossSum,
MergeRatioLossCount: d.MergeRatioLossCount,
QualityBacktraceLossSum: d.QualityBacktraceLossSum,
QualityBacktraceLossCount: d.QualityBacktraceLossCount,
DistillSuccessCount: d.DistillSuccessCount,
AutoResolvedConflicts: d.AutoResolvedConflicts,
TotalConflicts: d.TotalConflicts,
SchemaVersion: dashboardSchemaV2, // t_e5997ca4:v2 常驻回写(新安装/旧版升级都自动打标)
DistillSuccessCount: d.DistillSuccessCount,
AutoResolvedConflicts: d.AutoResolvedConflicts,
TotalConflicts: d.TotalConflicts,
SchemaVersion: dashboardSchemaV2, // t_e5997ca4:v2 常驻回写(新安装/旧版升级都自动打标)
}
b, err := json.Marshal(st)
if err != nil {
@@ -264,6 +264,12 @@ func loadDashboard() error {
if Dash.DeprecatedDate == "" {
// 旧 Redis 数据没有该字段:按「今天」补,避免下一次淘汰把已累计的 today 清零
Dash.DeprecatedDate = todayStr()
} else if Dash.DeprecatedDate != todayStr() {
// 2026-11-18 P0-a:跨天归零。此前只有 loadDashboardLocal() 有这段逻辑,
// Redis 分支漏了 ⇒ 进程连续运行跨过零点(不重启)时,deprecated_today 会带着
// 前一天的累计值一直显示。实例:11-11 的 849 冻到 11-18 体检时被当成当日真值上报。
Dash.DeprecatedToday = 0
Dash.DeprecatedDate = todayStr()
}
if v, err := strconv.ParseFloat(data["distill_loss_sum"], 64); err == nil {
Dash.DistillLossSum = v
@@ -324,10 +330,10 @@ type Dashboard struct {
DeprecatedToday int `json:"deprecated_today"`
// DeprecatedTotal 累计淘汰条数(不跨天归零)—— 与「今天 0 条」区分开,
// 因为 0 有两种含义:今天没淘汰 / 从来没统计。指标必须能自证是哪一种。
DeprecatedTotal int `json:"deprecated_total"`
DeprecatedDate string `json:"deprecated_date"` // t_4bbddae6:deprecated_today 的归属日期(跨天归零用)
DistillLossSum float64 `json:"distill_loss_sum"`
DistillLossCount int `json:"distill_loss_count"`
DeprecatedTotal int `json:"deprecated_total"`
DeprecatedDate string `json:"deprecated_date"` // t_4bbddae6:deprecated_today 的归属日期(跨天归零用)
DistillLossSum float64 `json:"distill_loss_sum"`
DistillLossCount int `json:"distill_loss_count"`
// 口径拆分三来源(t_e5cdc25c)。三者互不相关,拆开各自可复算;avg_distill_loss 值键
// 已于 t_dcad48e4 从 Metrics() 摘除(deprecated 桶无写入者,值冻结 0.35 必被误读),
// 本字段(DistillLossSum/Count)仅为墓碑保留(_samples/_valid 仍如实上报分母),不再作为尺子。
@@ -337,9 +343,9 @@ type Dashboard struct {
MergeRatioLossCount int `json:"merge_ratio_loss_count"`
QualityBacktraceLossSum float64 `json:"quality_backtrace_loss_sum"`
QualityBacktraceLossCount int `json:"quality_backtrace_loss_count"`
DistillSuccessCount int `json:"distill_success_count"`
AutoResolvedConflicts int `json:"auto_resolved_conflicts"`
TotalConflicts int `json:"total_conflicts"`
DistillSuccessCount int `json:"distill_success_count"`
AutoResolvedConflicts int `json:"auto_resolved_conflicts"`
TotalConflicts int `json:"total_conflicts"`
}
var Dash = &Dashboard{}
@@ -479,6 +485,15 @@ func (d *Dashboard) Metrics() map[string]float64 {
qbLossVal = metricNA
}
// 2026-11-18 P0-a 守卫:进程跨零点不重启时,DeprecatedDate 会落后于今天,
// 此时 DeprecatedToday 是「昨天及以前的累计」而不是当日值 —— 直接上报就是假数。
// loadDashboard()/loadDashboardLocal() 已各自补归零;本条是读侧最后一道闸,
// 保证任何路径下「deprecated_per_day 的值有明确归属日」。
depToday := float64(d.DeprecatedToday)
if d.DeprecatedDate != "" && d.DeprecatedDate != todayStr() {
depToday = 0
}
return map[string]float64{
"recall_usefulness_rate": usefulVal,
"recall_usefulness_samples": float64(usefulSamples),
@@ -499,15 +514,15 @@ func (d *Dashboard) Metrics() map[string]float64 {
"auto_resolve_valid": autoValid,
// counter 语义:无分母 ⇒ 不给 _samples/_valid(给了会诱导下游当率用)。
"deprecated_per_day": float64(d.DeprecatedToday),
"deprecated_per_day": depToday,
"deprecated_total": float64(d.DeprecatedTotal),
"distill_success_count": float64(d.DistillSuccessCount),
"distill_success_count": float64(d.DistillSuccessCount),
// t_dcad48e4(hub 已批):avg_distill_loss 的「值键」彻底移除。三调用点已迁到拆分三源,
// 该桶无写入者、值冻结在 0.35 附近,留着必被误读。保留三枚墓碑键一轮:
// _samples/_valid 如实报分母(供复算),_deprecated=1 是墓碑标记(消费者读值前必看)。
"avg_distill_loss_samples": float64(d.DistillLossCount),
"avg_distill_loss_valid": lossValid,
"avg_distill_loss_samples": float64(d.DistillLossCount),
"avg_distill_loss_valid": lossValid,
"avg_distill_loss_deprecated": 1,
// 口径拆分三来源(t_e5cdc25c)—— 各自独立可复算,取代 avg_distill_loss 作为可信尺子。