From 71d5f2a7cdc1c7169615993e866d007cba0ea9f2 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=B0=8F=E5=94=AF?= Date: Sun, 18 Oct 2026 00:51:28 +0800 Subject: [PATCH] =?UTF-8?q?fix(storage):=20t=5Ffa797edd=20=E4=BC=98?= =?UTF-8?q?=E9=9B=85=E5=81=9C=E6=AD=A2=E5=85=A8=E7=A8=8B=E6=9C=89=E7=95=8C?= =?UTF-8?q?=20=E2=80=94=20Stop=20=E6=9C=80=E7=BB=88=E8=90=BD=E7=9B=98?= =?UTF-8?q?=E4=B8=8D=E5=86=8D=E6=97=A0=E9=99=90=E9=98=BB=E5=A1=9E?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 根因:SIGTERM 到 StopRecallWriteBuffer(),Stop() 同步调用无界的 b.Flush()。 Rust/LanceDB 批量更新在活 IPC 流量下被卡住(生产实测 20:44 停止窗口内 Rust 侧 update_recall_batch 80s 未完成),Stop 永不返回,信号协程到不了 srv.Shutdown, 进程跑满 systemd 90s TimeoutStopSec 被 SIGKILL(丢写风险 + 重启不可控)。 修复:Stop() 全程有界 — 等后台协程 <=5s + 最终落盘 <=8s(goroutine+超时)。 召回统计丢失可接受(源码注释本就声明崩溃会丢最后一窗口),超时即放行退出。 新增反向用例 TestRecallWriteBufferStopBoundedWhenFlushHangs:flush 挂起时 Stop 在 8.0s 内放行(原实现无限阻塞)。storage 包全量测试通过,zhiyid 构建 exit=0。未部署(AC5 边界:仅改源码 + 隔离验证)。 --- go/internal/storage/recall_write_buffer.go | 29 +++++++++++++++++-- .../storage/recall_write_buffer_test.go | 28 ++++++++++++++++++ 2 files changed, 54 insertions(+), 3 deletions(-) diff --git a/go/internal/storage/recall_write_buffer.go b/go/internal/storage/recall_write_buffer.go index f67940d..d4ac4ce 100644 --- a/go/internal/storage/recall_write_buffer.go +++ b/go/internal/storage/recall_write_buffer.go @@ -45,6 +45,12 @@ type BatchRecallUpdater interface { const ( defaultRecallFlushInterval = 300 * time.Second defaultRecallFlushMaxItems = 256 + // 优雅停止窗口(t_fa797edd):Stop 内的「等后台协程退出 + 最终落盘」都必须有界。 + // 否则 Rust/LanceDB 批量更新在活 IPC 流量下阻塞时,Stop 永远不返回 → 信号协程 + // 到不了 srv.Shutdown → 进程跑满 systemd 90s TimeoutStopSec 被 SIGKILL + // (丢写风险 + 每次重启都变强杀 + 40s IPC 中断)。 + defaultRecallStopLoopWait = 5 * time.Second // 等后台 flush 协程退出的上限 + defaultRecallStopFlushWait = 8 * time.Second // 最终落盘的上限(召回统计,丢失可接受) ) type pendingRecall struct { @@ -249,6 +255,10 @@ func (b *RecallWriteBuffer) Flush() (int, error) { } // Stop 停止后台 flush 协程,并把最后一个窗口落盘(进程优雅退出时调用)。 +// 全程有界(t_fa797edd):等后台协程 ≤ defaultRecallStopLoopWait,最终落盘 +// ≤ defaultRecallStopFlushWait。Rust/LanceDB 批量更新在活 IPC 流量下可能阻塞 +// 数十秒;召回统计丢了可接受(源码注释「进程崩溃会丢最后一个窗口」), +// 因此超时即放弃落盘、放行退出,保证进程总在有限秒内到 srv.Shutdown。 func (b *RecallWriteBuffer) Stop() { b.mu.Lock() if b.stopped { @@ -261,10 +271,23 @@ func (b *RecallWriteBuffer) Stop() { close(b.stopCh) select { case <-b.doneCh: - case <-time.After(10 * time.Second): - log.Printf("[recall-buffer] 停止超时,直接落盘剩余窗口") + case <-time.After(defaultRecallStopLoopWait): + log.Printf("[recall-buffer] 后台 flush 协程停止超时(%s),直接进入最终落盘", defaultRecallStopLoopWait) + } + + // 最终落盘有界:放到 goroutine 跑,到点不再等。若后台 ticker/阈值 flush + // 正持锁阻塞在 Rust IPC 上,本 goroutine 的 Flush 会先等 b.mu —— 同样被 + // defaultRecallStopFlushWait 兜住,超时即放行进程退出。 + flushDone := make(chan struct{}) + go func() { + b.Flush() + close(flushDone) + }() + select { + case <-flushDone: + case <-time.After(defaultRecallStopFlushWait): + log.Printf("[recall-buffer] 最终落盘超时(%s),放弃剩余窗口(仅丢召回统计,进程照常退出)", defaultRecallStopFlushWait) } - b.Flush() } // Stats 观测用(flush 频率 / 合并率 / 版本写入行数)。 diff --git a/go/internal/storage/recall_write_buffer_test.go b/go/internal/storage/recall_write_buffer_test.go index a0031d6..7ae763b 100644 --- a/go/internal/storage/recall_write_buffer_test.go +++ b/go/internal/storage/recall_write_buffer_test.go @@ -240,3 +240,31 @@ func TestRecallWriteBufferStopFlushes(t *testing.T) { t.Fatalf("Stop 应落盘最后一个窗口,batchCalls=%d", fake.batchCalls) } } + +// hangingLDB:UpdateRecallBatch 永不返回(模拟 Rust/LanceDB 批量更新在活 IPC +// 流量下被卡死,t_fa797edd 生产实测 80s+)。用于验证 Stop 有界:不会因 flush +// 挂起而无限阻塞进程退出。 +type hangingLDB struct{ fakeLDB } + +func (h *hangingLDB) UpdateRecallBatch(table string, items []RecallWriteItem, lastRecalledAt string) (int64, error) { + select {} // 永不返回 +} + +// t_fa797edd 反向用例:最终落盘挂起时,Stop 必须在有界时间内返回(不许无限阻塞)。 +// 原实现 b.Flush() 同步调用 → Rust 卡死则 Stop 永不返回 → 进程到不了 srv.Shutdown +// → 跑满 systemd 90s 被 SIGKILL。修复后 Stop 在 defaultRecallStopFlushWait 内放行。 +func TestRecallWriteBufferStopBoundedWhenFlushHangs(t *testing.T) { + h := &hangingLDB{} + b := NewRecallWriteBuffer(h, 0, 1000) + b.Record([]string{"mem_hang"}) + + start := time.Now() + b.Stop() + elapsed := time.Since(start) + + // 有界上限:后台协程等待(5s) + 最终落盘等待(8s) + 裕量。50s 远小于 systemd 90s 超时。 + if elapsed > 50*time.Second { + t.Fatalf("Stop 应是有界的,实际阻塞了 %s(>50s,会触发 systemd 90s SIGKILL)", elapsed) + } + t.Logf("Stop 在 %s 内放行(flush 挂起时也不阻塞进程退出)", elapsed) +}