Skip to content

[Bugfix] 修复 Mooncake Prefill abort 清理缺少 waiting_timeout 导致崩溃 - #41

Merged
lihenga merged 1 commit into
feature/optimize_mainfrom
lihenga/fix-prefill-abort-timeout-20261021
Oct 21, 2026
Merged

lihenga merged 1 commit into
feature/optimize_mainfrom
lihenga/fix-prefill-abort-timeout-20261021

Conversation

@lihenga

@lihenga lihenga commented Oct 21, 2026 •

Copy link
Copy Markdown
Owner

Motivation

修复 Mooncake Prefill 在取消请求后的清理异常:finish_drained_abort() 计算终态记录 TTL 时读取 waiting_timeout,但该属性此前只在 Decode manager 初始化。Prefill 因此抛出 AttributeError,后续 KV 释放被中断,空闲池检查失败并导致 Scheduler 退出。

2026-10-21 的实际日志先记录压测命令 status=-9,随后 Decode AbortReq,再出现上述 Prefill 异常;本 PR 修复清理路径,不推断或修改 SIGKILL 的来源。

Modifications

仅在 Mooncake Prefill manager 启动传输线程前,从既有 SGLANG_DISAGGREGATION_WAITING_TIMEOUT 配置初始化 waiting_timeout,保持终态记录 TTL 的 max(300, bootstrap_timeout, waiting_timeout) 语义。无新配置、依赖或协议改动。

与 #38 的关系:feature/optimize_main 已合入 #38 的 finish_drained_abort 逻辑。本 PR 独立补齐该逻辑依赖的 Prefill 配置;仅改动初始化,可直接 cherry-pick 到指定星火分支。

Accuracy Tests

  • VERIFIED:修改文件 Python 语法解析、git diff --check,以及一次有界差异自查。
  • VERIFIED:Ruff F401/F821/UP037 没有新增诊断;整文件仍有两处基线已有的 dynamic_dst F821,已对父提交复核,本 PR 未扩展处理。
  • UNTESTED:按用户“未指定环境不做单元测试”的要求,未运行单元测试或真实设备取消/排空验收。
  • BLOCKED:本地未安装 pre-commit,未执行完整 hooks。

Speed Tests and Profiling

未运行性能或模型精度 benchmark;改动仅在 Prefill manager 启动时读取已有配置。

Checklist

  • Follow the SGLang code style guidance; scoped syntax and whitespace checks completed.
  • Run full pre-commit hooks(本地工具不可用)。
  • Add/run unit tests(本次未指定单元测试环境;未新增测试)。
  • Update documentation(无新增用户配置)。
  • Provide accuracy and speed benchmark results(未执行)。

AI 辅助:Codex 完成实现和有界差异自查;维护者人工 review 待完成。

Review and Merge Process

按维护者在本任务中的明确授权合并。

@lihenga
lihenga merged commit bdbde61 into feature/optimize_main Oct 21, 2026
0 of 4 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

None yet

Development

Successfully merging this pull request may close these issues.

1 participant