vLLM:修复 Mamba-1 CUDA 内核中的 uint32 溢出静默 Bug
AI21Labs 发现并修复了 vLLM 中 Mamba-1 CUDA 内核的一个隐蔽 Bug:uint32_t 类型的 stride 与 cache_index 相乘在大规模场景下静默溢出,已合并至 PR #35275。
查看原文本解读由 AI 自动生成 · 模板:事件解读 · 仅供参考,请以原文为准。
AI21Labs 发现并修复了 vLLM 中 Mamba-1 CUDA 内核的一个隐蔽 Bug:uint32_t 类型的 stride 与 cache_index 相乘在大规模场景下静默溢出,已合并至 PR #35275。
查看原文