LMSys：SGLang 推出 Elastic EP，MoE 大模型推理故障恢复时间缩短 90%
LMSys 联合 Mooncake 和火山引擎推出 Elastic EP，使 DeepSeek-V3 等大规模 MoE 模型在 GPU 故障时可在 10 秒内恢复，比全量重启快 90%。
查看原文本解读由 AI 自动生成 · 模板：事件解读 · 仅供参考，请以原文为准。
LMSys 联合 Mooncake 和火山引擎推出 Elastic EP，使 DeepSeek-V3 等大规模 MoE 模型在 GPU 故障时可在 10 秒内恢复，比全量重启快 90%。
查看原文