← 返回资讯
大模型 @lmsysorg

SGLang默认启用DFlash+Spec V2,LLM推理吞吐量超基线4.3倍

与Modal合作推出的DFlash drafter针对Qwen 3.5 397B-A17B优化,在HumanEval测试中全面超越基线和原生MTP方法。

查看原文
本解读由 AI 自动生成 · 模板:事件解读 · 仅供参考,请以原文为准。