vLLM 优化 Laguna XS.2：DFlash 推测解码提速 2-3 倍
RedHat AI 与 poolsideai 合作，DFlash 投机解码每步生成 8 token 实现无损加速，LLM Compressor 支持 FP8/NVFP4/INT4 量化压缩。
查看原文vLLM 引入 DFlash 推测解码技术，通过 RedHat AI 与 poolsideai 合作实现每步 8 token 预生成，推理速度提升 2-3 倍，配合 LLM Compressor 多格式量化支持，为企业级 LLM 部署提供低成本高性能方案。
技术实现：从单 Token 到多 Token 的推理跨越
事件维度：RedHat AI 与 poolsideai 联合在 vLLM 中推出 DFlash 投机解码方案。核心技术突破在于将传统推测解码的单 Token 生成模式扩展为每步生成 8 token的并行预判机制。DFlash 采用动态前瞻策略，通过小型 Draft 模型提前生成候选序列，再由主模型验证，实现无损加速。
与标准投机解码相比，DFlash 的关键优势在于多 token 批处理能力。传统方案受限于验证效率，通常每步仅能生成 1-2 个 token；而 DFlash 通过优化验证管道和内存调度，在保持输出质量的前提下将吞吐量提升 2-3 倍。
量化生态：FP8/NVFP4/INT4 全覆盖
行业影响：配套的 LLM Compressor 工具链同步支持 FP8、NVFP4、INT4 三种量化格式。这意味着部署方可根据硬件特性（H100/H200/消费级 GPU）灵活选择精度-速度权衡方案。FP8 适合数据中心场景保持高精度，INT4 则面向边缘部署的内存受限环境。
技术落地时间线：DFlash 优化已集成至 vLLM 主分支（5
继续阅读深度解读 + 编辑加注
下方还有 3-5 段深度分析 + Vincent 编辑加注 + 可点击信源，仅 Pro 会员可见
¥99 / 季 · 每周 1 篇深度研报 · 飞书+微信群双通道
已是 Pro 但仍被提示？联系反馈
- vLLM Project 官方公告 · 2026-05-31
- Speculative Decoding 技术概述 · 2023-02-01