vLLM 在 NVIDIA GB200 上实现 3-5 倍吞吐提升
vLLM 宣布在 NVIDIA GB200 上运行 DeepSeek R1/V3 的性能数据:预填充 26.2K TPGS,解码 10.1K TPGS,使用一半 GPU 即可达到 H200 的 3-5 倍吞吐
查看原文AI 资讯解读
本解读由 AI 自动生成,仅供参考。请以原文为准。
vLLM 宣布在 NVIDIA GB200 上运行 DeepSeek R1/V3 的性能数据:预填充 26.2K TPGS,解码 10.1K TPGS,使用一半 GPU 即可达到 H200 的 3-5 倍吞吐
查看原文