vLLM 实测 DeepSeek R1 在 GB300 上的惊人性能:预填充提速 8 倍
vLLM 发布 DeepSeek R1 在 NVIDIA GB300 上的性能数据:单 GPU 预填充 22.5K TGS、解码 3K TGS,相比 Hopper 架构预填充提升 8 倍。DeepSeek V3.2 仅需 2 块 GPU 即可运行。
查看原文AI 资讯解读
本解读由 AI 自动生成,仅供参考。请以原文为准。