vLLM 发布 v0.18.0:新增 gRPC 服务、GPU-less 多模态渲染等重大更新
vLLM v0.18.0 发布,包含 445 次提交、213 位贡献者。新增 gRPC serving、无 GPU 多模态渲染、GPU 上 NGram 推测解码、Elastic EP 里程碑 2、Responses API 流式工具调用等功能。
查看原文本解读由 AI 自动生成 · 模板:事件解读 · 仅供参考,请以原文为准。
vLLM v0.18.0 发布,包含 445 次提交、213 位贡献者。新增 gRPC serving、无 GPU 多模态渲染、GPU 上 NGram 推测解码、Elastic EP 里程碑 2、Responses API 流式工具调用等功能。
查看原文