vLLM 首日支持 Liquid AI LFM2-24B-A2B 模型
vLLM 稳定版首日支持 Liquid AI 的 LFM2-24B-A2B 模型，总参数 240 亿但每 token 仅激活 20 亿，可在 32GB 内存运行，H100 上达 293 tok/s。
查看原文AI 资讯解读
本解读由 AI 自动生成，仅供参考。请以原文为准。
vLLM 稳定版首日支持 Liquid AI 的 LFM2-24B-A2B 模型，总参数 240 亿但每 token 仅激活 20 亿，可在 32GB 内存运行，H100 上达 293 tok/s。
查看原文