Together AI:发布开源推测解码框架 Aurora,实时适应流量变化
Together Research 发布基于强化学习的推测解码框架 Aurora,可实时适应流量变化并持续优化,比静态推测器快 1.25 倍,开源发布且无需离线再训练。
查看原文本解读由 AI 自动生成 · 模板:事件解读 · 仅供参考,请以原文为准。
Together Research 发布基于强化学习的推测解码框架 Aurora,可实时适应流量变化并持续优化,比静态推测器快 1.25 倍,开源发布且无需离线再训练。
查看原文