LongStraw:固定GPU预算下超过200万token的长上下文RL训练
推理系统上下文已达百万token级别,但后训练仍停留在256K token,导致部署时需依赖长度泛化。LongStraw是一个针对固定GPU预算下百万token RL后训练的架构感知执行栈,基于GRPO实现,评估共享prompt时...
查看原文解读生成中或暂时不可用,请稍后刷新重试,或直接查看原文。
推理系统上下文已达百万token级别,但后训练仍停留在256K token,导致部署时需依赖长度泛化。LongStraw是一个针对固定GPU预算下百万token RL后训练的架构感知执行栈,基于GRPO实现,评估共享prompt时...
查看原文