过时但稳定：异步强化学习中过时自适应的信任域方法

异步强化学习通过解耦rollout生成与优化提升吞吐量，但策略延迟、引擎延迟和MoE路由等因素导致过时问题不可避免。从信任域角度看，训练-推理分歧是影响有限视界边界近似误差的关键因素，而PPO裁剪仅限制采样更新而非完整策略约束，导致异步环境下高过时更新控制不足。

查看原文