LMSys解析Token-In-Token-Out：保持训练推理一致

事件维度：LMSys 正式提出 TITO 对齐框架

2026 年 6 月 9 日，LMSys（Large Model Systems Organization）在 X 平台发布了一项重要研究——Token-In-Token-Out（TITO）。该方案的核心目标是解决训练评估与实际推理之间的 Token 不一致问题：传统 RL 训练中，模型在训练阶段评估使用的 Token 与推理阶段实际生成的 Token 存在偏差，导致 off-policy 漂移（off-policy drift），严重影响 reward 信号准确性。

TITO 的设计哲学是保持训练与推理的 Token 生成完全对应，即训练时"喂进去"的 Token 就是推理时"吐出来"的 Token，两者天然对齐。这意味着单一样本即可覆盖完整的多轮对话轨迹，无需额外采样，从而显著降低计算开销。

行业影响：有望重塑 RL 训练流程

从行业影响来看，TITO 直指当前大模型 RLHF（人类反馈强化学习）训练中reward model 评估与实际生成不一致这一核心痛点。off-policy 漂移问题在长上下文对话、长思维链（Long-CoT）场景下尤为突出——随着推理步数增