用于探索、净化与模型合并的谱重接线

强化学习已成为大语言模型的标准后训练方法，但密集的全参数更新造成两个部署相关瓶颈：推理性能受抑（通常表现为测试时Scaling的过早饱和），以及通过多领域训练或模型合并整合多种能力时产生的干扰。我们发现这些更新中与推理有效的成分主要集中于基础模型的谱空间中，由此催生了子空间对齐重接线（SAR）——一种保留该谱核的后编辑方法

查看原文