向混合注意力模型演进

FlashMorph将混合层选择形式化为预算约束优化问题，通过可变形模型和线性化正则化提升Transformer的长上下文效率。

查看原文