打破气泡：基于权重一致性约束的异步流水线并行训练

PACI 通过局部梯度累积控制前向/反向权重不一致，实现高效异步流水线训练，在不影响稳定性和内存占用的前提下提升吞吐量，加速训练收敛。

查看原文