SGD 也是 ResNet，权重就是残差流
Karpathy 发表技术观点，指出 SGD 的前向+反向传播构成类似 ResNet 的残差块，权重即残差流，引发对 Attention is All You Need 的深层思考。
查看原文本解读由 AI 自动生成 · 模板：事件解读 · 仅供参考，请以原文为准。
Karpathy 发表技术观点，指出 SGD 的前向+反向传播构成类似 ResNet 的残差块，权重即残差流，引发对 Attention is All You Need 的深层思考。
查看原文