Forward
Backward
Idle (Bubble)
Step 0 / --
1F1B 优势解析:
- 每个 GPU 完成一次 Forward 后立即可以开始 Backward (不需等所有 Forward 完成)
- 稳态阶段: 每个 GPU 交替执行 F 和 B, 流水线保持满载
- 内存优势: 同一时刻每个 stage 只需保存 1 个 micro-batch 的 activation (而非 GPipe 的 m 个)
- Bubble ratio 相同, 但峰值内存从 O(m) 降低到 O(1)