Step 0 / 3
AllReduce
1.5 GB
AllGather
0.75 GB
ReduceScatter
0.75 GB
Broadcast
0.75 GB

* AllReduce 通信量 = 2M(N-1)/N; 其他 = M(N-1)/N。N=4, M=1GB。