模型参数量 (Billions):
7
B
GPU 数量:
8
单卡显存 (GB):
80
GB
无优化 (DDP)
112.0 GB
超出显存
ZeRO Stage 1
40.5 GB
可放入
ZeRO Stage 2
26.3 GB
可放入
ZeRO Stage 3
14.0 GB
可放入