跳至主要内容

写作与记录

文章

博客以介绍为主,不求甚解:先认识一个概念、方法或工具,建立大致的理解。

博客目录 →

ZeRO 显存优化:ZeRO-1、ZeRO-2 与 ZeRO-3

从混合精度 Adam 的显存账本出发,拆解 ZeRO 三阶段如何逐步切分优化器状态、梯度和参数,并用 7B、13B 例子估算显存与通信代价。

#大模型训练#显存优化#ZeRO#DeepSpeed#分布式训练#模型微调