大语言模型
概念解析——DeepSpeed
DeepSpeed 是 Microsoft 开源的分布式训练优化库,干的事情很简单:把一个显存放不下的大模型拆开,分摊到多张 GPU 上一起训。它的核心叫 ZeRO(Zero Redundancy Optimizer),一套把参数、梯度、优化器状态从"每张卡都存全份"改成"每张卡只存一份"的方案。
训练 70B 参数的大模型,光是训练状态就要 840 GB。一张顶配 A100 显卡也只有 80 GB 显存,连零头都不够。DeepSpeed 要解决的,就是所有大模型训练都会撞上的那堵墙——显存墙。
1. 显存账单:训一个模型到底要多大空间
模型的每个参数,训练时都挂着四份数据。参数本身的权重(BF16 格式下 2 字节)、反向传播算出来的梯度(也是 2 字节)、优化器状态(Adam 给每个参数存动量、二阶动量等,8 字节)、以及激活值——前向计算中间结果(大约 2 字节)。加起来每参数 14 字节。
70B 模型,14 字节乘以 700 亿,是 980 GB。加上激活后 1.12 TB。一张 80 GB 的卡,差了十多倍。这就是多卡分摊和 DeepSpeed 存在的理由。
省显存的路有三条:把参数变得更短(量化)、只训一小块补丁(LoRA)、或者把东西切碎分到多张卡上(DeepSpeed 的路线)。三条路互不冲突,还能叠着用。
2. ZeRO:从每卡全份到每卡 1/N
ZeRO(Zero Redundancy Optimizer,零冗余优化器)是 DeepSpeed 的核心。它把训练占显存的三块东西——参数(Params)、梯度(Grads)、优化器状态(Optimizer States)——从"每张卡都存一整份"逐步改成"每张卡只存 1/N"。四个档位越往后拆得越狠。
纯数据并行,什么都不拆
每张 GPU 都存完整的一份参数 + 梯度 + 优化器状态。这是 PyTorch DDP 的默认行为,通信开销最小,但显存也最大——单卡放不下就永远放不下。
先拆优化器状态
优化器状态在 Adam 训练中占了 8/12 的显存,是最大的一块。把它切碎分到各卡,每卡只扛 1/N。70B 训练从每卡 840 GB 降到 350 GB。通信量基本不变,收益却很大。
再拆梯度
梯度也切碎分摊。70B 降到每卡 175 GB。通信量不变,但参数仍然是每卡全份。这是 2026 年大多数训练的甜蜜点——性价比最高。
参数也拆,三件全拆
参数也切碎分到各卡。70B + 8 卡降到每卡 105 GB,刚好能塞进 80 GB 的 A100。代价是通信量增加约 50%——每层开始计算前,得先把这一层的参数从各卡拉回来,算完再丢掉。
3. 装不下就挪:ZeRO-Offload 和 ZeRO-Infinity
ZeRO-3 还不是终点。如果显存实在不够,DeepSpeed 还有一招:把东西临时搬到 GPU 外面去。这一招叫 offload(卸载)。
优化器状态搬到 CPU 内存
CPU 内存比显存大得多(512 GB 甚至 1 TB 都很常见)。把 Adam 状态从 GPU HBM offload 到 DDR,每步要经 PCIe 来回拷一次,速度下降约 30%,但同样的 8 张卡能训到 175B 左右的模型。
优化器和参数全搬到 NVMe 硬盘
硬盘更慢(NVMe SSD 约 7 GB/s,vs GPU 显存 3 TB/s),但空间更大——2 TB 起步。把优化器状态甚至参数分片都塞进 NVMe,每层算之前再拉回来。8 张 H100 就能训到 1 万亿参数以上。吞吐降到 GPU-only 的 25% 左右。
4. 3D 并行:数据、张量、流水线
多卡训练的难点不止显存——还有算力怎么分摊。DeepSpeed 支持三种不同的切分方式,合称 3D 并行。
数据并行(Data Parallel)
每张卡跑一模一样的模型,各吃不同的 batch。梯度算完后做一次 AllReduce 对齐。ZeRO 做的事就是优化这一维——让每张卡不是存全份,而是只存 1/N。
张量并行(Tensor Parallel)
把一层里的大矩阵乘横着切开,分给多张卡一起算。每张卡只算一半的列,算完再拼。这对单层就放不下的大模型很关键。Megatron-LM 是这一维的专家。
流水线并行(Pipeline Parallel)
把模型按层切成几段,每张卡跑一段。batch 被拆成 micro-batch 流水式喂入,不同卡在同一时刻处理不同 micro-batch 的不同层。
现实中训大模型往往是三种混合用。Meta 的 Llama 3 405B 用了 TP=8、PP=8、加上 ZeRO 的数据并行,总共 512+ 张 GPU。Megatron-DeepSpeed 组合是业界常见的"上层做并行 + 下层省显存"的搭档。
5. DeepSpeed 家族:不止 ZeRO
DeepSpeed 从训练出发,已经长成一个工具家族:
- ZeRO 系列(2019):训练显存优化的根基,三档 + offload + infinity。
- DeepSpeed-Ulysses(2023):把超长文本(100 万 token)切到多卡处理,训练长上下文模型。
- DeepSpeed-MII / FastGen(2023):推理服务化,Dynamic SplitFuse 策略在长 prompt 场景比 vLLM 有吞吐优势。
- DeepSpeed-Chat(2023):把 SFT、奖励模型、PPO 整个 RLHF 流程串成一条命令。
- DeepSpeed-MoE:支持混合专家模型的稀疏训练,在 DeepSeek-V2/V3 这类 MoE 架构上广泛使用。
与 PyTorch FSDP2 对比:70B 以下微调走 FSDP2 更省心;需要 CPU/NVMe offload 时 DeepSpeed 仍是首选。与 Megatron-LM 对比:两者经常一起用——Megatron 做 TP/PP 切分,DeepSpeed 做 ZeRO 内存优化。与 vLLM 对比(推理侧):长 prompt 场景 FastGen 有优势,通用推理 vLLM 生态更强。
6. Hugging Face 集成与工程选型
DeepSpeed 已经深度集成到 Hugging Face Transformers 和 Accelerate 库中。常见用法是一份 ds_config.json 配置 ZeRO 档位和 offload 策略,训练脚本里加一行 --deepspeed ds_config.json 即可启用。不需要手动改模型代码。
工程选型三板斧:
- 单卡 7B 微调,别上 DeepSpeed,QLoRA + bitsandbytes 就够。
- 8 卡 70B 微调,直接 ZeRO-3 + HuggingFace Accelerate。这是最常见的场景。
- 想训比集群显存大 2 倍以上的模型,ZeRO-Infinity offload 是唯一合法的选项。
DeepSpeed 在 2026 年仍然活跃迭代。v0.19 版本为 AMD GPU 增加了 System DMA 支持,让 ZeRO-3 的通信不再抢占算力资源。
7. 相邻概念
DeepSpeed 不是孤立的技术,理解它最好先掌握这些前置概念:
- 预训练:在通用大规模数据上训练模型基础能力,DeepSpeed 的 ZeRO 就是为预训练和微调阶段的显存问题而生的。
- 混合专家(MoE):通过稀疏激活扩展模型容量的架构,DeepSpeed-MoE 专门支持这类模型的训练优化。
- 连续批处理:推理服务中的批处理策略,与 DeepSpeed-FastGen 的推理优化密切相关。
- 监督微调(SFT):预训练之后的对齐步骤,DeepSpeed-Chat 把 SFT 作为 RLHF 流程的一环。