基础概念
概念解析——批大小(Batch Size)
训练模型就是反复做三件事:拿一批样本、算这批样本的平均误差、按这个误差改一次参数。那"一次拿多少条"就是这个数——批大小(batch size)。可以是一次 32 张图,也可以是一次 16M 个 token。这个数一动,训练有多抖、跑多少步、吃多少显存、最后模型换新题稳不稳,全跟着变。
1. 批大小是什么
模型训练每次参数更新之前,先要看一批样本。这批样本的数量就是 batch size。训练循环的每一轮叫一个 step:从数据集中取出 batch size 条样本,算它们的平均损失和平均梯度,然后用这个平均梯度去更新参数。
所以 batch size 直接决定了每个 step 能看到多少数据。它不是一个"模型参数"——不是模型学出来的,是你在开始训练前得定好的超参数。你定这个数的时候,其实是在做一组连锁权衡。
2. 一次更新,五步走
理解 batch 的作用,最好拆开来看一次参数更新内部发生了什么。每个 step 都走同样的五步:从数据集中拿一个 batch 的样本;对每条样本分别算损失(loss);对每条样本分别反向计算梯度(gradient);把 N 条样本的梯度求算术平均;用这个平均梯度更新参数。
关键在这:五步里的前三步是"各自算各的"——每条样本独立算自己的 loss 和梯度。只有第四步把大家的结果合起来平均。所以 batch size 越大,用来平均的样本越多,最后那个梯度的噪声越小、方向越稳。
代价呢?N 条样本同时算,显存占用量几乎跟 N 成正比。多了放不下,少了又不稳。这就是 batch size 让人头疼的地方。
3. 小 batch 为什么反而泛化更好
你可能以为 batch 越大越好——梯度更准,方向更稳嘛。但 2017 年 Keskar 等人发现了一个反直觉的现象:大 batch 训练出来的模型,测试集准确率反而比小 batch 低。他们把这个问题叫"大 batch 的诅咒"。
原因出在 loss landscape(损失地形)的形状上。小 batch 每一步只看几条样本,梯度里自带噪声,参数更新的时候自然左右摇摆。但恰恰是这种"摇摆",有机会把参数从又窄又深的坑里摇出来,掉进一个宽而浅的坑——flat minimum。宽坑意味着参数稍微抖一下、换一批新样本,loss 不会反弹。
大 batch 的梯度太准了,一猛子扎进一个窄而深的坑(sharp minimum)就出不来了。训练时 loss 压得特别低,但一到测试集就崩,因为测试样本跟训练样本之间总有微小差异,参数一震就从窄坑里跌出来。
4. 有效批大小:三个数的乘法
实践中很少有人直接说"我 batch size 设了 1024",因为真实训练里 batch size 不是单一的一个数。你听说某个模型用了 16M 的 batch,那是三个数乘起来的结果。
第一层:micro batch。一次真正塞进显存的样本数。你显卡有多大,它就有多大。第二层:gradient accumulation(梯度累积)。显存放不下大 batch,那就分几次塞,每次算完梯度先攒着,不急着更新参数,攒够了若干次再平均起来做一次更新。第三层:data parallelism(数据并行)。你有几张卡,每张卡各自算自己的 micro batch,然后把梯度同步合并。
这三个数乘在一起就是 effective batch——真正用来更新一次参数的样本总量。调学习率时应该看这个数,不是看 micro batch。而且显存压力只跟 micro batch 走,这就是 gradient accumulation 能省显存的根本原因。
一个典型配置:micro=4, accum=8, dp=8 → effective=256。这意味着一次更新看了 256 条样本,但每张卡一次只往显存里塞了 4 条。
5. 学习率和 batch size 的联动
batch size 不是独立调的。它跟学习率(learning rate)之间有强耦合关系。2017 年 Goyal 等人提出了 Linear Scaling Rule:batch size 翻一倍,学习率也应该跟着翻一倍。
直觉是这样的:batch 大了,梯度噪声小了,方向更可靠,所以可以迈更大的步子(更高的学习率)。如果你把 batch size 从 256 拉到 1024 但学习率保持不动,你的模型大概率收敛更慢,因为"步子"相对于"方向可靠度"来说太保守了。
但直接把学习率乘以 4 又会带来训练初期的不稳定。所以实践中还需要 learning rate warmup:训练刚开始的几百到几千步,让学习率从零慢慢涨到目标值,等模型进入一个相对稳定的区域后再全速前进。
6. 实际怎么选:预训练 vs 微调
batch size 的选择在预训练和微调两个场景下差别巨大。
预训练阶段——从头训练一个大模型——batch size 是百万 token 级的。GPT-3 用了 3.2M tokens/step,Llama 3 用了 16M,DeepSeek V3 甚至到了 60M。而且这些模型几乎都用了 batch size ramp:训练初期用小 batch 稳定起步,然后阶梯式涨到大 batch。这不是巧合,是数学上最优的做法。
微调阶段——用一个已经训练好的模型做下游任务——batch size 就小得多。典型值是 effective batch 8 到 256 之间。Unsloth、Axolotl、HuggingFace TRL 默认的 effective batch 都是 8 起步。不是技术上不能更大,而是微调的任务数据和显存资源通常有限,大 batch 带来的收益不明显。
7. 相邻概念
批大小不是孤立概念。理解它需要串联起这几个邻居:
- 学习率(Learning Rate):batch size 最铁的搭档。调大 batch 就得调大 lr,配合 warmup 使用。
- 训练轮数(Epochs):同一批数据反复看几遍。batch size 大了,每 epoch 的 step 数变少。
- 损失函数(Loss):batch 里每条样本算一个 loss,求平均后才是这一步的优化目标。
- 预训练(Pretrain):batch 百万 token 级,常用 ramp 策略从小涨到大。
- 微调(Finetune):batch 通常很小,effective 8–16 是 2026 年的标准答案。