基础概念
概念解析——学习率
学习率(Learning Rate,简称 lr)是训练神经网络时最重要也最烦人的一个超参数。它的定义只有一句话:每次更新参数时,沿着梯度反方向迈出的步长。选大了训练直接炸掉,选小了训到天荒地老。LLM 调参 90% 的时间都耗在这一个数上。
1. 学习率到底是什么
训练神经网络本质上是一个循环:算 loss(看看模型当前有多错)-> 算梯度(看看往哪个方向能让 loss 降得最快)-> 更新参数(把参数往那个方向挪一点)。学习率决定的就是最后那"一点"有多大。
公式极其简单:θ ← θ − lr · ∇L(θ)。其中 θ 是参数,∇L 是梯度(告诉你在当前位置往哪走 loss 下降最快),lr 就是一个实数乘数。你看,整个 training loop 里唯一由你拍脑袋定的数就是它。
这个数通常远小于 1。大语言模型的典型学习率在 1e-4 到 1e-5 这个量级。要改就翻倍或除以十,不能一点点调。
2. 太大 vs 太小:两种死法
学习率就像下山的步长。走太小,天黑都到不了山脚;走太大,一脚踩空滚下悬崖。
学习率太小
loss 几乎不动
参数学了半天还在原地。你盯着训练日志,loss 从 11.5 降到 11.4,跑了两万步才降了 0.1。这种情况最常见于新手:怕炸,选了个过分保守的 lr。结果不是训练失败,是训练太慢,慢到你没耐心等它收敛。
学习率太大
loss 一秒升天
头几步参数就被推飞,loss 从 11 跳到 1e9 然后变 NaN。梯度爆炸,数值溢出,训练直接报废。如果 loss 曲线第一步就冲上天,那 99% 是 lr 太大了。
还有个更隐蔽的场景:lr 偏大但没炸。loss 在下降,但是抖得像锯齿,到训练末期还反弹。这叫"临界震荡"——模型在最优附近来回跳,始终落不了地。
太小 loss 缓慢下降不收敛;
太大 loss 先降后炸成 NaN;
偏大 loss 降但抖成锯齿,末期反弹;
刚好 loss 单调下降到平稳,不抖不炸。
3. 调度器:一个 lr 从头用到尾不够
LLM 训练动辄几十万步甚至上百万步,不能从头到尾用同一个学习率。训练初期参数离最优很远,可以迈大一点;训练末期参数接近最优了,步子要收小才能落准。
这条"lr 随训练进度变化的曲线"就叫调度器(scheduler)。下面几种最常见:
Constant
全程不变
最简单的调度器。教学 demo 常用,偶尔有人用在 LoRA 微调上。但 LLM 预训练没人这么干——末段降不下来,loss 稳在较高位置下不去。
Cosine decay
余弦衰减
lr 从峰值按照余弦曲线逐渐下降到接近零。GPT-3、Llama 2/3、Mistral 都是用这一套。公式是 lr(t) = lr_min + ½(lr_peak − lr_min) · (1 + cos(πt/T))。初期衰减慢保持大步,中期快速下降,末期接近零做微调。
Warmup + Cosine
预热+余弦
训练头几千步让 lr 从零线性升到峰值,之后再走余弦衰减。为什么要预热?因为参数一开始是随机初始化,梯度方向不准,一上来就迈大步可能把参数推到坏的位置。先小步走几步,等梯度方向稳定了再加速。Llama 3.1 405B 用了 8000 步预热(占总步数约 0.7%)。
WSD
Warmup-Stable-Decay
DeepSeek V3 和 MiniCPM 用的一种新调度:预热后长期保持恒定 lr,只在最后约 15% 的步数里急降到底。好处是训练可以在任意时刻中断,恢复后继续走 stable 段,不用重新计算调度位置。DeepSeek V3 在 14.8T tokens 上做了多段不连续的 decay。
4. 学习率和批次大小的关系
换一台 GPU 多的机器,batch size 从 256 加到 2048,原来的 lr 直接跑会让训练慢很多。为什么?因为 batch 变大后每次梯度估计的方差变小,同样的 lr 相当于"过度自信"——你确认的梯度更准了,步子也应该迈大一点。
Goyal 2017 给了条经典的线性缩放规则(linear scaling rule):batch size 涨 k 倍,lr 也乘 k。配上 5 个 epoch 的 warmup。这篇论文让 ResNet-50 在 ImageNet 上的训练时间从两周压缩到一小时,所以标题就叫"ImageNet in 1 Hour"。
AdamW 上这条规则没那么严格。一些人用 sqrt 缩放(lr_new = lr_base · √k),也有人发现 batch 翻倍后 lr 不调也行,取决于模型和任务。但如果 k 超过 4(比如 batch 从 256 涨到 1024 以上),warmup 基本是必须的——不加的话头几步的梯度会把参数推飞。
5. 现代优化器如何自适应调整学习率
SGD 最原始:所有参数共用同一个 lr。但网络里不同参数的梯度尺度天差地别——某个权重可能是 0.01 量级,另一个可能是 1000 量级。用同一个 lr 必然两头不讨好。
这就引出了自适应优化器:让每个参数有自己的有效学习率。
Adam
2015,Kingma & Ba
Adam 给每个参数保存两个量:梯度的一阶矩(动量)和二阶矩(梯度平方的滑动平均)。有效学习率 = 全局 lr × 一阶矩 / (√二阶矩 + ε)。翻译成人话:梯度大的参数步子收小一点,梯度小的参数步子放大一点。这让 Adam 对 lr 的敏感度远低于 SGD。
AdamW
2019,Loshchilov & Hutter
Adam 的一个 bug:权重衰减(weight decay)在 Adam 里实现错了,导致正则化和自适应步长互相干扰。AdamW 把权重衰减从梯度里拆出来,在参数更新时直接减掉。现在 AdamW 是所有 LLM 训练的事实标准——Llama、GPT、DeepSeek、Mistral 全在用。
MetaP
2025,Meta
最新趋势。Llama 4 开始用 MetaP(Meta Parameterization),每一层有自己独立的学习率,不再公开全局峰值。这是对"一层一刀"思路的极致——既然不同层梯度分布不同,那每层配一个 lr 才是更合理的做法。
6. 出问题了怎么查
训练刚开始,loss 应该在 ln(vocab_size) 附近。Llama 3 词表是 128k,ln(128000) ≈ 11.76。如果第一步 loss 远高于这个值,或者直接 NaN:lr 太大。如果 loss 停在这个值不动:lr 太小。两行代码就能判断出 90% 的问题。
不知道选什么 lr 的时候,固定 batch size、数据和 epoch,跑三个 lr 各 200 步:
- 1e-5:保守,SFT 微调的常见起点。
- 3e-5:稳,多数模型在这个范围能找到甜区。
- 1e-4:激进,LoRA 微调通常从这附近开始。
看哪一档 200 步内 loss 降得最稳最顺。然后拿那一档跑全程。
7. 相邻概念
学习率不是一个孤立超参数。你接下来可以顺着这些概念深入:
- Loss:学习率调的是什么?就是看 loss 曲线。loss 不动降 lr,loss 飞了降 lr,loss 抖也降 lr。
- Batch size:batch 涨了 lr 也得跟着涨,linear scaling rule 是基本功。
- Epochs:数据过几遍决定了总步数,调度器里总步数是核心参数。
- Finetune:微调时的 lr 通常比预训练小(全参约 1e-5,LoRA 约 2e-4),而且 warmup 更短。
- Pretrain:预训练用大 batch + 大 cosine + 长 warmup。学习率是超参里最敏感的。