大语言模型
概念解析——LoRA Rank
r 就是 LoRA 那条窄补丁开多宽——数字越大补丁越胖、能学的改动越复杂,也越吃显存。LoRA 把大模型几十亿个权重冻住不动,旁边挂一条很窄的补丁,只训练这条补丁。它有多宽,就由一个数 r 决定。
1. r 是什么
LoRA 的核心思路:不给整个模型做手术,只在旁边接一条旁路。原权重 W(维度 d×d)冻结,旁路由两个小矩阵 B(d×r)和 A(r×d)组成。r 就是中间那个共享维度——决定了旁路的"宽度"。
输出公式:y = Wx + BAx。原路径 Wx 不动,BAx 是 LoRA 加上的修正。r 越大,B 和 A 越"胖",可训练的参数越多,能表达的变化也越复杂。
Llama-3-8B 的隐藏维度 d=4096,在全部线性层上挂 LoRA(7 个 module × 32 层):
r=8 → 约 7.3M 可训参数(0.09% 全模型);r=64 → 约 58.7M 可训参数(0.73% 全模型)。
2. r 一动,四个数字跟着变
r 只是一个数字,但一调整它,可训参数量、训练显存、训练时长、表达能力四个指标全跟着变。这是一个牵一发动全身的超参数。
以 Llama-3-8B(d=4096, 32 层, all-linear)为例:
- 可训参数:公式 2dr × 层数 × module 数。r=8 时约 7.3M,r=64 时约 58.7M。
- 训练显存:除了 base 模型占用的显存,优化器状态与可训参数成正比。r=8 时额外显存约 2-3 GB。
- 训练时长:更多可训参数意味着前向+反向计算量增加。r=64 相比 r=8,训练时间大约增加 20-30%。
- 表达能力:r 越大,ΔW 能捕获的"方向"越多。但超过一定阈值后,新增的方向几乎没有信息量。
3. 不同任务的 r 曲线
分类任务(情感分析、意图识别)的 r-效果曲线很早就趴平——r=8 就接近天花板。SQL 生成和数学推理任务则一直爬到 r=64 才放缓。曲线的形状取决于任务本身的"秩"需求。
各任务推荐 r 值(示意)
- 指令跟随(MT-Bench):推荐 r=16,差距 vs 全量微调约 0.1 分
- 情感分类(SST-2):推荐 r=8,差距 vs 全量微调约 0.6 个百分点
- SQL 生成(Spider):推荐 r=32,差距约 2.8 个百分点
- 数学推理(GSM8K):推荐 r=64,差距约 5.1 个百分点
4. 为什么 r 大了不再涨
LoRA 论文(Hu et al.)里有一个经典实验:固定其他变量,把 r 从 1 拉到 64,验证集得分从 r=4 之后基本不动了。原因在于微调给模型加的那点改动(ΔW = 微调前后权重的差)本来就只有几个重要方向。r 开再大也塞不进新东西。
业内把这种"真正重要的方向没几个"叫作低秩(rank-deficient)。把 ΔW 做奇异值分解(SVD),前 4-8 个奇异值就占了绝大部分能量,后面的几乎为零。r 超过 16,多出来的维度就花在这些没用的方向上了。
5. 真实配方一览
从 2023 年的 Alpaca-LoRA 到 2026 年的 Unsloth 默认,公开配方里 r 多在 8-64 之间。以下是六份有代表性的配方:
Alpaca-LoRA(Stanford 2023)——基础模型 LLaMA-7B,r=8,α=16,挂 q+v 层。教学经典,全球第一个被广为复现的 LoRA 配方。r=8 是它定下的"默认值"。
QLoRA Guanaco(Dettmers et al. 2023)——LLaMA-65B 4bit,r=64,α=16,挂 all-linear。定义了 r=64 + all-linear + 4bit base 的经典组合。
Tulu 3 LoRA(AI2 2024)——Llama-3.1-8B,r=32,α=16,挂 all-linear。Tulu 系列做了 LoRA vs 全量微调的完整对照,r=32 被认为是指令任务的合理上限。
Magpie-Pro LoRA(2024)——Llama-3-70B,r=16,α=32。α/r = 2 的特色——给 LoRA 旁路一点 boost。
DeepSeek-Coder LoRA(2024)——DeepSeek-Coder 7B,r=128,α=64。代码任务把 r 拉到 128,配 rsLoRA 防发散。
Unsloth 默认(2026)——Llama-3-8B,r=16,α=16。很多人把 r=16 当成新的起步档。
6. r 与 α 的搭配
补丁练完要加回原模型,加回去放大多少倍由 scale 决定:scale = α / r。α 是另一个超参数,控制 LoRA 旁路加回主路径时的缩放比例。五种常见配法:
- α = r:scale=1,1:1 加回,训练最稳。原论文推荐。
- α = 2r:scale=2,给小 r 时一个 boost。Magpie、Unsloth 推荐。
- α = 16 固定:r 越大 scale 越小。HF 早期默认,今天已不推荐。
- α = 32 固定:Tulu 系列、QLoRA Guanaco 配方。
- rsLoRA(α/√r):scale 随 √r 衰减,高 r(>=128)训练不退化。arXiv:2312.03732。
7. 相邻概念
LoRA rank 不是孤立概念。顺着这些方向可以深入理解微调全景:
- LoRA 低秩适应:LoRA 全文,讲补丁 A、B 是什么、挂在哪几层、训完怎么部署。
- 监督微调(SFT):LoRA 最常用的下游任务——用人工标注的对话数据做指令微调。
- 微调(Fine-tuning):从预训练到微调的完整方法论。
- 知识蒸馏:另一种参数高效训练方法,容易和 LoRA 搞混。