大语言模型
概念解析——LoRA 低秩适应
想微调一个大模型,又没那么多显存?LoRA 是目前最流行的解法。它在原模型的权重旁边加一条很窄的补丁通道,只练这条补丁——几十 MB 的 adapter 文件就能改模型行为。单张消费级显卡跑得动。
1. 什么是 LoRA:核心思想
LoRA 全称 Low-Rank Adaptation(低秩适应),2021 年由微软团队提出1。这个方法的出发点很务实:大模型有几十亿甚至上千亿参数,全量微调(Full Fine-Tuning)要改全部权重,显存和算力都扛不住。能不能只改一小部分,却达到接近全量微调的效果?
LoRA 的回答是:冻结原模型的所有权重,在旁边插入一条并行的补丁通道。训练时只更新这条补丁,原参数一个不动。推算是把补丁的输出和原权重的输出加起来。
这个方法的好处很直观:要改的参数少了一两个数量级,显存占用降到十分之一左右。训练完成后,补丁文件可以单独保存,换任务就换个 adapter,底模一直在那不用动。
2. 矩阵分解:B×A 补丁
LoRA 的数学不复杂。假设原模型某层有一个权重矩阵 d × k(比如 4096 × 4096)。LoRA 不碰 d × r)和 r × k)。
训练时,这一层的实际计算公式变成:
Wx 是原权重走的主干,BAx 是补丁通道。两个结果相加就是最终输出。
这里的 d × r + r × k = r × (d + k)——比原来 d × k
3. 为什么 LoRA 能行:本征维度
LoRA 有效不是运气。2021 年 Aghajanyan 等人的研究2发现了
LoRA 的 B×A 分解正好模拟了这种低维变化。A 把输入从高维压到低维(r 维),B 再把它升回来。这个瓶颈结构迫使模型只学习最重要的方向变化,相当于自带正则化。
实验也印证了这一点:大多数任务上,LoRA 与全量微调的差距在 1-5% 以内。指令跟随、文本分类类任务几乎打平,代码生成、长上下文场景差距稍大,但也完全可以接受。
4. Rank 超参数:补丁多宽才够
r 是 LoRA 最重要的超参数,决定了补丁通道的容量。选多大没有标准答案,但有一些经验规则:
- r = 8-16:通用推荐值。大多数 SFT(监督微调)任务在此区间效果和效率的平衡最好。
- r = 32-64:面对复杂任务(数学推理、代码生成)时推荐。更大的 r 带来更强表达力,代价是显存和训练时间增加。
- r = 1-4:极窄补丁。适用于风格 nudging、分类头,或作为 adapter 组合的基础构件。
还有另一个超参数
5. Adapter 挂在哪
Transformer 模型每一层有很多线性投影层。LoRA 可以选择挂在哪几层上。这个选择影响效果和效率。
原论文只在 self-attention 的
- Q + V 两层:原版配置。可训参数最少,学术 ablation 常用。2026 年实战已不主流。
- 所有 attention 层(Q/K/V/O):覆盖整个注意力块。标准 SFT 和指令微调的默认选择。
- 所有线性层(attention + MLP):最"重"的配置。Unsloth、Axolotl、LLaMA-Factory 的默认选项。代码、数学、推理场景推荐。
挂的层越多,可训参数越多,效果上限越高,但训练速度也越慢。7 层全挂大约增加 0.5% 的可训参数,训练慢 30%,但效果通常有明显提升。
6. 训完怎么部署
LoRA 训完得到一对小矩阵 (B, A)。怎么用它们推理,有两种模式:
2026 年的主流推理框架(vLLM、LoRAX、SGLang)都原生支持 Hot-Swap。单用途场景首选 Merge,多租户场景必选 Hot-Swap。
7. LoRA 家族:变体一览
LoRA 之后社区涌现了很多变体。每个都在原公式上动了一处,针对不同的痛点。
2023 · 4-bit 量化 + LoRA
先把 base 模型压成 4-bit(NF4 格式),再挂 LoRA 旁路。单张 48GB GPU 可微调 65B 模型。Unsloth 默认走这条路。是目前显存紧张时的首选方案。
2024 · 方向 + 长度分别训
把 ΔW 分解为方向(direction)和长度(magnitude)两部分单独训。在低 r(r=4-8)时效果比 LoRA 高 1-3 个点。想在极低参数预算下逼近全量微调时可以考虑。
2023 · 数学修正 scale
把缩放系数 α/r 改成 α/√r,让 r 加大时不爆。r > 32 时训练更稳,效果随 r 增长不饱和。所有支持 LoRA 的框架都能两行代码切换。
2024 · B 和 A 不同学习率
B 的学习率比 A 大 16 倍,分别走两个 optimizer 组。训练收敛快约 2 倍,最终效果略升。训练时长是瓶颈时的好选择。
2024 · SVD 初始化
用 W 自己的 SVD 主成分初始化 A、B,剩余部分给冻结的 W。收敛比随机初始化快,最终 loss 更低。想从更好的起点出发时可用。
2023 · 共享冻结 + 只训缩放
B 和 A 在各层共享一对随机冻结矩阵,只训逐层的缩放向量。可训参数再降 10 倍,adapter 文件不到 1 MB。千个客户每人一个 adapter 的场景很实用。
8. 生态:Hub 上的 adapter
LoRA 的流行催生了庞大的 adapter 生态。HuggingFace Hub 上的 LoRA adapter 已经超过 2 万个3,CivitAI 上有更多面向 Stable Diffusion 的 LoRA 模型。
典型用法:同一个底模(比如 Llama-3-8B 或 Mistral-7B),社区上传了几百个不同的 adapter——SQL 生成、客服分类、古诗续写、JSON 严格输出、医学问答……每个 adapter 只有几十 MB,想用哪个就挂哪个。
Predibase 的 LoRA Land 项目提供了 31 个开源 SOTA adapter 的评测基线,Unsloth 社区也有大量现成的 LoRA 权重可以直接下载使用。
9. 相邻概念
LoRA 不是孤立存在的。下面这些概念和它紧密相关:
- LoRA Rank(秩):LoRA 补丁的宽度参数,控制微调的表达力与参数量的平衡。
- 微调(Fine-tuning):在预训练模型上用特定任务数据继续训练的全流程,LoRA 是其中一种微调方法。
- 监督微调(SFT):用人工标注的指令数据微调模型,LoRA 是 SFT 最常用的手段。
- 模型量化:降低参数精度的技术。和 LoRA 正交——你先量化底模再用 LoRA 微调(即 QLoRA)。
- 全量微调:LoRA 的对立面——更新全部参数。效果好但费显存。
参考资料
- Hu et al. "LoRA: Low-Rank Adaptation of Large Language Models." arXiv:2106.09685, 2021.
- Aghajanyan et al. "Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning." arXiv:2012.13255, 2020.
- HuggingFace PEFT documentation, v0.13, 2026. https://huggingface.co/docs/peft
- Dettmers et al. "QLoRA: Efficient Finetuning of Quantized Language Models." arXiv:2305.14314, 2023.
- Liu et al. "DoRA: Weight-Decomposed Low-Rank Adaptation." arXiv:2402.09353, 2024.
- Kalajdzievski. "rsLoRA: A Rank-Stabilized LoRA." arXiv:2312.03732, 2023.
- Hayou et al. "LoRA+: Efficient Low-Rank Adaptation of Large Models." arXiv:2402.12354, 2024.
- Meng et al. "PiSSA: Principal Singular Values and Singular Vectors Adaptation." arXiv:2404.02948, 2024.
- Kopiczko et al. "VeRA: Vector-based Random Matrix Adaptation." arXiv:2310.11454, 2023.