大语言模型
概念解析——DPO 直接偏好优化
想让大模型说话更像"人话"——有礼貌、有条理、不惹事——你需要把它"对齐"到人类的偏好上。主流方法 RLHF 要单独训练一个打分器,再用强化学习反复试错。DPO 跳过了这些中间步骤,直接用"人更喜欢哪个回答"的成对数据来训练模型。2023 年提出以来,它凭"简单、省钱、稳定"三个标签,成了对齐领域最受关注的方法之一。
1. 什么是 DPO:一条偏好数据就够了
DPO 全称 Direct Preference Optimization(直接偏好优化),2023 年由斯坦福团队提出1。它的输入是一堆
DPO 的核心洞察是:偏好信号可以通过模型的输出概率直接表达。如果一个回答在训练后应该比另一个回答更受偏好,那模型对它每个词的条件概率之和就应该更高。DPO 不需要一个额外的模型来给回答打分,而是直接比较模型自己认为"哪些词更可能出现"。
问题:"怎么礼貌拒绝一个临时会议?"
chosen(被选):"今天的安排已经排满了,我先看会议纪要;若有需要我决策的部分,可以单独发我。"
rejected(落选):"我不参加,没时间。"
训练时,DPO 同时做两件事:增大模型对 chosen 回答的生成概率,降低它对 rejected 回答的生成概率。与此同时,它还留着一份训练前冻结的
2. 先补三个词
理解 DPO 前要摸清三个基础概念。它们在论文和日常讨论里反复出现。
Preference Pair
同一条 prompt 下的 chosen 回答和 rejected 回答组成一个偏好对。这是 DPO 训练数据的最小单元。数据来源:人工标注、用户反馈、更强的模型打分。质量直接决定对齐效果的上限。
Response Tendency / 生成概率
模型对一份回答的"倾向程度",近似等于模型生成这条回答时各词概率的累加。训练前,模型对 chosen 和 rejected 可能差不多倾向;训练后,chosen 的倾向应该明显上升。DPO 的损失函数就是在这个差异上做文章。
Reference Model
训练开始前冻住的一份原模型。它不参与参数更新,只负责回答一个问题:"新模型比原模型改了多少?"如果新模型偏离参考模型太远,DPO 的损失函数会拉它回来。β 超参数控制这个约束的强度。
3. 两条训练路线:经典 RLHF 与 DPO
同一批偏好数据,可以走两条完全不同的训练路线。
DPO 省掉的不只是一个奖励模型,更是整套在线强化学习的基础设施。不维护奖励模型意味着少一个 neural network 在 GPU 上跑来跑去;不搞在线生成意味着训练数据可以提前准备好、随时复用。这对于团队规模和 GPU 预算有限的情况尤其有吸引力。
4. DPO 的训练机制
虽然 DPO 表面上走了条捷径,但它背后有一套完整的数学推导。
简单来说,DPO 的损失函数做了这样一件事:它同时看当前模型和参考模型对同一个偏好对的输出概率,计算两者的相对变化。如果当前模型对 chosen 的回答倾向上升得比 rejected 快,损失就小;如果反了过来,损失就大。
DPO 需要四组数值:当前模型对 chosen 的倾向度,当前模型对 rejected 的倾向度,参考模型对 chosen 的倾向度,参考模型对 rejected 的倾向度。Loss 关心的是:当前模型相比参考模型,在 chosen 和 rejected 之间的差距有没有拉大。
关键是这个损失函数直接从偏好数据中提取信号,不需要中间人打分。原论文证明了这种训练方式等价于在 KL 约束下最大化偏好——和 RLHF 的优化目标在数学上可以对齐1。
训练过程看起来和 SFT 几乎一样:准备好 batch,前向传播算 loss,反向传播更新参数。不需要生成新回答,不需要维护奖励模型在 GPU 上做 inference。这也是 DPO 在开源社区迅速流行的原因——你把 SFT 的代码改几行 loss function 就能跑 DPO。
5. β 超参数:约束的松紧带
DPO 只有一个关键超参数:
β 的作用原理:它在损失函数中充当 KL 散度的权重系数。KL 散度衡量了当前模型和参考模型输出分布的差距。β 高,KL 散度项权重大,模型不敢偏离太远;β 低,DPO 可以更用力地追偏好数据中的信号。
β 的选择没有一层不变的标准。直觉上:你的偏好数据量大、质量高,把 β 调低一点,让模型学得更充分;偏好数据量少或者噪声大,把 β 调高一点,让模型稳住别跟着错误信号走。刚开始跑的时候可以从 β=0.3 起步,观察训练 loss 的过度拟合趋势再调整。
6. DPO 的优势与劣势
DPO 不是没有代价的简化。它的优势和弱点来自同一个源头:跳过了奖励模型和在线 RL。
优势
- 更简单:不需要训练和维护独立的奖励模型。不需要 PPO 的实现和调参。一个 loss function 替换 SFT 的 cross-entropy loss 就行。代码改动量通常在 100 行以内。
- 更省钱:省掉奖励模型意味着省掉同样大小的一个 neural network 的前向和后向传播。在线 PPO 的训练环节需要实时生成新回答,DPO 只需要静态数据集做批量训练。显存占用和训练时间都下降。
- 更稳定:没有 PPO 那种 reward hacking、模型 collapse、奖励信号尺度漂移的问题。训练曲线容易监控,训练结果可复现。
- 更容易扩展:偏好数据可以像 SFT 数据一样离线构造、反复复用。联合多个数据源做混合训练也很自然。
劣势
- 没有显式的奖励信号:DPO 看不到训练数据的"绝对值"——chosen 可能是 95 分对 20 分,也可能是 55 分对 45 分。这两种情况在 DPO 的 loss 里几乎一样,但实际意义完全不同。
- 缺乏在线探索:训练数据是静态的、提前收集的。模型在训练过程中不会产生新回答来被评估。这就意味着:如果模型出错的方式在训练数据中没有对应的偏好对,那 DPO 就教不了它。
- 偏好数据质量比数量重要:如果标注员对"更好回答"的标准不一致——左边标注员觉得 A 好,右边标注员觉得 B 好——DPO 会学到"最好两边都别得罪"的保守策略。
- 容易过拟合:静态数据上反复迭代会放大训练集中微小的措辞偏好,导致模型输出的多样性下降。
7. 2026 年的生态
DPO 从 2023 年论文发表后,迅速从学术研究进入工程实践。到 2026 年,它已经是对齐流程中不可跳过的一块拼图。
2026 年还有一个趋势值得注意:偏好数据开始从人工标注向
8. 相邻概念
DPO 不是孤立存在的。下面这些概念和它紧密相关:
- RLHF(基于人类反馈的强化学习):DPO 的"对门邻居"。同一条偏好数据,RLHF 走奖励模型 + PPO 路线,DPO 走直接损失路线。
- 奖励模型:RLHF 中负责给回答打分的模型。DPO 不需要它,但如果需要显式分数或在线探索,奖励模型仍有不可替代的价值。
- SFT(监督微调):让模型学会"回答问题"的第一步。DPO 通常接在 SFT 之后使用。
- 大语言模型(LLM):DPO 训练的目标对象。理解 LLM 的基本原理(自回归生成、概率预测)有助于理解 DPO 的损失函数设计。
参考资料
- Rafailov et al. "Direct Preference Optimization: Your Language Model is Secretly a Reward Model." arXiv:2305.18290, 2023.
- Rafailov et al. "Efficient Preference Optimization Relaxations." arXiv:2406.02900, 2024.
- Ethayarajh et al. "KTO: Model Alignment as Prospect Theoretic Optimization." arXiv:2402.01306, 2024.
- Hong et al. "ORPO: Monolithic Preference Optimization without Reference Model." arXiv:2403.07691, 2024.
- Meng et al. "SimPO: Simple Preference Optimization with a Reference-Free Reward." arXiv:2405.14734, 2024.
- Bai et al. "Constitutional AI: Harmlessness from AI Feedback." arXiv:2212.08073, 2022.
- Ouyang et al. "Training language models to follow instructions with human feedback." arXiv:2203.02155, 2022.
- Schulman et al. "Proximal Policy Optimization Algorithms." arXiv:1707.06347, 2017.