大语言模型

概念解析——监督微调(SFT)

监督微调(Supervised Fine-Tuning,SFT)是用人写好的「问题-答案」对,把只会续写的预训练模型调成能按指令对话的助手。这是训练流水线的第二阶段:第一段预训练产出 base model,这一步教它听懂指令,第三段 RLHF 用人类偏好教它哪种回答更好。


1. SFT 是什么

预训练产出的 base model 本质上是一台「续写机」:你给它一句开头,它按照统计规律接下一句。你问「今天天气怎么样?」,它接着写「今天天气怎么样?我看了一下手机,外面好像在下雨。」——因为它从头到尾只学过一件事:预测下一个 token。它根本没意识到你在问它。

SFT 打破了这个模式。它拿几千到几十万条人写的(提问,回答)示范,在 base model 上继续训练。训练完的模型看到用户提问,不再把它当文章开头往下续,而是直接给出回答。

base 模型 vs SFT 后的差距:
问「Python 怎么读 JSON 文件?」
base 续写:「Python 怎么读 JSON 文件?这是一个常见的问题。在本文中,我们将介绍 3 种方法……」
SFT 后:「import json\nwith open('data.json', 'r') as f:\n data = json.load(f)」

SFT 也叫指令微调(Instruction Tuning)。它的核心原料就是人工编写的(instruction, response)对——用户写一个提问,标注员写一个理想的回答。模型在这些数据上做标准的监督学习,最小化预测和真实回答之间的差距。

SFT 的本质是教会模型「对话的格式」而非「新的知识」。模型在预训练阶段已经学完了绝大部分知识,SFT 只是教它怎么把知识用对话的形式表达出来。

2. Chat Template:SFT 真正在做的事,是把文本包起来

SFT 训练时,每一条(instruction, response)不能直接喂给模型。必须要用一组特殊符号把 system 设定、用户提问、助手回答三段拼成一条完整的字符串。这组拼法就叫 chat template(对话模板)。

ChatML

OpenAI / Qwen 系列

用 <|im_start|> 标记 turn 开始,<|im_end|> 收尾。角色名紧跟在起始符后面:<|im_start|>system、<|im_start|>user、<|im_start|>assistant。这是 2023 年以来事实上的行业标准。

Llama 3

Meta Llama 系列

用 <|start_header_id|> 和 <|end_header_id|> 包裹角色名,<|eot_id|> 结束一个 turn。开头加 <|begin_of_text|> 标记序列起点。Llama-Factory 默认使用这套模板。

Alpaca

学术论文常见

纯文本格式:前面加「Below is an instruction that describes a task. Write a response.」,用 ### Instruction: 和 ### Response: 作分隔符,结尾加 </s>。2023 年 Stanford Alpaca 论文让它广泛流传,现在实践中已被 ChatML 取代,但学术论文仍高频出现。

Gemma

Google Gemma 系列

用 <start_of_turn> 和 <end_of_turn> 包裹每一段,角色名是 user 和 model(不是 assistant)。Gemma 没有独立的 system 角色,system 提示要拼到 user 内容里。开头加 <bos>。

选错了模板训出来的模型会胡言乱语。同一个权重,训练用 ChatML、推理用 Llama 3 模板,输出必定错乱——模板决定了模型如何「理解」哪段是用户、哪段该自己回答。

3. Loss Mask:只学该学的

SFT 训练时有一条容易被忽略的规则:整个序列中只有 assistant 那部分的 token 该算 loss,其他位置——system 提示、用户提问、特殊控制符——都必须跳过。

原因很直接。如果不做 loss mask,模型会学到「先完整复述一遍用户的提问,再给出回答」。这显然在浪费计算资源,而且会让输出变啰嗦——用户已经把问题发过来了,模型不需要学会再写一遍。

一个典型的 ChatML 序列,标注应该算 loss 的位置:
<|im_start|>system<|im_end|> —— 不算 loss
你是简洁助手。<|im_end|> —— 不算 loss
<|im_start|>user<|im_end|> —— 不算 loss
员工年假怎么算?<|im_end|> —— 不算 loss
<|im_start|>assistant<|im_end|> —— 不算 loss(角色名也不学)
★ 入职满 1 年起,每年 5 天。<|im_end|> —— 算 loss(这才是模型要学的输出)

技术上实现很简单:把不需要计算 loss 的位置的 label 设成 -100,PyTorch 的 CrossEntropyLoss 会自动跳过这些位置。HuggingFace TRL 库提供了 DataCollatorForCompletionOnlyLM,指定 response_template 就能自动做这件事。

Loss mask 带来的三个好处:省算力(prompt 部分有时占整段 80%,跳过损失一大半梯度更新)、防错学(不会让模型复读用户提问)、专心学回答(所有梯度集中在「应该说什么」上)。


4. 数据量谜题:1000 条好数据 vs 50000 条普通数据

2023 年 Meta 发表了 LIMA 论文,核心结论极富冲击力:65B LLaMA 只用 1000 条精挑细选的(提问,回答),人类盲测中有 43% 的回答不输给 GPT-4。这被称为「表面对齐假说」(Superficial Alignment Hypothesis)——模型的知识在预训练阶段就已经学完了,SFT 只是在教对话的格式和风格。1000 条高质量示范足以教会格式。

对比组是 Stanford 的 Alpaca:用 GPT-3.5 自动合成了 52000 条数据,效果反而不如 LIMA 的 1000 条。核心差异在质量——LIMA 的每条数据经过了严格的去重、格式统一、事实核查,Alpaca 则是机器批量生成,质量参差不齐。

三年过去,LIMA 假说大体成立,但 2026 年的主流配方已经走向了「数十万条 + 严格过滤」的中道路线。纯粹的 1000 条精品路线在学术上成立,但工业生产中需要覆盖更多场景和能力维度。

质量很重要,但数量也不是完全不重要。关键在于「质量 × 数量」这个乘积有一个天花板——数据质量低于某个阈值,加再多量也救不回来。

5. 真实 SFT 配方

从 1000 条到 1.5M 条,从手写到模型自动合成,公开的 SFT 配方代表了几条不同路线。

LIMA

极小极精路线 · Meta AI 2023

1000 条数据,750 条从 Stack Exchange、wikiHow、Reddit 精挑,250 条手写。学习率 1e-5,训练 15 个 epochs。证明了极少量高质量数据就能调出可用的指令跟随模型。

OpenHermes 2.5

海量多源混合路线 · Teknium 2024

约 100 万条,把公开的合成数据(GPTeacher、Airoboros、WizardLM、Capybara 等)大杂烩到一起,去重、去脏话、去拒绝回答的样本。代表了「合成数据 + 多源混合」的下限保证。虽无理论创新,但胜在稳——出来的模型是 2024 年开源社区 SFT 的事实基线。

Magpie-Pro

自抽取零种子路线 · Univ. of Washington 2024

300K 精选(从 4M 原始中筛出),核心 trick 是给 aligned 模型只喂模板前半段,让它自动续写出 instruction 和 response,不需要任何 seed 示例。用 Llama-3-70B-Instruct 自生自采。ICLR 2025 论文,AlpacaEval 2 上超过了 Llama-3-8B-Instruct 官方版(后者用了 10M SFT + DPO)。

Tulu 3 SFT-Mix

工业级多技能桶路线 · AllenAI 2024

939,343 条,从 23,327,961 条候选 prompt 精筛而来。分 9 个技能桶:math 334K、coding 142K、safety 111K、multilingual 100K、knowledge 105K、general 117K、precise IF 30K。每桶来源不同方法不同。代表了 2026 主流大厂的做法——不再赌 1000 条神话,而是认真分类堆量,严格去 benchmark 污染。

DeepSeek V3

蒸馏 + 人工审核路线 · DeepSeek 2024

1.5M 条,推理类用内部 DeepSeek-R1 生成 + rejection sampling 过滤,非推理类用 DeepSeek-V2.5 生成 + 人工核验。训练只跑了 2 个 epochs。代表了「用大模型蒸数据训自己」的 2026 主流路线。


6. Alignment Tax:SFT 之后,有些能力会掉

SFT 不是免费的。学界把这个现象叫作 alignment tax 或 catastrophic forgetting——模型为了「听话」,悄悄丢掉了一些预训练阶段学到的本事。

用 Llama 3 8B 的 base vs instruct 实测数据来看:

  • 指令遵循从 IFEval 18% 涨到 78%,这是 SFT 的本职工作。
  • 对话流畅度(AlpacaEval 2)从 4% 涨到 27%,续写机变对话机。
  • 数学推理(GSM8K)从 56% 涨到 80%,前提是 SFT 数据里包含了 CoT 样本。
  • 代码生成(HumanEval)从 33% 涨到 62%,取决于 SFT 数据中代码样本的比例。
  • 事实知识(TriviaQA)从 73% 降到 70%,微降。这是 alignment tax 的轻症。
  • 输出多样性(self-BLEU)从 22 涨到 41(越高越同质),模型说话更像同一个人了。

缓解 alignment tax 有两个常用手段:一是 SFT 时混入 5-10% 的通用语料(预训练数据的子集),知识保留率会明显回升;二是控制训练轮数——2 到 3 个 epochs 通常就够,再多就是在用 instruction 数据当预训练用,本末倒置。

SFT 教会了对话,但它在改变模型行为的同时也在抹去一部分原始能力。这不是 bug,是 trade-off。做 SFT 时必须带着「每训一轮就评估一下知识保留」的意识。

7. SFT 实战规则

做 SFT 时 90% 的精力都花在数据上。下面几条规则在实际操作中不容妥协。

规则一:训练和推理用同一套 chat template。 如果用 ChatML 训练,推理时换成 Llama 3 的模板拼 prompt,同一个权重、说话立刻翻车。Chat template 决定了模型怎么解析输入序列。

规则二:Loss mask 必须只覆盖 assistant 段。 只让模型学自己该回答的那段。用户和 system 的 token 全设成 -100 跳过。否则模型会学到「先复读一遍用户提问再回答」。

规则三:Epochs 不超过 3,学习率不超过 5e-5。 比预训练小一到两个数量级。多训一轮,预训练学到的知识就掉一截。这是 alignment tax 最直接的来源。

规则四:宁要 1 万条干净的,不要 10 万条脏的。 事实错误、格式不遵照、风格漂移、benchmark 污染——每一类有害样本不只是「少帮助」,还会主动教坏模型。

常见的数据陷阱:
事实错:用户问「莎士比亚哪年出生?」,回答里把 1616 年去世写成 1644。错的 SFT 数据会让模型自信地胡说。
格式不照做:用户要求用 markdown 列三个排序算法,回答用了散文——这种样本会教模型忽略格式约束。
过度拒绝:完全能答的问题(推荐电影)被回答「无法提供」。大量这种样本会让模型变得保守无用。
风格漂移:整批数据里有几条是特殊语气,如果比例不够大会让模型困惑,比例够大就直接带偏整体风格。
Benchmark 污染:训练数据里混进了评测集的题目,跑分会虚高、实际能力不变。

8. 相邻概念

SFT 不是孤立的技术。你接下来可以顺着这些概念深入:

  • 微调(Fine-tuning):SFT 是微调的一个子类——特指用监督学习的方法微调。广义的微调还包括 DPO、RLHF 等非监督方法。
  • LoRA:参数高效微调方案。冻结原权重、只训练少量低秩适配器参数,大幅降低显存需求。大模型 SFT 的事实标配。
  • RLHF:SFT 的下游步骤。SFT 教模型基本对话格式,RLHF 用人类偏好让回答更好、更安全。
  • DPO:RLHF 的简化替代方案。不需要训练奖励模型,直接用偏好数据做优化。近年来越来越流行。
  • 预训练(Pretrain):SFT 的上游步骤。预训练从零练出 base model,SFT 在此基础上教它对话。预训练决定知识的广度和深度,SFT 决定知识的表达方式。
概念解析 · 人工智能ABC