基础概念
概念解析——预训练
预训练(Pretraining)是今天几乎所有大语言模型的起点。把模型放在海量文本上自学,不靠人工标注,不靠问答对,靠文本自己当老师。练出来的产物叫 base model——一个把语言和知识压进权重的续写器。
1. 预训练是什么
一个还没训过的模型,几十亿个权重值全是随机数。它什么都不会,给一段话续写下去就是乱码。预训练要做的事,就是让这些随机数变得有意义。
怎么做?给它看天量的文本——整个互联网的网页、所有公开的书和论文、GitHub 上的代码仓库。让它反复做同一道题:看前面几个字,猜下一个字是什么。猜对了,权重往正确的方向微调一点;猜错了,根据离谱程度往反方向推一把。这件事重复几万亿次。
没有任何人给文本打标签。每个预测题的标准答案就是文本里原本就有的那个字。这种自己出题自己答的训法叫自监督学习(self-supervised learning)——预训练能规模化(scale)的核心原因。
2. 两个主流训练目标
预训练整体思路一致,但具体怎么做取决于模型的架构。今天的主流路线有两条。
自回归语言模型(Decoder-only)
这是 GPT 系列的做法:从左读到右,每看到一个 token,就预测下一个 token 是什么。模型只能看到当前词左侧的内容,右侧的被遮住。这种单向的猜下一个字,叫 next-token prediction。
优点是训练和推理天然一致——训练时怎么猜,部署时也怎么生成。GPT-4、Llama、DeepSeek-V3、Qwen 全走这条路。缺点是每个 token 只能看见左边,看不到整句的上下文。
掩码语言模型(Encoder-only)
这是 BERT 的做法:随机遮住文本里 15% 的词,让模型根据左右两侧的上下文把缺的词还原。遮住的可能是"我_M 去超市"里的"要",也可能是"今天的____真好"里的"天气"。模型必须同时看左右两边才能猜对。
优点是每个词都融会了完整的上下文信息,特别适合理解类的任务——文本分类、命名实体识别、情感分析。缺点是不能直接拿来生成文字。BERT 当年在 11 项 NLP 任务上横扫 SOTA,但今天做生成还得用 decoder-only。
3. 为什么预训练能工作
预训练能成功,背后有两个核心理由。
迁移学习
模型从海量文本里学会了通用知识——语法、事实、推理模式。然后拿着这个模型,针对一个具体任务做少量微调,就能做得很好。这叫迁移学习(transfer learning):不用从零开始学,站在前人的肩膀上。
一个人读了一万本书,再让他学怎么给病历分类,他只需要看几十个例子就能上手。预训练给的正是这种"一万本书的底子"。
缩放假说
2017 年之后,研究者发现一个经验规律:模型越大、数据越多、算力越多,效果越好。这听起来像废话,但关键点是——这三个变量和效果之间存在比较干净的对数线性关系。画在图上,模型的 loss 随算力增长沿着一条直线往下掉。
这个发现叫 scaling law(缩放定律)。实际含义是:不需要发明新算法,把模型做大、数据加多、算力堆高,效果就能可预测地提升。整个行业在 2020-2025 年疯狂堆算力就是基于这个信念。尽管后来有 Chinchilla 论文指出参数和数据需要平衡,但 scaling law 的基本方向没被推翻。
4. 预训练的成本
预训练不便宜。成本拆开看有三大项。
算力:预训练一次旗舰模型需要成千上万块 GPU 连续跑几十天。GPT-4 据估计用了 25000 张 A100 跑了约 95 天。DeepSeek-V3 在 2048 张 H800 上跑了 56 天。这个级别的算力只有少数公司能负担。
数据:模型吃进去的 token 数量以万亿计。到了 2024 年后,高质量文本数据接近枯竭——大多数触手可及的干净网页和书都已经被爬完了。各家开始用合成数据(让大模型自己造训练数据)来补缺口,Phi-4 的训练数据里 40% 是合成数据。
时间与迭代成本:一次预训练跑完要几十天,跑一半发现数据配比不对、学习率设错了,只能停下来改参数从头再跑。一次失败训练的 GPU 费用可能就要几百万美元。工业界在跑正式训练之前,会用小规模实验反复验证超参数,才敢花大钱烧一次正式的。
5. 预训练 vs 微调
预训练和微调常被混为一谈,但它们是两个截然不同的阶段。
目标不同:预训练是从零开始学习通用知识——语言、事实、推理。微调是在预训练好的模型上,针对某个具体场景做定向优化——比如让它学会聊天(SFT)、学会按偏好回答(RLHF)。
数据不同:预训练需要天量的无标注文本——网页、书、代码,以 TB 计。微调只需要少量高质量的标注数据——几万到几十万条问答对就够了。
成本不同:预训练成本以百万到亿美元计,烧 GPU 几千张跑几十天。微调可以在单张 GPU 上几小时到几天完成,成本低几个数量级。
产出不同:预训练得到的是 base model——理论上什么都会一点但实际上不会聊天的续写器。微调得到的是 instruct model——日常使用的 ChatGPT、Claude、Llama 4 Instruct,都是经过微调的成品。
6. 相邻概念
预训练不是孤立概念。顺着这些方向能继续深入:
- 微调(Finetune):预训练的下一个步骤,用少量标注数据把 base model 变成可用的对话模型。
- SFT:监督微调,微调的一种具体方法——用人写的"问题→好答案"对来训练模型学会对话格式。
- 训练数据:预训练的燃料,质量直接影响模型效果。网页、代码、书、论文、数学题、合成数据各自扮演不同角色。
- 大语言模型(LLM):预训练的最终产物之一——用海量文本训出来的上下文理解与生成模型。
- 损失函数(Loss):预训练优化最核心的数字——每次猜词猜得多离谱,loss 就多大,模型就从这个信号里学。