大语言模型

概念解析——BERT

BERT 是 Google 2018 年发布的语言模型,用 Transformer 编码器做"完形填空"式预训练。它不生成文字,只负责理解——训练时把句子中随机 15% 的词盖住,逼模型同时看左边和右边的上下文去猜被盖的词。这个设计让它刷新了 11 项 NLP 任务的记录,成为自然语言理解领域的里程碑。


01

什么是 BERT

BERT 全称 Bidirectional Encoder Representations from Transformers,直译就是"双向编码器表示"。它只用了 Transformer 的左半边(编码器,只读不写),不聊天不续写,只读句子做理解。你把一段文字扔进去,它给你每个位置一个语义向量,顶上再接分类层就能干各种任务。

BERT 有两个标准尺寸:BERT-base 1.1 亿参数(12 层 encoder、768 维隐层、12 头注意力)和 BERT-large 3.4 亿参数(24 层、1024 维、16 头)。放在 2026 年看,这点参数连今天小模型的零头都不到——但在 2018 年,学术界 95% 的研究者还在用 1~2 亿参数的模型,BERT-large 已经是庞然大物。

它的训练分两步走。第一步:在大规模无标注文本上做预训练——盖词 + 猜词。第二步:在具体任务上微调——在 BERT 顶上接一个小分类层,用几千条标注数据训几个 epoch 就能干活。这套"预训练 + 微调"的范式,从 BERT 开始固化成为 NLP 的标准流水线。

论文 arXiv:1810.04805 被引超 12 万次,一直是 NLP 领域引用量的第一名。


02

架构:双向编码器

要理解 BERT,先分清"单向"和"双向"。GPT 那类 decoder-only 模型是从左往右逐个词生成的——看到第 i 个词时,后面的词还没写出来,所以才叫"单向"。BERT 不做生成,它只读已经完整的句子,所以可以同时看一个词左边和右边的内容,这就是"双向"的含义。

这个差异体现在注意力矩阵上。GPT 的注意力只能看当前及之前的词(因果 mask,未来不可见),BERT 的注意力可以看句中所有词,没有方向限制。比如句子"今天天气真好,我想去游泳"里的"游泳",GPT 只能靠前面的"我想去"三个字去推测,BERT 还能看到后面的补充信息——虽然这句没有,但如果在段落中它还能看下一句的上下文。两边信息一夹,理解自然更准确。

这种双向能力在处理中文时优势尤其明显。中文没有空格分词,歧义极多——"他存钱进银行"的"银行"到底是金融机构还是河岸?只有看完"存钱"才能确定。BERT 同时看了"他""把""钱""存""进"全部,不会漏前半句的关键信息。

BERT 的"双向"不是它聪明,是因为它只读不写。生成模型必须从左到右一个字一个字来,BERT 的活是理解整句——站着说话不腰疼,站着看当然比边跑边看更清楚。

03

预训练:盖词和猜句

BERT 的预训练包含两个任务:MLM(Masked Language Model)和 NSP(Next Sentence Prediction)。MLM 是主力,NSP 后来被证明没什么用——RoBERTa 把它砍了,分数差不多还训得更快。但当年 BERT 确实带它一起发表。

MLM:完形填空

操作极其简单:从训练语料(BookCorpus + 英文维基百科,共 33 亿词)中随机抽一句话,在所有真实 token 里随机选 15% 盖掉。盖掉的方式有三种:80% 替换成 [MASK] 特殊符号、10% 替换成一个随机词、10% 保留原词。然后让 BERT 去猜每个被盖位置原本是什么词。模型在每个 [MASK] 位置输出一个词表大小的概率分布(BERT-base 的词表 30,522),取概率最高的那个当猜测。猜对了给正反馈,猜错了反向传播更新参数。

为什么要混入随机词和保留原词?论文作者解释过:如果全部换成 [MASK],模型只在预训练阶段见过这个符号,微调阶段下游任务的数据里从来没有它,会导致"预训练-微调不一致"——跟把鱼养在咸水里、放到淡水里干活一个道理。

BERT-base 总共训练 100 万步,每步 batch 256 条,序列长度 512。这个规模在今天看来不算大,但 2018 年 Google 用了 64 块 TPU 芯片跑了 4 天,学术界能复现的团队屈指可数。

示例——MLM 过程:
① 原句:今天天气真好,我想去游泳
② WordPiece 切分:今天 · 天气 · 真 · 好 · , · 我 · 想 · 去 · 游泳
③ 加特殊符号:[CLS] 今天 天气 真 好 , 我 想 去 游泳 [SEP]
④ 盖住 15%:[CLS] 今天 天气 真 [MASK] , 我 想 去 [MASK] [SEP]
⑤ BERT 双向 encoder 猜出:[MASK1] -> "好" (概率 0.74),[MASK2] -> "游泳" (概率 0.71)
⑥ 算 cross-entropy loss,反向传播更新参数

NSP:下一句预测

输入一对句子 A 和 B,50% 概率 B 是 A 的下一句(IsNext),50% 概率是从语料里随机抽的一句(NotNext)。BERT 用 [CLS] 位置的输出做一个 2 分类。这个任务的本意是让模型理解句子之间的关系,但 2019 年 RoBERTa 的消融实验证明 NSP 去掉后 GLUE 分数不仅没降还略升,除了 ALBERT 换成了更难的 SOP(句序预测),后续的 RoBERTa、DeBERTa-v3、ModernBERT 全都没有 NSP。


04

微调:换头不改身体

预训练完成后,BERT 的 12/24 层 encoder 权重冻结,顶上接一个极小的任务专用 head——通常只有几百到几千参数。用几千条标注数据在单卡 GPU 上训几个小时,一个新任务模型就产出了。这比过去"每个任务从头训一个模型"效率高了不止一个数量级。

不同的下游任务接不同的 head:

  • 情感分类:在 [CLS] 向量上接 2 分类 linear head(768 → 2),输出正面 / 负面。SST-2 准确率 96.4%(DeBERTa-v3-large)。
  • 命名实体识别(NER):每个 token 上接一个分类 head(768 → 标签数),输出 B-PER / I-PER / B-ORG / O 等。CoNLL-03 F1 94.6%。
  • 句对相似度:两句话拼成 [CLS] A [SEP] B [SEP],[CLS] 上接 1 维回归 head,输出 0~5 的相似度分。STS-B Pearson 92.9%。
  • 抽取式问答:每个 token 输出 start 和 end 两个 logit,softmax 后找出答案在原文中的起止位置。SQuAD 2.0 F1 89.3%。

这些 head 的总参数不到 BERT 身体的 1%,但换一个任务就换一个 head,12 层 encoder 一动不动。一台单卡 V100 或 RTX 3090,几千条标注,几小时出活——这是 2018 年之后 NLP 工程化的标准姿势。


05

GLUE 与 BERT 家族

GLUE(General Language Understanding Evaluation)是 2018 年推出的 NLP 综合评测集,包含 9 项任务:情感分析(SST-2)、句子相似度(MRPC/STS-B)、语法判断(CoLA)、自然语言推理(MNLI/QNLI/RTE)、文本蕴含(WNLI)、问答(QQP)。GLUE 提供了一个统一的分数,让不同模型可以横向比较。BERT-large 在 2018 年以 80.5 的平均分横扫榜单,但之后的 6 年里,GLUE 分数一路涨到了 91.4。

BERT 家族 6 年间的主要迭代:

  • BERT(2018-10,Google):110M/340M 参数,MLM + NSP,WordPiece 30,522 词表,BookCorpus + Wikipedia 33 亿词。GLUE 80.5。
  • RoBERTa(2019-07,Meta AI):125M/355M 参数。砍掉 NSP,训练数据从 13 GB 扩到 160 GB,batch 256 -> 8K,步数 100K -> 500K,动态 mask。GLUE 88.5。
  • DistilBERT(2019-10,HuggingFace):66M 参数。知识蒸馏 teacher = BERT-base,层数 12 -> 6,参数减少 40%,推理快 60%,GLUE 保留 97%。至今 HF 月下载 4000 万+。
  • ALBERT(2019-09,Google):12M/235M 参数。跨层参数共享,Embedding 分解,NSP -> SOP。GLUE 89.4。
  • DeBERTa-v3(2021-11,Microsoft):86M/304M/1.5B 参数。Disentangled attention(内容向量 + 相对位置向量分离),MLM -> RTD(ELECTRA 风格判别式预训练),SuperGLUE 首个超过人类。GLUE 91.4。
  • ModernBERT(2024-12,Answer.AI / LightOn):149M/395M 参数。上下文从 512 扩到 8,192,RoPE 位置编码 + 局部/全局交替 attention,Flash Attention 2/3 加速,2 万亿 tokens 训练含大量代码。GLUE 88.4。
去掉 NSP(RoBERTa)、蒸馏压缩(DistilBERT)、拆解注意力(DeBERTa)、扩上下文加 Flash Attention(ModernBERT)——6 年来的每一步都在原版的 BERT 上改零件,没人重头造一个。这就是经典架构的生命力。

06

2026 年,谁还在用 BERT

GPT-4 出来后 BERT 退休了吗?没有。生产环境里跑得最多的 NLP 模型还是 BERT 系。原因很简单:打分、分类、抽取、召回、排序这些任务不需要生成,用 GPT-4 既浪费又太慢。一条经验法则:不需要生成、QPS > 100、数据要本地——三选二就别用 GPT。

几个真实的生产场景:

  • Google Search:用 BERT 理解搜索 query 的词序和介词,影响 10% 英文搜索查询。一天 80 亿次查询,调 GPT-4 API 一年成本 > 100 亿美元,p99 必须 < 200 ms,GPT-4 不可能。
  • 向量召回(MiniLM):BERT 蒸馏出的句向量模型,HuggingFace 月下载量 2.59 亿。本地跑 384 维向量,每条 < 1 ms CPU,永久免费。
  • 研究 / 教学基线(bert-base-uncased):NLP 论文默认 baseline,HF 月下载量 6394 万(HF 第三)。可复现、权重易得、注意力矩阵可探针——GPT-4 不给。
  • 搜索重排(cross-encoder):向量召回 top-100 后用 BERT 逐对算精确相关度。100 个候选 doc 的排序 < 50 ms,比 GPT-4 便宜 1000 倍。
  • 内容审核 / Spam:微调过的 bert-base 做有毒 / 垃圾 / 正常三分类。单条推理 p99 < 10 ms,亿级 QPS 跑得动,决策边界可审计。
  • 长文档检索(ModernBERT):8,192 上下文,塞进 8 GB GPU 跑离线索引,数据不出公司,比 GPT-4 embed API 还强。

07

BERT 与 GPT 的本质区别

这两兄弟共用 Transformer 论文(2017)作为底子,但选了完全相反的两条路:

  • 架构:BERT 只用了编码器(Encoder),GPT 只用了解码器(Decoder)。Encoder 读完整的句子,Decoder 从左到右逐个词生成。
  • 注意力:BERT 双向(所有词互看),GPT 单向(因果 mask,未来不可见)。
  • 预训练目标:BERT 是 MLM(盖词猜词),GPT 是语言建模(预测下一个词)。
  • 擅长领域:BERT 系擅长理解类任务——分类、抽取、相似度、排序。GPT 系擅长生成类任务——写作、对话、推理、代码。
  • 参数规模:BERT-large 3.4 亿,GPT-3 1750 亿。差了 500 倍。BERT 家族最高 ModernBERT 不到 4 亿,GPT 的路线是暴力扩展参数。
  • 历史影响:BERT 开创了"预训练 + 微调"范式并横扫学术界;GPT 系列开创了"规模化 + 涌现"路线,最终走向大语言模型。
BERT 和 GPT 站在 Transformer 这同一个起点上,一个向左走向"理解",一个向右走向"生成"。8 年后双方都长成了庞然大物——BERT 依然统治着生产环境的理解类任务,GPT 路径走向了通用智能的宏大叙事。两种哲学,没有输家。

08

BERT 的遗产

回头看 BERT 这篇论文——110M 参数、两个训练任务、一套微调框架——它对 NLP 领域的贡献有三层:

第一层,范式级的贡献:"预训练 + 微调"的流水线。2018 年之前,做情感分析训一个模型、做命名实体识别再训一个模型、做问答又训一个——每个模型从零开始。2018 年之后,所有人都拿一个预训练好的 BERT,顶上换一个分类头微调就行了。这个范式至今没有过时,GPT 系虽然改成了"预训练 + 提示词",但根基也是先在大量数据上训一个通用模型,再适配具体任务。

第二层,工程级的贡献:BERT 证明了双向上下文对理解类任务至关重要。这个结论直接启发了一大批后续工作:RoBERTa 优化训练策略、ALBERT 压缩参数、DistilBERT 蒸馏到生产级大小、DeBERTa 改注意力机制、ModernBERT 把新技巧灌回去——整条 encoder-only 路线延续至今。

第三层,生态级的贡献:BERT 的权重托管在 HuggingFace 上,催生了 transformers 库 10 万+ 星标的开源生态。到今天 google-bert/bert-base-uncased 依然是 HF 月下载量前三的模型。绝大多数 NLP 工程师的第一行基础模型代码,写的就是 BERT。

整个 NLP 领域最后一次"范式革命"就是 BERT。那之后的进展——GPT-3、ChatGPT、Claude、Gemini——都是"更大、更多的数据、更长的上下文"。没有新的范式级的发明(可能有 R1 的 reasoning reward),只有工程和规模的极致化。

相邻概念

顺着这些概念可以进一步深入:

  • GPT 系列:跟 BERT 走相反方向——单向 decoder、预测下一个词、暴力扩大参数规模——最终走向了大语言模型。
  • 大语言模型(LLM):BERT 是 LLM 时代的前奏,理解它的"预训练 + 微调"设计是理解大模型的第一步。
  • T5:Google 的另一种统一框架——把所有 NLP 任务都转化为"文本到文本"格式,跟 BERT 的"编码器 + 任务头"思路不同。
  • Transformer:BERT 和 GPT 的共同底层架构。不理解自注意力机制就没办法真正理解 BERT。

参考资料

  1. Devlin, J. et al. "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." arXiv:1810.04805, 2018.
  2. Liu, Y. et al. "RoBERTa: A Robustly Optimized BERT Pretraining Approach." arXiv:1907.11692, 2019.
  3. Sanh, V. et al. "DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter." arXiv:1910.01108, 2019.
  4. Lan, Z. et al. "ALBERT: A Lite BERT for Self-supervised Learning of Language Representations." arXiv:1909.11942, 2019.
  5. He, P. et al. "DeBERTa: Decoding-enhanced BERT with Disentangled Attention." arXiv:2111.09543, 2021.
  6. Warner, B. et al. "Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Retrieval." arXiv:2412.13663, 2024.
  7. Wang, A. et al. "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding." arXiv:1804.07461, 2018.
  8. Vaswani, A. et al. "Attention Is All You Need." arXiv:1706.03762, 2017.
概念解析 · 人工智能ABC